数据采集方法、装置、存储介质及计算机设备制造方法及图纸

本发明专利技术公开了一种数据采集方法、装置、存储介质及计算机设备，涉及互联网技术领域。其中方法包括：接收数据采集流程图，其中，数据采集流程图包括多个动作组件和连接任意两个动作组件的线条组件，动作组件包括数据采集组件；对数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，每个动作组件对应一个功能节点，数据采集组件对应的功能节点基于数据采集组件中的数据源信息映射得到；基于中间代码的结构信息，确定多个功能节点的执行顺序，并按照执行顺序，依次调用与每个功能节点对应的服务器资源执行与功能节点对应的程序代码，得到数据采集结果。上述方法能够提高数据采集程序的场景适应性，并提高数据采集效率。并提高数据采集效率。并提高数据采集效率。

【技术实现步骤摘要】
数据采集方法、装置、存储介质及计算机设备


[0001]本专利技术涉及互联网
，尤其是涉及一种数据采集方法、装置、存储介质及计算机设备。

技术介绍

[0002]目前，互联网公司的业务分析的数据来源主要分为两部分，一部分为公司内部的业务数据，另一部分来源于互联网的公开数据。其中，互联网的公开数据主要依赖于专业的研发人员编写的代码程序进行采集，然而，专业人员需要利用大量的时间精力进行数据采集代码的编写，所需的人力成本和时间成本都较为高昂，因而造成很大的成本负担。
[0003]针对互联网数据采集成本高昂的问题，现有技术提出了一种通过图形化方法编辑数据采集流程图，再将数据采集流程图转换为数据采集代码，进而通过数据采集代码采集互联网数据的方法。然而，在现有技术中，图形化编辑的数据采集程序代码在不同的数据采集场景下适应性较差，导致在实际应用过程中，图形化编辑的代码的数据采集效率远低于研发人员编写的代码。

技术实现思路

[0004]有鉴于此，本申请提供了一种数据采集方法、装置、存储介质及计算机设备，主要目的在于解决通过图形化方法编辑数据采集代码，场景适应性差和数据采集效率低的技术问题。
[0005]根据本专利技术的第一个方面，提供了一种数据采集方法，该方法包括：
[0006]接收数据采集流程图，其中，所述数据采集流程图包括多个动作组件和连接任意两个所述动作组件的线条组件，所述动作组件包括数据采集组件；
[0007]对所述数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，每个所述动作组件对应一个所述功能节点，所述数据采集组件对应的功能节点基于所述数据采集组件中的数据源信息映射得到；
[0008]基于所述中间代码的结构信息，确定所述多个功能节点的执行顺序，并按照所述执行顺序，依次调用与每个所述功能节点对应的服务器资源执行与所述功能节点对应的程序代码，得到数据采集结果。
[0009]根据本专利技术的第二个方面，提供了一种数据采集装置，该装置包括：
[0010]流程图接收模块，用于接收数据采集流程图，其中，所述数据采集流程图包括多个动作组件和连接任意两个所述动作组件的线条组件，所述动作组件包括数据采集组件；
[0011]中间代码生成模块，用于对所述数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，每个所述动作组件对应一个所述功能节点，所述数据采集组件对应的功能节点基于所述数据采集组件中的数据源信息映射得到；
[0012]程序代码执行模块，用于基于所述中间代码的结构信息，确定所述多个功能节点的执行顺序，并按照所述执行顺序，依次调用与每个所述功能节点对应的服务器资源执行
与所述功能节点对应的程序代码，得到数据采集结果。
[0013]根据本专利技术的第三个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据采集方法。
[0014]根据本专利技术的第四个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据采集方法。
[0015]本专利技术提供的一种数据采集方法、装置、存储介质及计算机设备，首先接收由动作组件和线条组件组成的数据采集流程图，然后对数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，对于动作组件中最为关键的数据采集组件，采用数据源映射的方式确定其对应的功能组件，最后，按照各功能组件的执行顺序，依次调用与每个功能节点对应的服务器资源执行与功能节点对应的程序代码，得到数据采集结果。上述方法通过数据源信息映射得到数据采集组件对应的功能节点，进而映射到数据采集程序代码，将能够使图形化编辑的数据采集程序适用于各种类型的数据采集环境，从而有效的提高了数据采集程序在不同场景下的适应性。此外，通过调用与功能节点对应的服务器资源执行功能节点对应的程序代码，也能够合理的分配数据采集的服务器资源，从而有效的提高数据采集的效率。
[0016]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1示出了本专利技术实施例提供的一种数据采集方法的流程示意图；
[0019]图2示出了本专利技术实施例提供的一种数据采集方法的场景示意图；
[0020]图3示出了本专利技术实施例提供的一种数据采集装置的结构示意图。
具体实施方式
[0021]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0022]在一个实施例中，如图1所示，提供了一种数据采集方法，以该方法应用于服务器等计算机设备为例进行说明，包括以下步骤：
[0023]101、接收数据采集流程图，其中，数据采集流程图包括多个动作组件和连接任意两个动作组件的线条组件，动作组件包括数据采集组件。
[0024]其中，数据采集流程图指的是用户通过客户端编辑的包含有数据采集流程的无权有向图。如图2所示，数据采集流程图由动作组件和线条组件组成，其中，动作组件指的是代表某种操作的图形组件，包括开始组件、数据采集组件、输入组件、输出组件、循环组件、赋值组件、函数组件和结束组件等等，线条组件指的是连接任意两个动作组件的图像组件。通过线条组件，可以将多个动作组件组成一个整体，并形成数据采集流程图。
[0025]具体的，用户可以通过客户端编辑数据采集流程图，在编辑数据采集流程图的过程中，用户可以根据实际需求拖拽动作组件至编辑框中，并在动作组件中设置相应的参数和数据，如数据源数据等，然后再通过线条组件对多个动作组件进行连接，以生成数据采集流程图。进一步的，在数据采集流程图编辑完成后，用户可以通过点击按钮等方式，将数据采集流程图发送至服务器中进行处理，服务器可以接收数据采集流程图，并对数据采集结果进行处理，以得到数据采集结果，最后将数据采集结果发送至客户端进行展示。
[0026]102、对数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，每个动作组件对应一个功能节点，数据采集组件对应的功能节点基于数据采集组件中的数据源信息映射得到。
[0027]具体的，服务器在接收到数据采集流程图之后，可以对数据采集流程图进行处理，以生成一个具有层次结构并能够映射到程序代码的中间代码。在本实施例中，中间代码可以通过对数据采集流程图进行词法分析和语法分析得到。其中，词法分析指的是将动作组件转换为具有程序映射功能的功能节点的过程，语法分析指的是按照数据采集流程图的结构，将各个功能节点组装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述方法包括：接收数据采集流程图，其中，所述数据采集流程图包括多个动作组件和连接任意两个所述动作组件的线条组件，所述动作组件包括数据采集组件；对所述数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，其中，每个所述动作组件对应一个所述功能节点，所述数据采集组件对应的功能节点基于所述数据采集组件中的数据源信息映射得到；基于所述中间代码的结构信息，确定所述多个功能节点的执行顺序，并按照所述执行顺序，依次调用与每个所述功能节点对应的服务器资源执行与所述功能节点对应的程序代码，得到数据采集结果。2.根据权利要求1所述的方法，其特征在于，所述对所述数据采集流程图进行词法分析和语法分析，得到由多个功能节点组成的中间代码，包括：根据每个所述动作组件的属性信息和每个所述线条组件的属性信息，对所述多个动作组件进行归类分析，得到每个所述动作组件的子节点集合；基于每个所述动作组件的子节点集合进行词法分析，生成每个所述动作组件的标签语言，其中，所述标签语言包括所述动作组件的属性信息和子节点集合；对每个所述动作组件的标签语言进行解析，得到与每个所述动作组件对应的功能节点；根据每个所述动作组件的子节点集合，依次对每个所述动作组件对应的功能节点进行语法分析，得到由多个功能节点组成的中间代码。3.根据权利要求2所述的方法，其特征在于，所述动作组件的属性信息包括所述动作组件的节点标识，所述线条组件的属性信息包括前置节点标识和后置节点标识；则所述根据每个所述动作组件的属性信息和每个所述线条组件的属性信息，对所述多个动作组件进行归类分析，得到每个所述动作组件的子节点集合，包括：针对每个所述线条组件的属性信息，将所述前置节点标识相同的所述线条组件的属性信息划分在一个属性集合中，得到多个属性集合；根据每个所述属性集合中的前置节点标识，确定与所述属性集合对应的动作组件，并将所述属性集合作为所述动作组件的子节点集合，其中，所述子节点集合中的前置节点标识与所述动作组件的节点标识相同。4.根据权利要求2所述的方法，其特征在于，所述对每个所述动作组件的标签语言进行解析，得到与每个所述动作组件对应的功能节点，包括：针对所述数据采集组件，在所述数据采集组件的标签语言中提取出数据源信息，并根据所述数据源信息，确定所述数据采集组件对应的功能节点，并将所述数据源信息填充到所述功能节点中，其中，所述数据源信息包括数据源地址和/或数据源终端类型。5.根据权利要求2所述的方法，其特征在于，所述动作组件还包括函数组件；则所述对每个所述动作组件的标签语言进行解析，得到与每个所述动作组件对应的功...

【专利技术属性】
技术研发人员：谷震，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：