互联网数据采集方法及装置制造方法及图纸

本发明专利技术实施例提供一种互联网数据采集方法及装置。其中，方法包括：接收功能组件的拖拽指令和配置指令，根据拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；根据有向无环图和各功能组件对应的脚本模板，生成网络爬虫的代码；将网络爬虫的代码发送至客户端，以使得客户端执行网络爬虫的代码，进行互联网数据采集。本发明专利技术实施例提供的互联网数据采集方法及装置，通过有向无环图描述互联网数据采集逻辑，通过流程引擎生成网络爬虫的代码，通过客户端执行网络爬虫的代码实现互联网数据采集，不需要进行Python编程，爬虫定义过程无代码、界面更友好，能降低互联网数据采集门槛，能扩大互联网数据采集方法适用范围，更简单、方便。

Internet data collection method and device

【技术实现步骤摘要】
互联网数据采集方法及装置
本专利技术涉及计算机
，更具体地，涉及一种互联网数据采集方法及装置。
技术介绍
互联网数据采集，是基于HTTP技术，模拟浏览器请求等操作，采集网络上公开发布的网页、图片等资源，解决人工采集工作量大的问题的技术。常用的互联网数据采集技术包括网络爬虫。Scrapy网络爬虫框架是一种开源Python网络爬虫框架，封装了一系列用于网络请求、文档解析过程，简化爬虫开发，用于采集网络中非结构化数据。开发过程使用流水线方式，适合进行逻辑编排。目前，基于Scrapy网络爬虫框架进行互联网数据采集时，需要根据采集任务编写Python脚本，实现Scrapy采集逻辑。现有方法步骤比较复杂，需要专业人员编写Python脚本，门槛较高。
技术实现思路
本专利技术实施例提供一种互联网数据采集方法及装置，用以解决或者至少部分地解决现有技术存在的复杂、不方便的缺陷。第一方面，本专利技术实施例提供一种互联网数据采集方法，包括：接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。优选地，所述接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图的具体步骤包括：接收所述拖拽指令，根据所述拖拽指令，将功能组件拖拽到画布上，作为节点；接收连接指令，根据所述连接指令连接相应的节点，获得待配置的有向无环图；接收所述配置指令，根据所述配置指令，对各所述节点进行配置，获得所述有向无环图。优选地，所述获得所述有向无环图之后，还包括：将所述有向无环图保存为XML文件。优选地，所述根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码的具体步骤包括：根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数；根据所述执行计划、所述各配置参数和各所述功能组件对应的脚本模板，生成网络爬虫的代码。优选地，所述根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数的具体步骤包括：对所述XML文件进行解析，获取所述数据采集过程对应的执行计划和各配置参数。优选地，所述对所述XML文件进行解析的具体步骤包括：提取所述XML文件中的mxCell元素，将每个所述mxCell元素分别构造为ExecuteNode或Edge对象，得到ExecuteNode集合与Edge集合；根据所述ExecuteNode集合与Edge集合，获取所述数据采集过程对应的执行计划和各配置参数。优选地，所述接收功能组件的拖拽指令和配置指令之前，还包括：定义各所述功能组件。第二方面，本专利技术实施例提供一种互联网数据采集装置，包括：采集编辑模块，用于接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；流程处理模块，用于根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；作业执行模块，用于将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，执行所述程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的互联网数据采集方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的互联网数据采集方法的步骤。本专利技术实施例提供的互联网数据采集方法及装置，通过有向无环图描述互联网数据采集逻辑，流程定义后通过流程引擎生成网络爬虫的代码，通过客户端执行网络爬虫的代码实现互联网数据采集，不需要用户进行Python编程，爬虫定义过程无代码、界面更友好，能降低互联网数据采集门槛，能扩大互联网数据采集方法适用范围，更简单、方便。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例提供的互联网数据采集方法的流程示意图；图2为根据本专利技术实施例提供的互联网数据采集方法中解析XML文件的流程示意图；图3为根据本专利技术实施例提供的互联网数据采集装置的结构示意图；图4为根据本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了克服现有技术的上述问题，本专利技术实施例提供一种互联网数据采集方法及装置，其专利技术构思是，以一种无代码、界面友好的方式实现爬虫定义，降低互联网数据采集门槛，更简单、方便。图1为根据本专利技术实施例提供的互联网数据采集方法的流程示意图。如图1所示，该方法包括：步骤S101、接收功能组件的拖拽指令和配置指令，根据拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图。具体地，将互联网数据采集过程拆解为可解耦的通用逻辑模块(即功能组件)，在画布上以块元素展示，使用GUI(图形用户界面，GraphicalUserInterface)块元素拖拽，在画布上对功能组件进行编排连接，构建一个描述采集过程的有向无环图(DAG，Directedacyclicgraph)。拖拽指令和配置指令，可以基于浏览器进行输入。功能组件，用于实现某一功能，例如赋值、存储、Html解析和采集等。用户根据当前数据采集任务，输入相应的拖拽指令。拖拽指令，用于将某一功能组件拖拽到画布中的某个位置。可以理解的是，由于互联网数据采集的过程比较复杂，需要多个功能组件，因而步骤S101中接收多条拖拽指令。需要说明的是，由于互联网数据采集的过程比较复杂，同一个功能组件可能被拖拽多次。对于被拖拽到画布中的每一功能组件，用户根据当前数据采集任务，输入相应的配置指令。配置指令，用于对功能组件的动态参数进行配置。完成拖拽和配置之后，可以得到有向无环图。有向无环图指的是一个无回路的有向图。有向无环图中的节点，为功能组件。有本文档来自技高网...

【技术保护点】
1.一种互联网数据采集方法，其特征在于，包括：/n接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；/n根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；/n将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。/n

【技术特征摘要】
1.一种互联网数据采集方法，其特征在于，包括：
接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；
根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；
将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。


2.根据权利要求1所述的互联网数据采集方法，其特征在于，所述接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图的具体步骤包括：
接收所述拖拽指令，根据所述拖拽指令，将功能组件拖拽到画布上，作为节点；
接收连接指令，根据所述连接指令连接相应的节点，获得待配置的有向无环图；
接收所述配置指令，根据所述配置指令，对各所述节点进行配置，获得所述有向无环图。


3.根据权利要求2所述的互联网数据采集方法，其特征在于，所述获得所述有向无环图之后，还包括：
将所述有向无环图保存为XML文件。


4.根据权利要求3所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码的具体步骤包括：
根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数；
根据所述执行计划、所述各配置参数和各所述功能组件对应的脚本模板，生成网络爬虫的代码。


5.根据权利要求4所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数的具体步骤包括：...

【专利技术属性】
技术研发人员：刘睿，黄践焜，
申请(专利权)人：北京天元创新科技有限公司，
类型：发明
国别省市：北京;11