互联网数据采集方法及装置制造方法及图纸

本发明专利技术实施例提供一种互联网数据采集方法及装置。其中，方法包括：接收功能组件的拖拽指令和配置指令，根据拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；根据有向无环图和各功能组件对应的脚本模板，生成网络爬虫的代码；将网络爬虫的代码发送至客户端，以使得客户端执行网络爬虫的代码，进行互联网数据采集。本发明专利技术实施例提供的互联网数据采集方法及装置，通过有向无环图描述互联网数据采集逻辑，通过流程引擎生成网络爬虫的代码，通过客户端执行网络爬虫的代码实现互联网数据采集，不需要进行Python编程，爬虫定义过程无代码、界面更友好，能降低互联网数据采集门槛，能扩大互联网数据采集方法适用范围，更简单、方便。

Internet data collection method and device

【技术实现步骤摘要】
互联网数据采集方法及装置
本专利技术涉及计算机
，更具体地，涉及一种互联网数据采集方法及装置。
技术介绍
互联网数据采集，是基于HTTP技术，模拟浏览器请求等操作，采集网络上公开发布的网页、图片等资源，解决人工采集工作量大的问题的技术。常用的互联网数据采集技术包括网络爬虫。Scrapy网络爬虫框架是一种开源Python网络爬虫框架，封装了一系列用于网络请求、文档解析过程，简化爬虫开发，用于采集网络中非结构化数据。开发过程使用流水线方式，适合进行逻辑编排。目前，基于Scrapy网络爬虫框架进行互联网数据采集时，需要根据采集任务编写Python脚本，实现Scrapy采集逻辑。现有方法步骤比较复杂，需要专业人员编写Python脚本，门槛较高。
技术实现思路
本专利技术实施例提供一种互联网数据采集方法及装置，用以解决或者至少部分地解决现有技术存在的复杂、不方便的缺陷。第一方面，本专利技术实施例提供一种互联网数据采集方法，包括：接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于本文档来自技高网...

【技术保护点】
1.一种互联网数据采集方法，其特征在于，包括：/n接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；/n根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；/n将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。/n

【技术特征摘要】
1.一种互联网数据采集方法，其特征在于，包括：
接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图；
根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码；
将所述网络爬虫的代码发送至客户端，以使得所述客户端执行所述网络爬虫的代码，进行互联网数据采集。


2.根据权利要求1所述的互联网数据采集方法，其特征在于，所述接收功能组件的拖拽指令和配置指令，根据所述拖拽指令和配置指令，生成用于描述数据采集过程的有向无环图的具体步骤包括：
接收所述拖拽指令，根据所述拖拽指令，将功能组件拖拽到画布上，作为节点；
接收连接指令，根据所述连接指令连接相应的节点，获得待配置的有向无环图；
接收所述配置指令，根据所述配置指令，对各所述节点进行配置，获得所述有向无环图。


3.根据权利要求2所述的互联网数据采集方法，其特征在于，所述获得所述有向无环图之后，还包括：
将所述有向无环图保存为XML文件。


4.根据权利要求3所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图和各所述功能组件对应的脚本模板，生成网络爬虫的代码的具体步骤包括：
根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数；
根据所述执行计划、所述各配置参数和各所述功能组件对应的脚本模板，生成网络爬虫的代码。


5.根据权利要求4所述的互联网数据采集方法，其特征在于，所述根据所述有向无环图，获取所述数据采集过程对应的执行计划和各配置参数的具体步骤包括：...

【专利技术属性】
技术研发人员：刘睿，黄践焜，
申请(专利权)人：北京天元创新科技有限公司，
类型：发明
国别省市：北京;11