数据采集方法、装置及电子设备制造方法及图纸

本申请提供一种数据采集方法、装置及电子设备，该方法包括：当检测到数据采集任务创建指令时，基于数据采集的任务目标信息通过在线编辑方式生成目标数据采集脚本；基于所述目标数据采集脚本以及所述任务目标信息生成调试任务；执行所述调试任务，并基于执行结果对所述目标数据采集脚本进行调试，以使调试后的目标数据采集脚本满足预设条件；当检测到数据采集任务执行指令时，基于调试后的目标数据采集脚本执行针对所述任务目标信息的数据采集任务。该方法可以简化数据采集脚本开发流程，缩短开发时间，提高开发效率。

Data acquisition method, device and electronic equipment

【技术实现步骤摘要】
数据采集方法、装置及电子设备
本申请涉及计算机数据挖掘
，尤其涉及一种数据采集方法、装置及电子设备。
技术介绍
随着网络技术的不断发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。网络数据采集器是一个自动下载网页的程序，可以根据既定的抓取目标，有选择的访问互联网上的网页与相关的链接，获取所需要的信息。网络数据采集器将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。由于数据采集任务往往数量多，资源消耗大，单一设备无法满足实际需求，分布式部署便于有效利用资源以及扩展。目前，一种分布式数据采集框架实现方案是通过消息队列解耦分布式数据采集框架各个模块，达到系统分布式部署；另一种分布式数据采集框架实现方案是通过定义多个职责链，每个职责链对应一个任务名称的方式实现多数据采集任务的模块复用。然而实践发现，目前的数据采集实现方案中，数据采集脚本的开发是线下完成的，无法快速开发数据采集脚本，不适应短时间大任务量的数据采集需求，并且不具备数据采集脚本在线调试功能。...

【技术保护点】
1.一种数据采集方法，其特征在于，包括：/n当检测到数据采集任务创建指令时，基于数据采集的任务目标信息通过在线编辑方式生成目标数据采集脚本；/n基于所述目标数据采集脚本以及所述任务目标信息生成调试任务；/n执行所述调试任务，并基于执行结果对所述目标数据采集脚本进行调试，以使调试后的目标数据采集脚本满足预设条件；/n当检测到数据采集任务执行指令时，基于调试后的目标数据采集脚本执行针对所述任务目标信息的数据采集任务。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
当检测到数据采集任务创建指令时，基于数据采集的任务目标信息通过在线编辑方式生成目标数据采集脚本；
基于所述目标数据采集脚本以及所述任务目标信息生成调试任务；
执行所述调试任务，并基于执行结果对所述目标数据采集脚本进行调试，以使调试后的目标数据采集脚本满足预设条件；
当检测到数据采集任务执行指令时，基于调试后的目标数据采集脚本执行针对所述任务目标信息的数据采集任务。


2.根据权利要求1所述的方法，其特征在于，所述基于数据采集的任务目标信息通过在线编辑方式生成目标数据采集脚本，包括：
基于数据采集的任务目标信息输出脚本在线编辑界面；
基于通过所述脚本在线编辑界面输入的脚本编辑指令生成目标数据采集脚本。


3.根据权利要求2所述的方法，其特征在于，所述脚本在线编辑界面中包括数据采集脚本模板；
所述基于通过所述脚本在线编辑界面输入的脚本编辑指令生成目标数据采集脚本，包括：
基于接收到的针对所述数据采集脚本模板的编辑指令，对所述数据采集脚本模板进行编辑，以生成所述目标数据采集脚本。


4.根据权利要求1所述的方法，其特征在于，所述基于调试后的目标数据采集脚本执行针对所述任务目标信息的数据采集任务，包括：
将针对所述任务目标信息的待执行任务下发至消息队列，并存储所述待执行任务的任务信息，所述任务信息包括任务目标信息以及任务关联的数据采集脚本信息，所述消息队列中各待执行任务按照优先级，采用异步调用的方式进行调度；
当对针对所述任务目标信息的待执行任务进行调度时，基于该待执行任务的任务信息，调用调试后的目标数据采集脚本进行数据抓取。


5.根据权利要求1所述的方法，其特征在于，所述基于调试后的目标数据采集脚本执行数据采集任务之后，还包括：
对所抓取的数据进行过滤，对过滤后的数据进行数据格式规范化处理，并存储处理后的数据。


6.一种数据采集装置，其特征在于，包括：
编辑单元，用于当检测到数据采集任务创建指令时，基于数据采集的任务目标信息通过在线编辑方式生成目标数据采集脚本...

【专利技术属性】
技术研发人员：周少鹏，王滨，万里，毕志城，田启航，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33