数据采集方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种数据采集方法、装置及存储介质，通过调度节点将调度任务发送给总控节点，总控节点接收各数据采集节点发送的运行状态信息，并根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各数据采集节点的运行状态信息，将调度任务分配给数据采集节点，以使数据采集节点执行调度任务。通过总控节点统一管理各数据采集节点，为每一数据采集节点均衡负载，提高数据采集的响应能力与机器资源使用率，且数据采集节点可分布在不同的机房中，充分利用多机房的带宽与多IP地址优势，且支持节点的动态扩容与收缩。

Data acquisition method, device and storage medium

【技术实现步骤摘要】
数据采集方法、装置及存储介质
本专利技术涉及通信
，尤其涉及一种数据采集方法、装置及存储介质。
技术介绍
数据采集需要依赖的最主要资源是带宽、IP地址、处理器与内存，在硬件资源相对低廉的情况下处理器与内存不会成为限制采集系统规模的瓶颈，真正的瓶颈往往是带宽与IP地址。大规模下载网页等网络内容需要有足够的网络带宽的支持，网站通常对某个IP地址在单位时间内可访问的次数有所限制，因此对网站大批量高时效性采集需要有足够IP地址的支持。目前开源的分布式采集框架，在使用时基于降低公网带宽以及传输效率的要求，需要将多个采集节点部署在同一个机房的机器内，基于这种部署要求对于拥有多个机房的用户就无法方便地利用多机房的带宽以及多IP地址优势。与此同时如果在一台机器上部署多个采集程序，就无法控制每个采集程序对系统资源的消耗，而在一台机机器上只部署一个采集程序，那么就会带来机器资源使用率不均衡以及资源浪费的问题。
技术实现思路
本专利技术提供一种数据采集方法、装置及存储介质，以提高数据采集过程中的资源使用率，实现负载均衡。本专利技术的第一方面是提供一种数据采集方法，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：所述总控节点接收所述调度节点发送的调度任务；所述总控节点接收各所述数据采集节点发送的运行状态信息；所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务。进一步的，所述调度任务包括目标网页以及所述目标网页的调度顺序，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取。进一步的，述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，包括：所述总控节点根据网页域名打散策略、各所述数据采集节点的处理能力信息及运行状态信息，将所述调度任务分配给所述数据采集节点。进一步的，所述总控节点配置有至少一个备用总控节点，以在所述总控节点出现故障时从所述至少一个备用总控节点中选举出一个备用总控节点以替代所述总控节点。本专利技术的第二方面是提供一种数据采集方法，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：所述数据采集节点获取自身的运行状态信息；所述数据采集节点将所述运行状态信息发送给所述总控节点，以使所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点；所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务。进一步的，所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务，包括：所述数据采集节点接收到所述调度任务后，根据所述调度任务为所述数据采集节点的下载插件和解析插件分配任务，以由所述下载插件和所述解析插件分别独立的执行所分配的任务。进一步的，所述数据采集节点将所述运行状态信息发送给所述总控节点，包括：所述数据采集节点获取其各所述下载插件和所述解析插件的运行状态信息，将各插件的运行状态信息以预设周期发送给所述总控节点。本专利技术的第三方面是提供一种总控节点，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述总控节点包括：存储器，用于存储计算机程序；处理器，用于运行所述存储器中存储的计算机程序以实现：接收所述调度节点发送的调度任务；接收各所述数据采集节点发送的运行状态信息；根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务。进一步的，所述调度任务包括目标网页以及所述目标网页的调度顺序，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取。进一步的，在所述处理器根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点时，所述处理器被配置为：根据网页域名打散策略、各所述数据采集节点的处理能力信息及运行状态信息，将所述调度任务分配给所述数据采集节点。进一步的，所述总控节点配置有至少一个备用总控节点，以在所述总控节点出现故障时从所述至少一个备用总控节点中选举出一个备用总控节点以替代所述总控节点。本专利技术的第四方面是提供一种数据采集节点，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述数据采集节点包括：存储器，用于存储计算机程序；处理器，用于运行所述存储器中存储的计算机程序以实现：获取自身的运行状态信息；将所述运行状态信息发送给所述总控节点，以使所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点；接收所述总控节点分配的所述调度任务，并执行所述调度任务。进一步的，在所述处理器接收所述总控节点分配的所述调度任务，并执行所述调度任务时，所述处理器被配置为：接收到所述调度任务后，根据所述调度任务为所述数据采集节点的下载插件和解析插件分配任务，以由所述下载插件和所述解析插件分别独立的执行所分配的任务。进一步的，在所述处理器将所述运行状态信息发送给所述总控节点时，所述处理器被配置为：获取其各所述下载插件和所述解析插件的运行状态信息，将各插件的运行状态信息以预设周期发送给所述总控节点。本专利技术的第五方面是提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行时实现如第一方面所述的方法。本专利技术的第六方面是提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行时实现如第二方面所述的方法。本专利技术提供的数据采集方法、装置及存储介质，通过调度节点将调度任务发送给总控节点，总控节点接收各数据采集节点发送的运行状态信息，并根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各数据采集节点的运行状态信息，将调度任务分配给数据采集节点，以使数据采集节点执行调度任务。本专利技术中通过总控节点统一管理各数据采集节点，为每一数据采集节点均衡负载，从而提高数据采集的响应能力与机器资源使用率，并且数据采集节点可分布在不同的机房中，充分利用多机房的带宽与多IP地址优势，且支持节点的动态扩容与收缩。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：/n所述总控节点接收所述调度节点发送的调度任务；/n所述总控节点接收各所述数据采集节点发送的运行状态信息；/n所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：
所述总控节点接收所述调度节点发送的调度任务；
所述总控节点接收各所述数据采集节点发送的运行状态信息；
所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，以使所述数据采集节点执行所述调度任务。


2.根据权利要求1所述的方法，其特征在于，所述调度任务包括目标网页以及所述目标网页的调度顺序，所述目标网页以及所述目标网页的调度顺序由所述调度节点根据采集任务及预定调度策略获取。


3.根据权利要求2所述的方法，其特征在于，所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点，包括：
所述总控节点根据网页域名打散策略、各所述数据采集节点的处理能力信息及运行状态信息，将所述调度任务分配给所述数据采集节点。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述总控节点配置有至少一个备用总控节点，以在所述总控节点出现故障时从所述至少一个备用总控节点中选举出一个备用总控节点以替代所述总控节点。


5.一种数据采集方法，其特征在于，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述方法包括：
所述数据采集节点获取自身的运行状态信息；
所述数据采集节点将所述运行状态信息发送给所述总控节点，以使所述总控节点根据预设策略、预先获取的各所述数据采集节点的处理能力信息及各所述数据采集节点的运行状态信息，将所述调度任务分配给所述数据采集节点；
所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务。


6.根据权利要求5所述的方法，其特征在于，所述数据采集节点接收所述总控节点分配的所述调度任务，并执行所述调度任务，包括：
所述数据采集节点接收到所述调度任务后，根据所述调度任务为所述数据采集节点的下载插件和解析插件分配任务，以由所述下载插件和所述解析插件分别独立的执行所分配的任务。


7.根据权利要求6所述的方法，其特征在于，所述数据采集节点将所述运行状态信息发送给所述总控节点，包括：
所述数据采集节点获取其各所述下载插件和所述解析插件的运行状态信息，将各插件的运行状态信息以预设周期发送给所述总控节点。


8.一种总控节点，其特征在于，应用于分布式采集系统，所述分布式采集系统包括调度节点、总控节点、以及多个数据采集节点，所述总控节点包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中...

【专利技术属性】
技术研发人员：曹六一，张丹，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11