分布式系统的网页分配方法及系统技术方案

本发明专利技术公开了一种分布式系统的网页分配方法，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的最大时延分配网页任务。本发明专利技术提供的技术方案具有效率高的优点。

Webpage allocation method and system of distributed system

The invention discloses a page allocation method for distributed system, the method comprises the following steps: distributed equipment that receives or initiate the task message, the message for the distribution of \task acquisition tasks in distributed systems; distributed devices will N data packets sent to the distributed system of other M devices; N data return M devices distributed equipment statistical package M N group delay task; the maximum delay distribution of each N device is based on the\ distributed delay in. The technical scheme provided by the invention has the advantages of high efficiency.

【技术实现步骤摘要】
分布式系统的网页分配方法及系统
本专利技术涉及数据处理领域，尤其涉及一种分布式系统的网页分配方法及系统。
技术介绍
网页采集是一种对特定网页进行采集的简称，对于网页采集而言，现有的网页采集一般在分布式系统内实现，但是现有的网页采集无法依据实际情况对网页采集的任务进行分配，导致网页采集效率低。
技术实现思路
本申请提供一种分布式系统的网页分配方法。其解决现有技术的技术方案效率低的缺点。一方面，提供一种分布式系统的网页分配方法，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的最大时延分配网页任务。可选的，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：分布式设备对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。可选的，所述方法还包括：分布式设备在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。第二方面，提供一种分布式系统的网页分配系统，所述系统包括：分布式设备以及M个设备，所述分布式设备与M个设备连接；分布式设备，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的最大时延分配网页任务；所述M个设备，用于接收分配网页采集任务执行网页采集。可选的，所述分布式设备，还用于对M个时延和中位于第一区间的X个设备分配第一组网页采集任务，将第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的时延和低于第二区间的Y个设备的时延和，第一组网页采集任务大于第二组网页采集任务。可选的，所述分布式设备，还用于在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，所述无线收发器，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；所述处理器，用于将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的最大时延分配网页任务。可选的，所述处理器，用于对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。可选的，所述处理器，用于在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。本专利技术提供的技术方案通过最大时延来分配网页采集的任务，即最大时延较小的设备分配较多的网页采集任务，最大时延较大的设备分配较少的网页采集任务，从而提高了效率的优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术第一较佳实施方式提供的一种分布式系统的网页分配方法的流程图；图2为本专利技术第二较佳实施方式提供的一种分布式系统的网页分配系统的结构图。图3为本专利技术第二较佳实施方式提供的一种分布式设备的硬件结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1是本专利技术第一较佳实施方式提出的一种分布式系统的网页分配方法，该方法如图1所示，包括如下步骤：步骤S101、分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务。步骤S102、分布式设备将N个数据包依次发送给分布式设备的其他M个设备，统计M个设备返回的N个数据包的M组N个时延，每组包含N个数据包的时延。上述步骤S102的实现方法可以为：分布式设备获取历史分享的数据包的大小(即容量，多少个MB或多个KB)；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，UE统计其他M个分布式设备中每个接入点的N个数据包的时延，得到M组N个时延。下面以一个实际的例子来说明反馈参数为时间和的计算方式；这里的数据包的大小具体可以包括：6MB、5MB、4MB、3MB、2MB、1MB，这里划分的N个区间以2个区间为例，具体的2个区间的范围可以为，区间1【6MB，4MB】；区间2【3MB，1MB】，那么分布式设备虚拟出2个数据包，为了方便说明，这里以数据包A表示第一区间虚拟数据包，数据包B表示第二区间虚拟数据包，数据包A的大小为5MB，数据包B的大小为2MB，将数据包A以及数据包B依次发送给M个其他设备，(这里以三个AP为例，分别为AP1，AP2以及AP3)，AP1接收到数据包A以后会返回ACK(1a)，接收时间为tACK(1a)，数据包A的发送时间为t1a，AP1接收到数据包B以后会返回ACK(1b)，接收时间可以为tACK(1b),数据包B的发送时间为t1b；那么AP1的N个时延即为：tACK(1a)-t1a以及tACK(1b)-t1b。同理可以计算出AP2和AP3的N个时延。步骤S103、依据每组N个时延中的最大时延分配网页任务。本专利技术提供的技术方案通过最大时延来分配网页采集的任务，即最大时延较小的设备分配较多的网页采集任务，最大时延较大的设备分配较少的网页采集任务，从而提高了效率的优点。可选的，上述步骤S103的实现方法具体可以为：分布式设备对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。可选的，上述方法在步骤S103之后还可以包括：分布式设备在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。请参考图2，图2是本专利技术第二较佳实施方式提出的一种分布式爬虫实现系统，该系统如图2所示，包括：分布式设备201以及M个设备202，所述分布式设备与设备连接；分布式设备，用于接收或发起任务消息，所述任务消本文档来自技高网...

【技术保护点】
一种分布式系统的网页分配方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的最大时延分配网页任务。

【技术特征摘要】
1.一种分布式系统的网页分配方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的最大时延分配网页任务。2.根据权利要求1所述的方法，其特征在于，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：分布式设备对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：分布式设备在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。4.一种分布式系统的网页分配系统，其特征在于，所述系统包括：分布式设备以及M个设备，所述分布式设备与M个设备连接；分布式设备，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的最大时延分配网页任务；所述M个设备，用于接收分配网页采集任务执行网页采集。5.根据权利要求4所述的系统，其特征在于，所述分布式设备，还用于对最大时延在第一区间的X个设备分...

【专利技术属性】
技术研发人员：马岩，
申请(专利权)人：麦格创科技深圳有限公司，
类型：发明
国别省市：广东,44