任务分配在分布式系统的应用方法及系统技术方案

本发明专利技术公开了一种任务分配在分布式系统的应用方法，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的平均时延分配网页任务。本发明专利技术提供的技术方案具有效率高的优点。

【技术实现步骤摘要】
任务分配在分布式系统的应用方法及系统
本专利技术涉及数据处理领域，尤其涉及一种任务分配在分布式系统的应用方法及系统。
技术介绍
网页采集是一种对特定网页进行采集的简称，对于网页采集而言，现有的网页采集一般在分布式系统内实现，但是现有的网页采集无法依据实际情况对网页采集的任务进行分配，导致网页采集效率低。
技术实现思路
本申请提供一种任务分配在分布式系统的应用方法。其解决现有技术的技术方案效率低的缺点。一方面，提供一种任务分配在分布式系统的应用方法，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的平均时延分配网页任务。可选的，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：分布式设备对平均时延在第一区间的X个设备分配第一组网页采集任务，将平均时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的平均时延低于第二区间的Y个设备的平均时延，第一组网页采集任务大于第二组网页采集本文档来自技高网...

【技术保护点】
一种任务分配在分布式系统的应用方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的平均时延分配网页任务。

【技术特征摘要】
1.一种任务分配在分布式系统的应用方法，其特征在于，所述方法包括如下步骤：分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；分布式设备将N个数据包依次发送给分布式系统的其他M个设备；分布式设备统计M个设备返回的N个数据包的M组N个时延；分布式设备依据每组N个时延中的平均时延分配网页任务。2.根据权利要求1所述的方法，其特征在于，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：分布式设备对平均时延在第一区间的X个设备分配第一组网页采集任务，将平均时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的平均时延低于第二区间的Y个设备的平均时延，第一组网页采集任务大于第二组网页采集任务。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：分布式设备在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。4.一种任务分配在分布式系统的应用系统，其特征在于，所述系统包括：分布式设备以及M个设备，所述分布式设备与M个设备连接；分布式设备，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的平均时延分配网页任务；所述M个设备，用于接收分配网页采集任务执行网页采集。5.根据权利要求4所述的系统，其特征在于，所述分布式设备，还用于对平均时延在第一区间的X个...

【专利技术属性】
技术研发人员：马岩，
申请(专利权)人：麦格创科技深圳有限公司，
类型：发明
国别省市：广东,44