【技术实现步骤摘要】
基于分布式数据采集任务调度方法及装置
本专利技术涉及计算机信息
更具体地说，本专利技术涉及一种基于分布式数据采集任务调度方法及装置。
技术介绍
近年来随着计算机系统的不断壮大，分布式系统作为解决当下计算机问题的必要手段备受关注，而所述分布式系统是多个处理机通过通信线路互联而构成的松散耦合的系统，每个处理机相当于一台个人计算机，其受到分布式系统的统一调度进行分工合理的协作。所以如何进行任务调度对于发挥分布式系统整体性能，保持系统负载均衡、稳健、高可用等方面至关重要。目前通用的调度算法多为解决某一类特定问题，比如轮转法、加权法、散列法、最少连接法、最低缺失法、最快响应法，同时单一算法易导致系统震荡，造成节点间任务不均，从而干扰正常的系统负载平衡，使分布式系统无法高效工作。
技术实现思路
本专利技术的一个目的是解决至少上述问题，并提供至少后面将说明的优点。本专利技术还有一个目的是提供一种基于分布式数据采集任务调度方法及装置，其通过对任务进行分类定级，结合任务执行器的状态动态分配任务，达到分布式系...
【技术保护点】
1.基于分布式数据采集任务调度方法，其特征在于，应用于包含多个任务执行器的分布式系统，所述方法包括：/n获取待处理任务；/n对待处理任务分类得到多个周期性重复任务；/n记录每个周期性重复任务在前n次执行中每次执行的起止时间点；/n根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长t
【技术特征摘要】
1.基于分布式数据采集任务调度方法，其特征在于，应用于包含多个任务执行器的分布式系统，所述方法包括：
获取待处理任务；
对待处理任务分类得到多个周期性重复任务；
记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
2.如权利要求1所述的基于分布式数据采集任务调度方法，其特征在于，还包括：
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长确定是否需要将该周期性重复任务拆分成多个子任务；
将需要拆分的周期性重复任务拆分成多个子任务，并将多个子任务进行重新调度。
3.如权利要求1所述的基于分布式数据采集任务调度方法，其特征在于，还包括：
对待处理任务分类得到多个一次性任务；
将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
4.基于分布式数据采集任务调度装置，其特征在于，应用于包含多个任务执行器的分布式系统，所述装置包括：
任务采集模块，用于获取待处理任务；
任务分类模块，用于对待处理任务分类得到多个周期性重复任务；
任务状态采集模块，用于记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
任务优先级分类模块，用...
【专利技术属性】
技术研发人员：刘春阳，张旭，王鹏，
申请(专利权)人：国家计算机网络与信息安全管理中心，北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。