任务调度方法及装置、节点及存储介质制造方法及图纸

本申请公开了一种基于分布式调度模型的任务调度方法及装置、采集进程节点及存储介质，方法包括：当采集进程重启或检测到主节点故障时，采集进程向比自身的PID大的采集进程发送选举消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则向其他采集进程发送选举成功消息，采集进程作为主节点；作为主节点的采集进程执行任务分片操作，将任务分片写入本地就绪的工作队列。本申请解决了单点故障的问题。任务窃取方式的任务负载均衡算法，可以基于节点负载实现任务的自适应负载均衡。负载均衡。负载均衡。

【技术实现步骤摘要】
任务调度方法及装置、节点及存储介质


[0001]本申请实施例涉及分布式调度技术，尤其涉及一种基于分布式调度模型的任务调度方法及装置、分布式调度系统中的采集进程节点及计算机存储介质。

技术介绍

[0002]任务调度系统主要包含程序任务、分布式环境和调度程序等。其中程序任务是用户提交给系统的需要执行的任务，分布式环境是由处理机通过网络连接起来的分布式系统，用于执行用户提交过来的任务，调度系统是系统中最重要的组成部分，用于分发用户任务到分布式环境。而当主节点故障时，重新确定主节点的机制效率低且负载均衡的算法复杂。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种基于分布式调度模型的任务调度方法及装置、分布式调度系统中的采集进程节点及计算机存储介质，能够基于采集进程节点的负载实现任务的自适应负载均衡。
[0004]本申请实施例提供一种基于分布式调度模型的任务调度方法，包括：
[0005]当采集进程重启或采集进程检测到主节点故障时，采集进程向比自身的进程标识PID大的采集进程发送选举消息，若接收到应答消息，则等待接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式调度模型的任务调度方法，其特征在于，所述方法包括：当采集进程重启或采集进程检测到主节点故障时，所述采集进程向比自身的进程标识大的采集进程发送选举消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则向其他采集进程发送选举成功消息，以使得所述采集进程作为主节点；作为主节点的采集进程执行任务分片操作，将任务分片写入本地就绪的工作队列。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：采集进程从本地工作队列获取任务，当获取的任务数目低于设定阈值时，从其他有任务的采集进程中随机选择一采集节点发送窃取任务请求，当接收到未有任务消息时，重新随机选择一采集节点发送窃取任务的请求，当接收到非未有任务消息时，接收所选择的采集节点发送的任务，写入本地任务队列并执行。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：采集进程的进程标识最大时，向其他的采集进程发送选举成功消息，进程标识最大的所述采集进程作为主节点。4.根据权利要求1所述的方法，其特征在于，所述采集进程接收到应答消息后，所述方法还包括：若等待接收选举成功消息超出设定时长，则采集进程重新向比自身的进程标识大的采集进程发送选举消息，直到在采集进程中确定出主节点。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：采集进程接收到窃取任务请求后，若当前配置的是动态任务窃取策略，则根据当前存在的窃取任务数量动态确定窃取任务数目，并按所确定的窃取任务数目发送相应任务给发送窃取任务的请求的采集进程；若为静态任务窃取策略，则将设定的窃取任务数目的任务发送给发送窃取任务的请求的采集进程。6.一种基于分布式调度模型的任务调度装置，其特征在于，所述装置包括：第一发送单元，用于当采集进程重启或检测到主节点故障时，向比当前采集节点的进程标识大的采集进程发送选举消息；第一接收单元，用于接收应答消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则触发所述第一发送单元向其他采集进程发送选举...

【专利技术属性】
技术研发人员：徐硕，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：