基于分布式调度框架的任务调度方法以及装置制造方法及图纸

本申请涉及大数据技术领域，特别涉及一种基于分布式调度框架的任务调度方法以及装置。方法包括：接收任务调度请求，任务调度请求中携带有待调度任务标识；获取待调度任务标识对应的待调度任务的任务大小；根据任务大小对待调度任务进行分片处理得到分片任务，并根据预设逻辑获取各分片任务的优先级；计算分布式调度框架中的各执行节点的任务负载率；根据任务负载率以及优先级将各分片任务分配至各执行节点，以指示各执行节点对分配到的分片任务进行任务调度。采用本方法能够提高任务调度的效率。此外，本发明专利技术还涉及区块链技术，各执行节点的工作状态存储于区块链中。

【技术实现步骤摘要】
基于分布式调度框架的任务调度方法以及装置
本申请涉及大数据
，特别是涉及一种基于分布式调度框架的任务调度方法以及装置。
技术介绍
在数据库异步调度领域，异步调度框架支持异步调度，且可以设置时间表达式进行调度，会造成没有任务的时候，当满足时间的话也会调度起来，从而浪费系统计算资源。传统技术中还可以在分布式环境中进行任务调度，但是在任务调度的过程中也需要控制同一个任务只能单节点运行，这样的计算方式会严重的浪费了分布式环境的计算能力。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高任务调度效率的基于分布式调度框架的任务调度方法以及装置。一种基于分布式调度框架的任务调度方法，方法包括：接收任务调度请求，任务调度请求中携带有待调度任务标识；获取待调度任务标识对应的待调度任务的任务大小；根据任务大小对待调度任务进行分片处理得到分片任务，并根据预设逻辑获取各分片任务的优先级；计算分布式调度框架中的各执行节点的任务负载率；根据任务负载率以及优先级将各分片任务分配至本文档来自技高网...

【技术保护点】
1.一种基于分布式调度框架的任务调度方法，其特征在于，所述方法包括：/n接收任务调度请求，所述任务调度请求中携带有待调度任务标识；/n获取所述待调度任务标识对应的待调度任务的任务大小；/n根据所述任务大小对所述待调度任务进行分片处理得到分片任务，并根据预设逻辑获取各所述分片任务的优先级；/n计算分布式调度框架中的各执行节点的任务负载率；根据所述任务负载率以及所述优先级将各所述分片任务分配至各所述执行节点，以指示各所述执行节点对分配到的所述分片任务进行任务调度。/n

【技术特征摘要】
1.一种基于分布式调度框架的任务调度方法，其特征在于，所述方法包括：
接收任务调度请求，所述任务调度请求中携带有待调度任务标识；
获取所述待调度任务标识对应的待调度任务的任务大小；
根据所述任务大小对所述待调度任务进行分片处理得到分片任务，并根据预设逻辑获取各所述分片任务的优先级；
计算分布式调度框架中的各执行节点的任务负载率；根据所述任务负载率以及所述优先级将各所述分片任务分配至各所述执行节点，以指示各所述执行节点对分配到的所述分片任务进行任务调度。


2.根据权利要求1所述的方法，其特征在于，所述计算分布式调度框架中的各执行节点的任务负载率，包括：
获取分布式调度框架中的所述执行节点中的各所述分片任务对应的任务状态，所述任务状态包含已完成状态以及未完成状态；
获取所述已完成状态的所述分片任务的第一数量，以及所述未完成状态的所述分片任务的第二数量；
计算所述第一数量与所述第二数量的比值；
根据所述比值得到各所述执行节点的任务负载率。


3.根据权利要求1或2所述的方法，其特征在于，所述根据各所述任务负载率以及各所述优先级将各所述分片任务分配至各所述执行节点，包括：
将所述分片任务按照优先级从高到低的顺序依次分配至所述任务负载率从低到高的所述执行节点。


4.根据权利要求1所述的方法，其特征在于，所述计算分布式调度框架中的各执行节点的任务负载率之后，还包括：
根据所述任务负载率得到各所述执行节点的计算性能指标；
当所述计算性能指标不能满足处理所有的所述分片任务时，获取所述计算性能指标对应的分片任务的处理数量，将与所述处理数量对应的分片任务分配至各所述执行节点，将剩余的所述分片任务存储至消息队列，当所述执行节点中存在所述分片任务的任务状态对应为已完成状态时，从消息队列中提取所述分片任务并分配至所述执行节点，直至将所有的所述分片任务分配至所述执行节点。


5.根据权利要求1或4所述的方法，其特征在于，所述根据所述任务负载率得到所述执行节点的计算性...

【专利技术属性】
技术研发人员：吴永晖，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44