一种大数据任务调度方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42572642 阅读:21 留言:0更新日期:2024-08-29 00:38
本申请提供了一种大数据任务调度方法、装置、电子设备及存储介质,该方法包括:通过任务分配服务器接收待调度的任务列表;在任务列表中获取各任务的初始调度优先级及各任务之间的依赖关系;基于各任务之间的依赖关系计算每个任务对其下游任务的影响系数值;基于每个任务的初始调度优先级和影响系数值确定最终调度优先级;基于最终调度优先级将各任务分配给任务执行服务器。本申请提高了调度效率。

【技术实现步骤摘要】

本专利技术涉及分布式调度,具体而言,涉及一种大数据任务调度方法、装置、电子设备及存储介质


技术介绍

1、随着大数据发展,厨房电器等设备对大数据的应用开发的需求也越来越多,这些需求包括但不限于数据采集、数据计算、数据装载等,服务器每天需承载着成千上万的任务去做调度运行。

2、目前,基于quartz框架的任务调度,在任务优先级配置方面,只能采用静态的任务优先级设置,不能够随时间的推移和需求来变化,只能手动调整优先级,导致任务调度效率低下,且增加了运维成本。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种大数据任务调度方法、装置、电子设备及存储介质,以提高任务调度效率,同时减少运维成本。

2、第一方面,提供一种大数据任务调度方法,方法包括:

3、通过任务分配服务器接收待调度的任务列表;

4、在任务列表中获取各任务的初始调度优先级及各任务之间的依赖关系;

5、基于各任务之间的依赖关系计算每个任务对其下游任务的影响系数值;>

6、基于每个本文档来自技高网...

【技术保护点】

1.一种大数据任务调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述任务列表中获取各任务之间的依赖关系包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述各任务之间的依赖关系计算每个任务对其下游任务的影响系数值包括:

4.根据权利要求1所述的方法,其特征在于,所述基于每个任务的所述初始调度优先级和所述影响系数值确定最终调度优先级包括:

5.根据权利要求1所述的方法,其特征在于,所述任务执行服务器中设置有多个调度队列,每个所述调度队列对应一个任务类型及每个所述调度队列设置有并发数阈值;所述基于所述...

【技术特征摘要】

1.一种大数据任务调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述任务列表中获取各任务之间的依赖关系包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述各任务之间的依赖关系计算每个任务对其下游任务的影响系数值包括:

4.根据权利要求1所述的方法,其特征在于,所述基于每个任务的所述初始调度优先级和所述影响系数值确定最终调度优先级包括:

5.根据权利要求1所述的方法,其特征在于,所述任务执行服务器中设置有多个调度队列,每个所述调度队列对应一个任务类型及每个所述调度队列设置有并发数阈值;所述基于所述最终调度优先级将所述各任务分配给任务...

【专利技术属性】
技术研发人员:俞灿荣李涛徐伟锋任富佳葛皓
申请(专利权)人:杭州老板电器股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1