作业任务的调度方法、装置、存储介质以及电子设备制造方法及图纸

技术编号:44895138 阅读:26 留言:0更新日期:2025-04-08 00:34
本申请公开了一种作业任务的调度方法、装置、存储介质以及电子设备,涉及大数据技术领域。其中,该方法包括:确定大数据平台的作业任务的到达率和平均工作量;根据作业任务的到达率和平均工作量,确定大数据平台为对应不同优先级的每个作业任务所分配的预留处理时间和预留资源量;根据大数据平台为对应不同优先级的每个作业任务所分配的预留处理时间和预留资源量,对大数据平台在预设时间段内接收到的每个作业任务进行资源调度。本申请解决了现有技术中由于大数据作业调度具有数据量大、任务数量多、时效要求高的特点,在实际作业调度场景中存在资源分配不均,从而导致作业任务处理时间较长的技术问题。

【技术实现步骤摘要】

本申请涉及大数据,具体而言,涉及一种作业任务的调度方法、装置、存储介质以及电子设备


技术介绍

1、随着大数据技术的兴起,数据量呈指数级增长,需要构建大规模的集群来处理大数据量。对于集群的资源分配和作业调度,需要根据集群的性能参数(如节点数、存储量和计算量)和作业的性能参数(如作业优先级、数据量、计算量)进行考虑。作业调度的策略和算法对于集群的性能至关重要,如何在保证集群性能的前提下,优化作业调度策略,提升资源利用率,降低用户等待时间,已经成为大数据集群研究的核心问题。

2、但是由于现如今大数据资产和用数规模的大幅增加,导致大数据作业调度数据量大、任务数量多、时效要求高,所以在实际作业调度场景中存在资源分配不均,从而导致作业任务处理时间较长的问题,进而造成难以满足不同优先级作业的时效要求的情况。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种作业任务的调度方法、装置、存储介质以及电子设备,以至少解决现有技术中由于大数据作业调度具有数据量本文档来自技高网...

【技术保护点】

1.一种作业任务的调度方法,其特征在于,包括:

2.根据权利要求1所述的作业任务的调度方法,其特征在于,确定大数据平台的作业任务的到达率和平均工作量,包括:

3.根据权利要求2所述的作业任务的调度方法,其特征在于,根据所述作业任务到达所述大数据平台的初始速率以及所述作业任务在离开第一类服务站之后的三种概率事件,确定所述大数据平台的作业任务的到达率和平均工作量,包括:

4.根据权利要求3所述的作业任务的调度方法,其特征在于,根据所述排队网络模型确定所述大数据平台的作业任务到达率和平均工作量,包括:

5.根据权利要求1所述的作业任务的调度方法,...

【技术特征摘要】

1.一种作业任务的调度方法,其特征在于,包括:

2.根据权利要求1所述的作业任务的调度方法,其特征在于,确定大数据平台的作业任务的到达率和平均工作量,包括:

3.根据权利要求2所述的作业任务的调度方法,其特征在于,根据所述作业任务到达所述大数据平台的初始速率以及所述作业任务在离开第一类服务站之后的三种概率事件,确定所述大数据平台的作业任务的到达率和平均工作量,包括:

4.根据权利要求3所述的作业任务的调度方法,其特征在于,根据所述排队网络模型确定所述大数据平台的作业任务到达率和平均工作量,包括:

5.根据权利要求1所述的作业任务的调度方法,其特征在于,根据所述作业任务的到达率和所述平均工作量,确定所述大数据平台为对应不同优先级的每个作业任务所分配的预留处理时间和预留资源量,包括:

6.根据权利要求5所述的作业任务的调度方法,其特征在于,根据所述第k个优先级的作业任务的任务处理时长,确定所述大数据平台为所述第k个优先级的作业任务分配的预留处理时间和预留资源量,包括:

7.根据权利要求1所述的作业任务的调度方法,其特征在...

【专利技术属性】
技术研发人员:肖金虹彭杰文林伟健
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1