一种作业调度方法、装置、设备及存储介质制造方法及图纸

技术编号:39964430 阅读:18 留言:0更新日期:2024-01-09 00:18
本发明专利技术公开了一种作业调度方法、装置、设备及存储介质,包括:获取集群环境的状态信息;根据状态信息采用指定算法从动作空间中筛选出目标动作;根据目标动作确定目标虚拟机,并将当前作业分配到目标虚拟机上进行调度运行;获取针对目标动作的奖励,并根据奖励对指定算法进行调整。通过所获取的集群环境的状态信息筛选出目标动作,并且根据目标动作确定出调度运行当前作业的目标虚拟机,由于状态信息是最新时刻所获取的,从而根据所获取的最佳的目标动作对作业进行精准调度,并且针对目标动作所获取的奖励对指定算法进行调整,从而根据服务作业调度的服务指令对指定算法进行优化,以保证作业整体调度的准确性。

【技术实现步骤摘要】

本专利技术涉及通信,尤其涉及一种作业调度方法、装置、设备及存储介质


技术介绍

1、spark是一种通用、快速的大规模数据处理系统,目前主流的spark作业调度方法主要分为基于启发式的spark作业调度和基于深度强化学习(deep reinforcementlearning,drl)的spark作业调度两种类型。

2、但是目前基于启发式的方法所构建的模型严重依赖于过去的数据,而这些数据有时会由于集群环境的各种变化而过时,而且还很难调整或修改基于启发式的方法来结合工作负载和集群变化。而基于drl的方法没有很好的关注qos要求。并且,真实spark集群的环境通常很复杂,这些方法使用的算法都比较老旧,对复杂的spark集群环境进行建模很困难,不能很好的适应变化的spark集群环境。


技术实现思路

1、本专利技术提供了一种作业调度方法、装置、设备及存储介质,以实现对作业的准确调度。

2、根据本专利技术的一方面,提供了一种作业调度方法,包括:获取集群环境的状态信息,其中,所述状态信息中包括集群环本文档来自技高网...

【技术保护点】

1.一种作业调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取集群环境的状态信息之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取集群环境的状态信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述状态信息采用指定算法从动作空间中筛选出目标动作,包括:

5.根据权利要求3所述的方法,其特征在于,所述确定目标虚拟机,并将所述当前作业分配到所述目标虚拟机上进行调度运行,包括:

6.根据权利要求1所述的方法,其特征在于,所述获取针对所述目标动作的奖励,包括

7....

【技术特征摘要】

1.一种作业调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取集群环境的状态信息之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取集群环境的状态信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述状态信息采用指定算法从动作空间中筛选出目标动作,包括:

5.根据权利要求3所述的方法,其特征在于,所述确定目标虚拟机,并将所述当前作业分配到所述目标虚拟机上进行调度运行...

【专利技术属性】
技术研发人员:何玉林莫沛恒
申请(专利权)人:人工智能与数字经济广东省实验室深圳
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1