【技术实现步骤摘要】
本专利技术涉及通信,尤其涉及一种作业调度方法、装置、设备及存储介质。
技术介绍
1、spark是一种通用、快速的大规模数据处理系统,目前主流的spark作业调度方法主要分为基于启发式的spark作业调度和基于深度强化学习(deep reinforcementlearning,drl)的spark作业调度两种类型。
2、但是目前基于启发式的方法所构建的模型严重依赖于过去的数据,而这些数据有时会由于集群环境的各种变化而过时,而且还很难调整或修改基于启发式的方法来结合工作负载和集群变化。而基于drl的方法没有很好的关注qos要求。并且,真实spark集群的环境通常很复杂,这些方法使用的算法都比较老旧,对复杂的spark集群环境进行建模很困难,不能很好的适应变化的spark集群环境。
技术实现思路
1、本专利技术提供了一种作业调度方法、装置、设备及存储介质,以实现对作业的准确调度。
2、根据本专利技术的一方面,提供了一种作业调度方法,包括:获取集群环境的状态信息,其中,所述
...【技术保护点】
1.一种作业调度方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取集群环境的状态信息之前,还包括:
3.根据权利要求2所述的方法,其特征在于,所述获取集群环境的状态信息,包括:
4.根据权利要求2所述的方法,其特征在于,所述根据所述状态信息采用指定算法从动作空间中筛选出目标动作,包括:
5.根据权利要求3所述的方法,其特征在于,所述确定目标虚拟机,并将所述当前作业分配到所述目标虚拟机上进行调度运行,包括:
6.根据权利要求1所述的方法,其特征在于,所述获取针对所述目标动作的奖励,包括
7....
【技术特征摘要】
1.一种作业调度方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取集群环境的状态信息之前,还包括:
3.根据权利要求2所述的方法,其特征在于,所述获取集群环境的状态信息,包括:
4.根据权利要求2所述的方法,其特征在于,所述根据所述状态信息采用指定算法从动作空间中筛选出目标动作,包括:
5.根据权利要求3所述的方法,其特征在于,所述确定目标虚拟机,并将所述当前作业分配到所述目标虚拟机上进行调度运行...
【专利技术属性】
技术研发人员:何玉林,莫沛恒,
申请(专利权)人:人工智能与数字经济广东省实验室深圳,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。