多DAG调度方法、装置、计算机设备、可读存储介质制造方法及图纸

技术编号:44699150 阅读:22 留言:0更新日期:2025-03-19 20:50
本申请涉及一种多DAG调度方法、装置、计算机设备、可读存储介质。通过获取作业对应的多个DAG的最迟开始执行时间;最迟开始执行时间为满足DAG的截止时间约束的前提下,允许DAG开始执行的最迟时刻;然后按最迟开始执行时间从小到大对各DAG进行排序,以指导顺序调度过程,在顺序调度过程中,基于丢弃调度失败DAG的策略和回填算法,对多个DAG按照排序进行顺序调度,其他就绪的DAG可以在不影响前面DAG调度的前提下利用空隙调度任务,以提高资源利用率,且通过丢弃调度失败的DAG来让出空隙给后续DAG进行调度,进一步提高资源利用率,以及提高DAG调度成功率。

【技术实现步骤摘要】

本申请涉及分布式系统下的dag调度,特别是涉及一种多dag调度方法、装置、计算机设备、可读存储介质。


技术介绍

1、随着云计算的发展,来自不同用户的多dag(directed acyclic graph,有向无环图)共享一组分布式资源的调度问题引起了广泛的关注。

2、由于单个dag任务之间存在执行顺序约束和数据依赖关系,调度过程中不可避免的会产生资源空隙,其他dag可以利用这些资源空隙,是资源利用率提高的关键。

3、目前针对云环境下的多dag调度,在资源利用率方面仍需要进一步提高。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够优化资源利用率和调度成功率的多dag调度方法、装置、计算机设备、可读存储介质。

2、第一方面,本申请提供了一种多dag调度方法,应用于分布式系统,所述方法包括:

3、获取作业对应的多个dag的最迟开始执行时间;所述最迟开始执行时间为满足dag的截止时间约束的前提下,允许所述dag开始执行的最迟时刻;p>

4、按最迟本文档来自技高网...

【技术保护点】

1.一种多DAG调度方法,其特征在于,应用于分布式系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各DAG的最迟开始执行时间,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各DAG的子截止时间和入口任务的执行时间,以及以下表达式,确定各DAG的最迟开始执行时间LST的步骤之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述多个DAG以列表形式存储在DAG列表中,所述基于丢弃调度失败DAG的策略和回填算法,对多个DAG按照排序进行顺序调度,包括:

5.根据权利要求4所述的方法,其特征在于,所述迭代...

【技术特征摘要】

1.一种多dag调度方法,其特征在于,应用于分布式系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各dag的最迟开始执行时间,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各dag的子截止时间和入口任务的执行时间,以及以下表达式,确定各dag的最迟开始执行时间lst的步骤之前,还包括:

4.根据权利要求3所述的方法,其特征在于,所述多个dag以列表形式存储在dag列表中,所述基于丢弃调度失败dag的策略和回填算法,对多个dag按照排序进行顺序调度,包括:

5.根据权利要求4所述的方法,其特征在于,所述迭代执行以下步骤,...

【专利技术属性】
技术研发人员:黄静曾文颖
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1