资源调度方法、作业处理方法、调度器、系统及相关设备技术方案

技术编号:43130090 阅读:24 留言:0更新日期:2024-10-29 17:37
一种资源调度方法、作业处理方法、调度器、系统及相关设备,涉及计算机技术领域。调度器获取待处理的第一作业,并根据算力拓扑从资源池包括的多个处理器中确定多个第一处理器,该算力拓扑用于指示多个处理器的算力,该多个第一处理器的算力之间的差值不超过阈值;为第一作业调度该多个第一处理器,该第一作业基于多个第一处理器并行执行。由于为第一作业调度的多个第一处理器的算力之间的差值不超过阈值,因此,该多个第一处理器并行执行第一作业时,各个第一处理器执行第一作业到达同步点的时刻相近,从而可以减少部分执行作业效率较高的第一处理器的等待时长,以此可以实现避免部分第一处理器的算力被长时间浪费。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种资源调度方法、作业处理方法、调度器、系统及相关设备


技术介绍

1、目前,诸如消息传递接口(message passing interface,mpi)作业等跨多个节点运行的作业,通常要求每个节点具有相同的计算资源配置,由此,各个节点能够利用配置的计算资源分别执行该作业,并能够近似在同一时刻达到同步点(如同步各个节点得到的作业执行结果)。

2、通常情况下,在接收到用户提交的作业后,调度器可以为该作业调度同一型号的多个处理器,如调度多个中央处理器(central processing unit,cpu)等,以便利用该同一型号的多个处理器并行处理该作业。

3、但是,实际应用场景中,即使调度器选择调度同一型号的多个处理器来并行处理该作业,该多个处理器也会在不同的时刻到达同步点,即部分处理器执行作业的速率较快,另一部分处理器执行作业的速率较慢,这使得执行速率较快的处理器需要等待其它处理器执行作业并到达同步点,从而这部分执行速率较快的处理器可能会在较长的等待时间段内处于闲置状态,也即这部分处理器的算力在较长的等待本文档来自技高网...

【技术保护点】

1.一种资源调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据算力拓扑,从资源池中确定多个第一处理器,包括:

3.根据权利要求2所述的方法,其特征在于,所述多个第一处理器位于同一计算单元。

4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述当所述资源池中的多个处理器满足资源调整条件,根据所述算力拓扑将调度给所述第一作业的多个第一处理器中的第一目标处理器调整为所述资源池中的第二目标处理器,包括:

6.根据权利要求1至5任一项所述...

【技术特征摘要】

1.一种资源调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据算力拓扑,从资源池中确定多个第一处理器,包括:

3.根据权利要求2所述的方法,其特征在于,所述多个第一处理器位于同一计算单元。

4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述当所述资源池中的多个处理器满足资源调整条件,根据所述算力拓扑将调度给所述第一作业的多个第一处理器中的第一目标处理器调整为所述资源池中的第二目标处理器,包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,所述获取待处理的第一作业,包括:

7.根据权利要求1至6任一项所述的方...

【专利技术属性】
技术研发人员:潘勋张鸣
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1