【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种资源调度方法、作业处理方法、调度器、系统及相关设备。
技术介绍
1、目前，诸如消息传递接口(message passing interface，mpi)作业等跨多个节点运行的作业，通常要求每个节点具有相同的计算资源配置，由此，各个节点能够利用配置的计算资源分别执行该作业，并能够近似在同一时刻达到同步点(如同步各个节点得到的作业执行结果)。
2、通常情况下，在接收到用户提交的作业后，调度器可以为该作业调度同一型号的多个处理器，如调度多个中央处理器(central processing unit，cpu)等，以便利用该同一型号的多个处理器并行处理该作业。
3、但是，实际应用场景中，即使调度器选择调度同一型号的多个处理器来并行处理该作业，该多个处理器也会在不同的时刻到达同步点，即部分处理器执行作业的速率较快，另一部分处理器执行作业的速率较慢，这使得执行速率较快的处理器需要等待其它处理器执行作业并到达同步点，从而这部分执行速率较快的处理器可能会在较长的等待时间段内处于闲置状态，也即这部分处理器的算力在较长的等待时间段内发生浪费。
4、因此，目前亟需一种资源调度方法，以尽可能避免部分处理器的算力发生长时间的浪费。
技术实现思路
1、本申请提供了一种资源调度方法，以尽可能避免部分处理器的算力发生长时间的浪费。此外，本申请还提供了作业处理方法、调度器、作业处理设备、作业处理系统、计算机可读存储介质以及计算机程序产品。
3、由于为第一作业调度的多个第一处理器的算力之间的偏差较小，具体为不同第一处理器的算力之间的差值不超过阈值，因此，该多个第一处理器并行执行第一作业时，各个第一处理器执行第一作业到达同步点的时刻相近，从而可以减少部分执行作业效率较高的第一处理器的等待时长，以此可以实现避免部分第一处理器的算力被长时间浪费。
4、在一种可能的实施方式中，调度器在根据算力拓扑确定多个第一处理器时，具体可以是根据算力拓扑确定多个候选集合，不同候选集合包括的处理器的数量相同；然后，调度器确定多个候选集合中每个候选集合对应的算力拓扑距离，算力拓扑距离用于指示候选集合包括的不同处理器的算力之间的最大差值，从而调度器可以从多个候选集合中选择第一候选集合，第一候选集合包括多个第一处理器，多个候选集合中第一候选集合的算力拓扑距离最小。如此，调度器通过将算力拓扑距离最小的候选集合中的多个处理器调度给第一作业，可以使得该多个处理器在执行第一作业并到达同步点的时刻之间的偏差尽可能小，从而可以进一步减少部分处理器的算力被浪费的时长，有利于提高资源利用率。
5、在一种可能的实施方式中，多个第一处理器位于同一计算单元。如此，调度器可以优先将亲和力较高的多个处理器调度给第一作业，这使得后续多个第一处理器之间交互各自针对该第一作业的执行结果时，可以提高通信效率、减少通信开销。
6、在一种可能的实施方式中，调度器还可以获取待处理的第二作业，该第二作业也可以是mpi作业，并且，当资源池中的多个处理器满足资源调整条件，如当前资源池中剩余可用的处理器之间的差异较大，不满足第二作业的需求等，调度器根据算力拓扑将调度给第一作业的多个第一处理器中的第一目标处理器调整为资源池中的第二目标处理器，并将资源池剩余可用的多个第二处理器调度给第二作业，多个第二处理器包括第一目标处理器。如此，通过对已调度给第一作业的部分处理器进行调整以及将其重调度给第二作业，可以提高调度器针对多个作业进行资源调度的整体效果。
7、在一种可能的实施方式中，调度器在将调度给第一作业的多个第一处理器中的第一目标处理器调整为资源池中的第二目标处理器时，具体可以是当资源池中的多个处理器满足资源调整条件，且第一作业在第一目标处理器上的执行时长小于预设时长，根据算力拓扑将调度给第一作业的多个第一处理器中的第一目标处理器调整为资源池中的第二目标处理器。如此，在调整调度给第一作业的部分处理器之前，可以结合第一作业的执行时长来综合考虑调整策略，以此可以进一步提高资源调度的整体效果，避免在部分处理器执行第一作业较长时间后被重调度给第二作业，从而可以避免该部分处理器的算力被长时间浪费(由于该部分处理器执行第一作业未到达同步点，因此可以视为该部分处理器的算力在执行第一作业的时间段内发生资源浪费)。
8、在一种可能的实施方式中，调度器在获取待处理的第一作业时，具体可以是获取目标队列中的第一作业，用于处理目标队列中的作业的处理器基于算力拓扑进行确定。如此，调度器可以针对指定的队列中的作业，均调度算力相近的多个处理器进行并行处理，而对于其它队列中的作业，可以不要求调度算力相近的多个处理器进行并行处理。或者，调度器响应于用户针对第一作业的使能操作，获取第一作业。如此，调度器可以是在用户的指示下，为第一作业调度算力相近的多个处理器。
9、在一种可能的实施方式中，调度器还可以获取测试作业，并根据测试作业，对多个处理器分别进行算力测试，得到算力测试结果，从而调度器根据多个处理器分别对应的算力测试结果，生成算力拓扑。如此，调度器可以利用测试作业来采集各个处理器的算力，以便通过该算力测试过程得到算力拓扑。
10、在一种可能的实施方式中，第一处理器的算力基于第一处理器执行测试作业的耗时进行确定。如此，可以利用处理器的执行测试作业的耗时，实现对处理器的算力的度量，以便于确定各个处理器的算力。
11、第二方面，本申请提供一种作业处理方法，方法包括：获取待处理的第一作业；根据算力拓扑，从资源池中为第一作业调度多个第一处理器，资源池包括多个处理器，算力拓扑用于指示多个处理器的算力，多个第一处理器的算力之间的差值不超过阈值；利用多个第一处理器并行执行第一作业。由于并行执行第一作业的多个第一处理器的算力之间的偏差较小，具体为不同第一处理器的算力之间的差值不超过阈值，因此，该多个第一处理器并行执行第一作业时，各个第一处理器执行第一作业到达同步点的时刻相近，从而可以减少部分执行作业效率较高的第一处理器的等待时长，以此可以实现避免部分第一处理器的算力被长时间浪费。
12、第三方面，本申请提供一种调度器，调度器包括：获取模块，用于获取待处理的第一作业；确定模块，用于根据算力拓扑，从资源池中确定多个第一处理器，资源池包括多个处理器，算力拓扑用于指示多个处理器的算力，多个第一处理器的算力之间的差值不超过阈值；调度模块，用于为第一作业调度多个第一处理器，第本文档来自技高网...
【技术保护点】
1.一种资源调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据算力拓扑，从资源池中确定多个第一处理器，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个第一处理器位于同一计算单元。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述当所述资源池中的多个处理器满足资源调整条件，根据所述算力拓扑将调度给所述第一作业的多个第一处理器中的第一目标处理器调整为所述资源池中的第二目标处理器，包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取待处理的第一作业，包括：
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一处理器的算力基于所述第一处理器执行所述测试作业的耗时进行确定。
9.一种作业处理方法，其特征在于，所述方法包括：
10.一种调度器，其特征在于，所述调度器包括：
...【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据算力拓扑，从资源池中确定多个第一处理器，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个第一处理器位于同一计算单元。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述当所述资源池中的多个处理器满足资源调整条件，根据所述算力拓扑将调度给所述第一作业的多个第一处理器中的第一目标处理器调整为所述资源池中的第二目标处理器，包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取待处理的第一作业，包括：
7.根据权利要求1至6任一项所述的方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。