一种资源调度方法及相关设备技术

本申请公开了一种资源调度方法及相关设备，所述方法包括：创建任务容器，在资源节点集群中筛选任务容器对应的资源节点集，根据团队编码标签在资源节点集中选取任务容器对应的保底资源节点集，并基于保底资源节点集确定任务容器的目标资源节点集；在目标资源节点集中选取任务容器的执行资源节点，将任务容器调度至执行资源节点。本申请实施例为具有团队编码标签的任务容器分配保底资源节点，这样可以保证优先级高的保底团队任务在资源节点紧张时也可以在保底资源节点执行。同时，共享资源群可以为优先级低的非保底团队任务提供资源，避免了优先级低的非保底团队任务无法获取资源节点的问题，提高了资源节点调度的合理性。提高了资源节点调度的合理性。提高了资源节点调度的合理性。

【技术实现步骤摘要】
一种资源调度方法及相关设备


[0001]本申请涉及容器资源调度
，具体是涉及一种资源调度方法及相关设备。

技术介绍

[0002]随着人工智能产业的发展和相关技术的逐渐落地，对模型训练所需的算力资源的需求也越来越旺盛。人工智能能力的竞争在某种程度上是底层算力资源的竞争。有限的算力资源和大量的模型训练、推理等任务形成了一对显著的矛盾点。
[0003]现有方法普遍是为任务设置优先级，然后根据优先级高低进行任务和节点资源调度。然而，现有方法会一直为优先级高的任务分别节点资源，而部分优先级低的任务持续处于等待而无法分配节点资源，导致节点资源调度不合理。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]本申请提供了一种资源调度方法及相关设备，以解决相关技术中因根据优先级进行任务和节点资源调度而导致的节点资源调度不合理的技术问题。
[0006]为实现上述目的，本申请采用了以下技术方案：
[0007]本申请第一方面实施例提供了一种资源调度方法，所述方法包括：
[0008]创建任务容器，并根据所述任务容器的任务标签在资源节点集群中筛选所述任务容器对应的资源节点集，其中，所述资源节点集群包括若干保底资源群和共享资源群，所述保底资源群用于调度给具有团队编码标签的任务容器，所述共享资源群用于调度给所有任务容器；
[0009]当所述任务容器携带有团队编码标签时，根据所述团队编码标签在所述资源节点集中选取所述任务容器对应的保底资源节点集，并基于所述保底资源节点集确定所述任务容器对应的目标资源节点集；
[0010]在所述目标资源节点集中选取所述任务容器对应的执行资源节点，并将所述任务容器调度至所述执行资源节点。
[0011]根据上述技术手段，本申请实施例预先将资源节点集群划分为若干保底资源群和共享资源群，在创建任务容器时，具有团队编码标签的任务容器可以根据任务容器的团队编码标签查找到任务容器对应的保底资源节点，这样可以保证优先级高的保底团队任务在资源节点紧张时也可以在保底资源节点执行。同时，还可以通过共享资源群为优先级低的非保底团队任务提供资源，避免了优先级低的非保底团队任务无法获取资源节点的问题，提高了资源节点调度的合理性。
[0012]可选地，在本申请的一个实施例中，所述创建任务容器，并根据所述任务容器的任务标签在资源节点集群中筛选所述任务容器对应的资源节点集之后，所述方法还包括：当所述任务容器未携带团队编码标签时，在所述资源节点集中选取共享资源节点集，并将选取到的共享资源节点集作为所述任务容器对应的目标资源节点集。
[0013]根据上述技术手段，本申请实施例可以通过资源节点集中的共享资源节点来为未携带团队编码标签的非保底团队提供资源节点，既可以保证非保底团队可以获取到资源节点，又不会占用保底团队的保底资源节点。
[0014]可选地，在本申请的一个实施例中，所述根据所述团队编码标签在所述资源节点集中选取所述任务容器对应的保底资源节点集具体包括：读取所述资源节点集中的各资源节点的团队编码；将各资源节点的团队编码与所述团队编码标签进行比较以得到保底资源节点集，其中，所述保底资源节点集中的保底资源节点的团队编码与所述团队编码标签相同。
[0015]根据上述技术手段，本申请实施例可以根据团队编码标签查找到任务容器对应的保底资源节点，使得各保底团队的任务容器在各自对应的保底资源群中执行，不会占用其他保底团队的保底资源群。
[0016]可选地，在本申请的一个实施例中，所述基于所述保底资源节点集确定所述任务容器对应的目标资源节点集具体包括：检测所述保底资源节点集是否满足所述任务容器的资源需求；若所述保底资源节点集满足所述任务容器的资源需求，则将所述保底资源节点集作为目标资源节点集；若保底资源节点集不满足所述任务容器的资源需求，则在所述资源集中选取共享资源节点集，并将所述保底资源节点集和所述共享资源节点集的并集作为目标资源节点集。
[0017]根据上述技术手段，本申请实施例可以先在保底资源群中选取保底资源节点来执行任务容器，然后在保底资源节点无法满足任务容器需求时从共享资源群中选取共享资源节点来执行任务，这样就可以实现保底资源团队的任务容器会优先被调度到该保底资源团队的保底资源节点执行，给非保底资源团队保留共享资源节点，又可以通过共享资源节点来为保底资源团队的任务容器提供补充资源节点，进一步提高了资源调度的合理性。
[0018]可选地，在本申请的一个实施例中，所述在所述目标资源节点集中选取所述任务容器对应的执行资源节点，并将所述任务容器调度至所述执行资源节点之前，所述方法还包括：检测所述目标资源节点集是否满足所述任务容器的资源需求；当所述目标资源节点集满足所述任务容器的资源需求时，执行所述在所述目标资源节点集中选取所述任务容器对应的执行资源节点，并将所述任务容器调度至所述执行资源节点的步骤；当所述目标资源节点集不满足所述任务容器的资源需求时，将所述任务容器加入到等待队列中，以使得所述任务容器处于挂起状态。
[0019]根据上述技术手段，本申请实施例可以通过检测目标资源节点集是否满足所述任务容器的资源需求来确定是立刻执行任务容器，还是将任务容器加入等待队列，这样可以避免因资源不足而导致的任务容器执行识别的问题，从而可以提高任务容器执行的成功率。
[0020]可选地，在本申请的一个实施例中，所述在所述目标资源节点集中选取所述任务容器对应的执行资源节点具体包括：读取目标资源节点集中的各资源节点所携带的权重值，并基于所述权重值计算各资源节点的节点评分；基于各资源节点的节点评分，按照从保底资源节点到共享资源节点的顺序在所述目标资源节点集中选取所述任务容器对应的执行资源节点。
[0021]根据上述技术手段，本申请实施例可以根据节点评分在目标资源节点中选取执行
资源节点，使得任务容器可以获取到最优的资源节点，提高了任务容器的执行速度。
[0022]可选地，在本申请的一个实施例中，所述基于所述任务标签筛选所述任务容器对应的资源节点集之后，所述方法还包括：当所述资源节点集不满足所述任务容器的资源需求时，将所述任务容器加入到等待队列中，以使得所述任务容器处于挂起状态。
[0023]根据上述技术手段，本申请实施例可以在未获取到可以运行该任务类型的任务的资源节点时，及时将任务容器放入等待队列，避免任务容器丢失。
[0024]本申请第二方面实施例提供一种基于容器技术的资源调度装置，所述的基于容器技术的资源调度装置包括：
[0025]创建模块，用于创建任务容器，并根据所述任务容器的任务标签在资源节点集群中筛选所述任务容器对应的资源节点集，其中，所述资源节点集群包括若干保底资源群和共享资源群，所述保底资源群用于调度给具有团队编码标签的任务容器，所述共享资源群用于调度给所有任务容器；
[0026]选取模块，用于当所述任务容器携带有团队编码标签时，根据所述团队编码标签在所述资源节点集中选取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：创建任务容器，并根据所述任务容器的任务标签在资源节点集群中筛选所述任务容器对应的资源节点集，其中，所述资源节点集群包括若干保底资源群和共享资源群，所述保底资源群用于调度给具有团队编码标签的任务容器，所述共享资源群用于调度给所有任务容器；当所述任务容器携带有团队编码标签时，根据所述团队编码标签在所述资源节点集中选取所述任务容器对应的保底资源节点集，并基于所述保底资源节点集确定所述任务容器对应的目标资源节点集；在所述目标资源节点集中选取所述任务容器对应的执行资源节点，并将所述任务容器调度至所述执行资源节点。2.根据权利要求1所述资源调度方法，其特征在于，所述创建任务容器，并根据所述任务容器的任务标签在资源节点集群中筛选所述任务容器对应的资源节点集之后，所述方法还包括：当所述任务容器未携带团队编码标签时，在所述资源节点集中选取共享资源节点集，并将选取到的共享资源节点集作为所述任务容器对应的目标资源节点集。3.根据权利要求1所述资源调度方法，其特征在于，所述根据所述团队编码标签在所述资源节点集中选取所述任务容器对应的保底资源节点集具体包括：读取所述资源节点集中的各资源节点的团队编码；将各资源节点的团队编码与所述团队编码标签进行比较以得到保底资源节点集，其中，所述保底资源节点集中的保底资源节点的团队编码与所述团队编码标签相同。4.根据权利要求1所述资源调度方法，其特征在于，所述基于所述保底资源节点集确定所述任务容器对应的目标资源节点集具体包括：检测所述保底资源节点集是否满足所述任务容器的资源需求；若所述保底资源节点集满足所述任务容器的资源需求，则将所述保底资源节点集作为目标资源节点集；若保底资源节点集不满足所述任务容器的资源需求，则在所述资源集中选取共享资源节点集，并将所述保底资源节点集和所述共享资源节点集的并集作为目标资源节点集。5.根据权利要求1所述资源调度方法，其特征在于，所述在所述目标资源节点集中选取所述任务容器对应的执行资源节点，并将所述任务容器调度至所述执行资源节点之前，所述方法还包括：检测所述目标资源节点集是否满足所述任务容器的资源需求；当所述目标资源节点集满足所述任务容器的资源需求时，执行所述在所述目标...

【专利技术属性】
技术研发人员：戴峰，胡小刚，成念，郝金隆，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：