任务分配方法及装置制造方法及图纸

本发明专利技术是关于任务分配方法及装置。该方法包括：确定当前任务的特征信息；根据所述特征信息，从多个节点中筛选出目标候选节点；确定所述目标候选节点的可用资源；根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点。通过本发明专利技术的技术方案，可将当前任务合理地分配至上述目标候选节点，进而提高目标候选节点上资源利用率，如此，也能实现资源最优分解，极大地提升超算集群节点资源的利用效率。

Task allocation method and device

【技术实现步骤摘要】
任务分配方法及装置
本专利技术涉及终端
，尤其涉及任务分配方法及装置。
技术介绍
目前，在将任务进行分布式分配处理时，通常仅仅基于节点的GPU(GraphicsProcessingUnit，图形处理器)资源进行分配，并不会结合任务自身的特征信息(如网络类型等)将任务进行分配，因而，存在任务分配不合理、节点资源利用率较低的问题。
技术实现思路
本专利技术实施例提供了任务分配方法及装置。所述技术方案如下：根据本专利技术实施例的第一方面，提供一种任务分配方法，包括：确定当前任务的特征信息；根据所述特征信息，从多个节点中筛选出目标候选节点；确定所述目标候选节点的可用资源；根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点。在一个实施例中，所述特征信息包括指定的网络类型；确定所述多个节点中各节点的当前网络类型；所述根据所述特征信息，从多个节点中筛选出目标候选节点，包括：根据所述各节点的当前网络类型，从所述多个节点中筛选出当前网络类型符合所述指定的网络类型的第一候选节点，其中，所述目标候选节点包括所述第一候选节点。在一个实施例中，所述特征信息包括指定显卡类型；确定所述多个节点中各节点的当前显卡类型；所述根据所述特征信息，从多个节点中筛选出目标候选节点，包括：根据所述各节点的当前显卡类型，从所述多个节点中筛选出当前显卡类型符合所述指定显卡类型的第二候选节点，其中，所述目标候选节点包括所述第二候选节点。在一个实施例中，所述可用资源包括GPU剩余量；所述根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点，包括：确定所述目标候选节点中各候选节点的GPU剩余量；根据所述各候选节点的GPU剩余量，确定所述目标候选节点中前i个候选节点的当前GPU剩余量之和；确定所述当前任务需要的GPU用量；根据所述当前任务需要的GPU用量以及所述当前GPU剩余量之和，将所述当前任务分配至所述目标候选节点。在一个实施例中，所述目标候选节点的节点数目为N，i小于或等于N；所述根据所述当前任务需要的GPU用量以及所述当前GPU剩余量之和，将所述当前任务分配至所述目标候选节点，包括：当i＝N且所述当前GPU剩余量之和小于所述当前任务需要的GPU用量时，发出错误提示；当所述当前GPU剩余量之和等于所述当前任务需要的GPU用量时，分别将所述前i个候选节点中各节点的GPU剩余量分配至所述当前任务；当所述当前GPU剩余量之和大于所述当前任务需要的GPU用量时，分别将所述前i-1个候选节点中各节点的GPU剩余量分配至所述当前任务，并将第i个候选节点的预设GPU剩余量分配至所述当前任务，其中，所述预设GPU剩余量＝当前任务需要的GPU用量与前i-1个候选节点的GPU剩余量之和的差值。根据本专利技术实施例的第二方面，提供一种任务分配装置，包括：第一确定模块，用于确定当前任务的特征信息；筛选模块，用于根据所述特征信息，从多个节点中筛选出目标候选节点；第二确定模块，用于确定所述目标候选节点的可用资源；分配模块，用于根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点。在一个实施例中，所述特征信息包括指定的网络类型；第三确定模块，用于确定所述多个节点中各节点的当前网络类型；所述筛选模块包括：第一筛选子模块，用于根据所述各节点的当前网络类型，从所述多个节点中筛选出当前网络类型符合所述指定的网络类型的第一候选节点，其中，所述目标候选节点包括所述第一候选节点。在一个实施例中，所述特征信息包括指定显卡类型；第四确定模块，用于确定所述多个节点中各节点的当前显卡类型；所述筛选模块包括：第二筛选子模块，用于根据所述各节点的当前显卡类型，从所述多个节点中筛选出当前显卡类型符合所述指定显卡类型的第二候选节点，其中，所述目标候选节点包括所述第二候选节点。在一个实施例中，所述可用资源包括GPU剩余量；所述分配模块包括：第一确定子模块，用于确定所述目标候选节点中各候选节点的GPU剩余量；第二确定子模块，用于根据所述各候选节点的GPU剩余量，确定所述目标候选节点中前i个候选节点的当前GPU剩余量之和；第三确定子模块，用于确定所述当前任务需要的GPU用量；分配子模块，用于根据所述当前任务需要的GPU用量以及所述当前GPU剩余量之和，将所述当前任务分配至所述目标候选节点。在一个实施例中，所述目标候选节点的节点数目为N，i小于或等于N；所述分配子模块具体用于：当i＝N且所述当前GPU剩余量之和小于所述当前任务需要的GPU用量时，发出错误提示；当所述当前GPU剩余量之和等于所述当前任务需要的GPU用量时，分别将所述前i个候选节点中各节点的GPU剩余量分配至所述当前任务；当所述当前GPU剩余量之和大于所述当前任务需要的GPU用量时，分别将所述前i-1个候选节点中各节点的GPU剩余量分配至所述当前任务，并将第i个候选节点的预设GPU剩余量分配至所述当前任务，其中，所述预设GPU剩余量＝当前任务需要的GPU用量与前i-1个候选节点的GPU剩余量之和的差值。本专利技术的实施例提供的技术方案可以包括以下有益效果：在确定当前任务的特征信息时，可利用该特征信息从多个节点中筛选出与该特征信息匹配的目标候选节点，然后利用目标候选节点当前的可用资源，将需要处理的当前任务自动分配至目标候选节点的各候选节点上，从而将当前任务合理地分配至上述目标候选节点，进而提高目标候选节点上资源利用率，如此，也能实现资源最优分解(理论上利用率达到100％)，极大地提升超算集群节点资源的利用效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种任务分配方法的流程图。图2是根据一示例性实施例示出的一种任务分配装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。为了解决上述技术问题，本专利技术实施例提供了一种任务分配方法，该方法可用于任务分配程序、系统或装置中，且该方法对应的执行主体可以是终端或服务器，如图1所示，该方法包括步骤S101至步骤S104：在步骤S101中，确定当前任务的特征信息；在步骤S102中，根据所述特征信息，从多个节点中筛选本文档来自技高网...

【技术保护点】
1.一种任务分配方法，其特征在于，包括：/n确定当前任务的特征信息；/n根据所述特征信息，从多个节点中筛选出目标候选节点；/n确定所述目标候选节点的可用资源；/n根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点。/n

【技术特征摘要】
1.一种任务分配方法，其特征在于，包括：
确定当前任务的特征信息；
根据所述特征信息，从多个节点中筛选出目标候选节点；
确定所述目标候选节点的可用资源；
根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点。


2.根据权利要求1所述的方法，其特征在于，
所述特征信息包括指定的网络类型；
确定所述多个节点中各节点的当前网络类型；
所述根据所述特征信息，从多个节点中筛选出目标候选节点，包括：
根据所述各节点的当前网络类型，从所述多个节点中筛选出当前网络类型符合所述指定的网络类型的第一候选节点，其中，所述目标候选节点包括所述第一候选节点。


3.根据权利要求1所述的方法，其特征在于，
所述特征信息包括指定显卡类型；
确定所述多个节点中各节点的当前显卡类型；
所述根据所述特征信息，从多个节点中筛选出目标候选节点，包括：
根据所述各节点的当前显卡类型，从所述多个节点中筛选出当前显卡类型符合所述指定显卡类型的第二候选节点，其中，所述目标候选节点包括所述第二候选节点。


4.根据权利要求1至3中任一项所述的方法，其特征在于，
所述可用资源包括GPU剩余量；
所述根据所述目标候选节点的可用资源，将所述当前任务分配至所述目标候选节点，包括：
确定所述目标候选节点中各候选节点的GPU剩余量；
根据所述各候选节点的GPU剩余量，确定所述目标候选节点中前i个候选节点的当前GPU剩余量之和；
确定所述当前任务需要的GPU用量；
根据所述当前任务需要的GPU用量以及所述当前GPU剩余量之和，将所述当前任务分配至所述目标候选节点。


5.根据权利要求4所述的方法，其特征在于，
所述目标候选节点的节点数目为N，i小于或等于N；
所述根据所述当前任务需要的GPU用量以及所述当前GPU剩余量之和，将所述当前任务分配至所述目标候选节点，包括：
当i＝N且所述当前GPU剩余量之和小于所述当前任务需要的GPU用量时，发出错误提示；
当所述当前GPU剩余量之和等于所述当前任务需要的GPU用量时，分别将所述前i个候选节点中各节点的GPU剩余量分配至所述当前任务；
当所述当前GPU剩余量之和大于所述当前任务需要的GPU用量时，分别将所述前i-1个候选节点中各节点的GPU剩余量分配至所述当前任务，并将第i个候选节点的预设GPU剩余量分配至所述当前任务，其中，所述预设GPU剩余量＝当前任务需要的GPU用量与前i-1个候选节点的GPU剩余量之和的差值。

【专利技术属性】
技术研发人员：谢远东，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11