高效流程化的GPU扩展模块组自动配置方法技术

本申请涉及智能配置领域，其具体地公开了一种高效流程化的GPU扩展模块组自动配置方法，其通过采用基于深度学习的人工智能算法来提取出GPU资源需求的基于全局的语义特征信息，并提取出GPU集群中各节点GPU资源的剩余情况的隐含关联特征信息，进一步再计算两者的转移向量来表示所述GPU资源需求与所述GPU集群中各节点GPU资源的剩余情况的适配度，以此来确定是否需要配置GPU扩展模块组。这样，能够合理充分地利用所述GPU的资源，进而减少深度学习的训练任务时间，以优化大规模深度学习作业的效率。的效率。的效率。

【技术实现步骤摘要】
高效流程化的GPU扩展模块组自动配置方法


[0001]本申请涉及智能配置领域，且更为具体地，涉及一种高效流程化的GPU扩展模块组自动配置方法。

技术介绍

[0002]随着GPU在大规模深度学习场景中的广泛应用，深度学习云平台整合多个GPU计算资源,能够实现大规模深度学习作业的高效处理。这就涉及到GPU资源，例如，GPU扩展模块的调度。
[0003]在现有的深度学习云平台GPU调度方法将GPU作为最小资源分配单位完整分配给容器,会导致GPU资源没有得到充分的利用。同时,多个深度学习任务共同执行时,不合理的任务并行化策略会导致任务间的资源竞争；另一方面,对于需要多个GPU的深度学习训练任务,不合理的任务并行化策略会增加深度学习任务间的通信代价,导致任务在处理过程中执行时间过长。
[0004]因此，期待一种优化的GPU扩展模块组自动配置方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种高效流程化的GPU扩展模块组自动配置方法，其通过采用基于深度学习的人工智能算法来提取出GPU资源需求的基于全局的语义特征信息，并提取出GPU集群中各节点GPU资源的剩余情况的隐含关联特征信息，进一步再计算两者的转移向量来表示所述GPU资源需求与所述GPU集群中各节点GPU资源的剩余情况的适配度，以此来确定是否需要配置GPU扩展模块组。这样，能够合理充分地利用所述GPU的资源，进而减少深度学习的训练任务时间，以优化大规模深度学习作业的效率。
[0006]根据本申请的一个方面，提供了一种高效流程化的GPU扩展模块组自动配置方法，其包括：
[0007]获取深度学习作业的GPU资源需求以及当前GPU集群中各节点GPU资源的剩余情况；
[0008]将所述深度学习作业的GPU资源需求通过包含嵌入层的上下文编码器以得到资源需求语义特征向量；
[0009]将所述当前GPU集群中各节点GPU资源的剩余情况分别映射到节点向量以得到多个节点向量；
[0010]对所述多个节点向量进行特征分布校正以得到多个校正后节点向量；
[0011]将所述多个校正后节点向量进行二维矩阵化后通过作为特征提取器的卷积神经网络模型以得到节点间关联特征矩阵；
[0012]计算所述资源需求语义特征向量相对于所述节点间关联特征矩阵的转移向量；以及
[0013]将所述转移向量通过分类器以得到分类结果，所述分类结果用于表示是否需要配置GPU扩展模块组。
[0014]在上述高效流程化的GPU扩展模块组自动配置方法中，所述将所述深度学习作业的GPU资源需求通过包含嵌入层的上下文编码器以得到资源需求语义特征向量，包括：对所述深度学习作业的GPU资源需求进行分词处理以得到词序列；使用所述上下文编码器的嵌入层分别将所述词序列中各个词映射到词向量以得到词向量序列；使用所述上下文编码器对所述词向量序列进行基于全局的上下文语义编码以得到多个上下文语义词特征向量；以及，将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义特征向量。
[0015]在上述高效流程化的GPU扩展模块组自动配置方法中，所述使用所述上下文编码器对所述词向量序列进行基于全局的上下文语义编码以得到多个上下文语义词特征向量，包括：将所述词向量序列进行一维排列以得到全局特征向量；计算所述全局特征向量与所述词向量序列中各个向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述词向量序列中各个向量进行加权以得到所述多个上下文语义词特征向量。
[0016]在上述高效流程化的GPU扩展模块组自动配置方法中，所述将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义特征向量，包括：以如下公式将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义特征向量；其中，所述公式为：
[0017]V
c
＝Concat[V1，V2，...V
n
][0018]其中，V1，V2，...V
n
表示所述多个上下文语义词特征向量，Concat[
·
]表示级联函数，V
c
表示所述资源需求语义特征向量。
[0019]在上述高效流程化的GPU扩展模块组自动配置方法中，所述对所述多个节点向量进行特征分布校正以得到多个校正后节点向量，包括：以如下公式计算所述多个节点向量中的每个节点向量的多分布二元分类连续性因数；
[0020]其中，所述公式为：
[0021][0022]softmaxv(V)＝[p(V)，1
‑
p(V)][0023]其中，V
i
是所述多个节点向量的第i个节点向量，V
r
是基于所述多个节点向量的参考向量，p(V)表示特征向量通过所述分类器所获得的概率值，log表示以2为底的对数函数值；以及，以所述多分布二元分类连续性因数作为权重分别对所述多个节点向量中的每个节点向量进行加权以得到所述多个校正后节点向量。
[0024]在上述高效流程化的GPU扩展模块组自动配置方法中，所述将所述多个校正后节点向量进行二维矩阵化后通过作为特征提取器的卷积神经网络模型以得到节点间关联特征矩阵，包括：将所述多个校正后节点向量进行二维矩阵化排列以得到校正后节点资源矩阵；将所述校正后节点资源矩阵通过作为特征提取器的卷积神经网络模型以得到节点间关联特征矩阵。
[0025]在上述高效流程化的GPU扩展模块组自动配置方法中，所述计算所述资源需求语
义特征向量相对于所述节点间关联特征矩阵的转移向量，包括：计算所述资源需求语义特征向量相对于所述节点间关联特征矩阵的转移向量；其中，所述公式为：
[0026][0027]其中V
c
表示所述资源需求语义特征向量，M表示所述节点间关联特征矩阵，V表示所述转移向量。
[0028]在上述高效流程化的GPU扩展模块组自动配置方法中，所述将所述转移向量通过分类器以得到分类结果，包括：使用所述分类器的多个全连接层对所述转移向量进行全连接编码以得到编码转移向量；以及，将所述编码转移向量通过所述分类器的Softmax分类函数以得到所述分类结果。
[0029]根据本申请的另一方面，提供了一种高效流程化的GPU扩展模块组自动配置系统，其包括：
[0030]信息获取模块，用于获取深度学习作业的GPU资源需求以及当前GPU集群中各节点GPU资源的剩余情况；
[0031]上下文编码模块，用于将所述深度学习作业的GPU资源需求通过包含嵌入层的上下文编码器以得到资源需求语义特征向量；
[0032]节点向量生成模块，用于将所述当前GPU集群中各节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效流程化的GPU扩展模块组自动配置方法，其特征在于，包括：获取深度学习作业的GPU资源需求以及当前GPU集群中各节点GPU资源的剩余情况；将所述深度学习作业的GPU资源需求通过包含嵌入层的上下文编码器以得到资源需求语义特征向量；将所述当前GPU集群中各节点GPU资源的剩余情况分别映射到节点向量以得到多个节点向量；对所述多个节点向量进行特征分布校正以得到多个校正后节点向量；将所述多个校正后节点向量进行二维矩阵化后通过作为特征提取器的卷积神经网络模型以得到节点间关联特征矩阵；计算所述资源需求语义特征向量相对于所述节点间关联特征矩阵的转移向量；以及将所述转移向量通过分类器以得到分类结果，所述分类结果用于表示是否需要配置GPU扩展模块组。2.根据权利要求1所述的高效流程化的GPU扩展模块组自动配置方法，其特征在于，所述将所述深度学习作业的GPU资源需求通过包含嵌入层的上下文编码器以得到资源需求语义特征向量，包括：对所述深度学习作业的GPU资源需求进行分词处理以得到词序列；使用所述上下文编码器的嵌入层分别将所述词序列中各个词映射到词向量以得到词向量序列；使用所述上下文编码器对所述词向量序列进行基于全局的上下文语义编码以得到多个上下文语义词特征向量；以及将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义特征向量。3.根据权利要求2所述的高效流程化的GPU扩展模块组自动配置方法，其特征在于，所述使用所述上下文编码器对所述词向量序列进行基于全局的上下文语义编码以得到多个上下文语义词特征向量，包括：将所述词向量序列进行一维排列以得到全局特征向量；计算所述全局特征向量与所述词向量序列中各个向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述词向量序列中各个向量进行加权以得到所述多个上下文语义词特征向量。4.根据权利要求3所述的高效流程化的GPU扩展模块组自动配置方法，其特征在于，所述将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义特征向量，包括：以如下公式将所述多个上下文语义词特征向量进行级联以得到所述资源需求语义...

【专利技术属性】
技术研发人员：黄永，李宗辉，邓仰东，
申请(专利权)人：深圳市恩钛控股有限公司，
类型：发明
国别省市：