异构资源中神经网络计算任务的分配方法、装置和设备制造方法及图纸

本申请涉及一种异构资源中神经网络计算任务的分配方法、装置、计算机设备和存储介质。方法包括：获取神经网络的计算任务的任务信息以及异构资源的资源信息；根据任务信息以及所述资源信息确定将各子任务分配至所述异构资源执行的分配方式对应的任务处理成本；根据各任务处理成本构建有向无环图；根据有向无环图中的各所述分配路径中各所述子任务对应的任务处理成本，得到各分配路径对应的损失函数的值；根据各损失函数的值筛选出目标分配路径，本申请以子任务为分配粒度，对神经网络的计算任务进行分配，分配粒度精细，且将各子任务分配于不同种的资源，即适用于异构资源间的任务分配，适用范围相对传统技术而言更宽。适用范围相对传统技术而言更宽。适用范围相对传统技术而言更宽。

【技术实现步骤摘要】
异构资源中神经网络计算任务的分配方法、装置和设备


[0001]本申请涉及计算机
，特别是涉及一种异构资源中神经网络计算任务的分配方法、装置、计算机设备和存储介质。

技术介绍

[0002]深度神经网络，例如深度卷积网络（Convolutional Neural Networks, CNN）、Transformer网络等，已被广泛应用于图像处理、语音识别、自然语言处理等领域。深度神经网络由多层神经元组成，前一层的输出作为下一层的输入进行后续计算。深度神经网络计算是以批量数据为单位进行的，适合在异构单元中计算。无论是正向计算还是反向计算，网络都将一批输入/输出组合在一起进行处理，以提高计算效率。目前，因GPU（graphics processing unit，图形处理器）适用大吞吐量的数字处理，所以在GPU上采用数据并行方法提高网络训练速度已成为一种普遍做法。此外，FPGA适用于运行功耗高的任务。
[0003]传统的技术方案中，在进行神经网络的任务分配时，一般以最小化内存使用为目的。这种分配方式仅适用于同一种资源的任务分配，适用范围小，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构资源中神经网络计算任务的分配方法，所述方法包括：获取神经网络的计算任务的任务信息以及用于执行所述计算任务的异构资源的资源信息，所述计算任务包括多个子任务；根据所述任务信息以及所述资源信息确定将各所述子任务分配至所述异构资源执行的至少两种分配方式以及各所述分配方式对应的任务处理成本；根据各所述分配方式以及各所述任务处理成本构建有向无环图，所述有向无环图包括将各所述子任务分配至所述异构资源执行时对应的分配路径；根据各所述分配路径中各所述子任务对应的任务处理成本，得到各分配路径对应的损失函数的值；根据各分配路径对应的损失函数的值筛选出目标分配路径。2.根据权利要求1所述的方法，其特征在于，所述任务处理成本包括执行成本以及通信成本，所述任务信息包括各所述子任务之间的任务执行顺序以及任务标识，所述资源信息包括所述异构资源中各资源的运行速度，所述根据所述任务信息以及所述资源信息确定将各所述子任务分配至所述异构资源执行的至少两种分配方式以及各所述分配方式对应的任务处理成本，包括：根据所述任务执行顺序依次为各所述子任务分配资源，得到各分配方式；根据各资源的运行速度以及各所述子任务的任务标识确定各分配方式对应的执行成本；根据所述任务执行顺序确定执行各所述子任务所分配的资源所属的所述神经网络的层级；根据各资源所属的所述神经网络的层级以及所述神经网络各层级之间传输数据的预设个数，生成通信成本，所述通信成本为将各所述子任务的执行结果传输至下一层级的传输成本。3.根据权利要求2所述的方法，其特征在于，所述根据各所述分配方式以及各所述任务处理成本构建有向无环图，包括：创建当前节点，所述当前节点为所述当前子任务分配至当前资源执行的任务执行操作对应的节点，所述当前节点的权重为所述当前子任务由所述当前资源执行时的执行成本；根据所述任务执行顺序获取下一个子任务标识；创建下一个节点，所述下一个节点为所述下一个子任务标识对应的子任务分配至下一个资源执行的任务执行操作对应的节点，所述下一个节点的权重为所述下一个子任务由所述下一个资源执行时的执行成本；创建所述当前节点与所述下一个节点之间的边，所述边的权重为所述当前子任务由所述当前资源执行时的通信成本；当所述下一个子任务不是最后一个子任务时，返回所述根据所述任务执行顺序获取下一个子任务标识的步骤。4.根据权利...

【专利技术属性】
技术研发人员：李仁刚，刘璐，赵雅倩，郭振华，闫瑞栋，徐聪，金良，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：