计算图更新方法、计算图处理方法以及相关设备技术

本申请公开了一种计算图更新方法、计算图处理方法以及相关设备，用于减少训练成本。本申请实施例方法应用于神经网络模型训练场景中，处理设备可以根据包括多种优化操作的优化操作集合对目标神经网络模型对应的初始计算图进行更新，并由训练设备对更新后的初始计算图进行一次重训练，以获得目标神经网络模型。以获得目标神经网络模型。以获得目标神经网络模型。

【技术实现步骤摘要】
计算图更新方法、计算图处理方法以及相关设备


[0001]本申请实施例涉及计算机
，尤其涉及一种计算图更新方法、计算图处理方法以及相关设备。

技术介绍

[0002]当今人工智能的关键技术是神经网络，神经网络通过模拟人脑神经细胞连接，将大量的、简单的处理单元(称为神经元)广泛互连，形成的复杂网络系统。相邻两层神经元之间的计算过程可抽象为对输入数据执行两个计算步骤，这里的“计算步骤”在神经网络中被称为操作(operation，OP)。在实际应用中，为便于分析神经网络结构、计算特点、数据流向，通常将神经网络所有OP放在一起，组成计算图(computing graph)。随着深度神经网络性能的提升，模型的参数量和计算量也越来越大，严重制约了模型的计算速度。对实时性要求高的终端设备，资源需求高的神经网络模型更是大大增加了部署难度。此外，训练好的神经网络往往耗费了巨大的资源，如果不能加以利用，也是一种浪费。
[0003]现有技术中是通过更新计算图，例如在计算图中插入量化/稀疏相关的OP，量化/稀疏相关的OP可以使得计算图的权值在参与计算的过程中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算图更新方法，其特征在于，包括：处理设备接收第一计算图和优化操作集合，所述第一计算图为目标神经网络模型对应的初始计算图，所述第一计算图包括多个初始操作，所述优化操作集合包括多种优化操作；所述处理设备根据所述多种优化操作从所述第一计算图中确定待加速的操作，并根据所述待加速的操作和所述多种优化操作更新所述第一计算图，以得到第二计算图；所述处理设备向训练设备发送所述第二计算图，所述第二计算图用于所述训练设备重训练所述目标神经网络模型。2.根据权利要求1所述的计算图更新方法，其特征在于，所述处理设备根据所述多种优化操作从所述第一计算图中确定待加速的操作，并根据所述待加速的操作和所述多种优化操作更新所述第一计算图，包括：所述处理设备按照第一优化操作与第一初始操作的对应关系，从所述多个初始操作中确定出所述第一初始操作，所述第一初始操作包含于所述待加速的操作；所述处理设备将所述第一优化操作插入到所述第一计算图中，插入后的所述第一优化操作为所述第一初始操作之前的一个操作集或之后的一个操作集，所述操作集包括一个或多个操作；所述处理设备按照第二优化操作与第二初始操作的对应关系，从插入所述第一优化操作的第一计算图的所述多个初始操作中确定出所述第二初始操作，所述第二初始操作包含于所述待加速的操作，在所述优化操作集合中，所述第二优化操作与所述第一优化操作相邻，且所述第二优化操作的排列顺序位于所述第一优化操作之后；所述处理设备将所述第二优化操作插入到包含所述第一优化操作的第一计算图中，插入后的所述第二优化操作为所述第二初始操作之前一个操作集或之后的一个操作集。3.根据权利要求2所述的计算图更新方法，其特征在于，所述方法还包括：所述处理设备按照第三优化操作与第三初始操作的对应关系，从插入所述第二优化操作的第一计算图的所述多个初始操作中确定出所述第三初始操作，所述第三初始操作包含于所述待加速的操作，在所述优化操作集合中，所述第三优化操作与所述第二优化操作相邻，且所述第三优化操作的排列顺序位于所述第二优化操作之后；所述处理设备将所述第三优化操作插入到包含所述第一优化操作和所述第二优化操作的第一计算图中，插入后的所述第三优化操作为所述第三初始操作之前一个操作集或之后的一个操作集。4.根据权利要求3所述的计算图更新方法，其特征在于，所述第一优化操作包括威诺格拉德winograd操作，所述第一初始操作包括矩阵乘操作；所述第二优化操作包括稀疏操作，所述第二初始操作包括所述矩阵乘操作；所述第三优化操作包括量化操作，所述第三初始操作包括所述矩阵乘操作和逐点相加操作。5.根据权利要求1至3任一项所述的计算图更新方法，其特征在于，所述优化操作集合中的所述优化操作的种类和排列顺序预先设置。6.根据权利要求1至4任一项所述的计算图更新方法，其特征在于，所述处理设备向训练设备发送所述第二计算图之后，所述方法还包括：
所述处理设备将所述待加速的操作对应的优化操作发送给所述训练设备。7.一种计算图处理方法，其特征在于，包括：训练设备接收来自处理设备的第二计算图，所述第二计算图为基于优化操作集合对第一计算图进行更新后的计算图，所述优化操作集合包括多种优化操作，所述多种优化操作用于从所述第一计算图的多个初始操作中确定待加速的操作并对所述第一计算图进行更新，所述第一计算图为目标神经网络模型对应的初始计算图；所述训练设备对所述第二计算图进行重训练，以得到所述目标神经网络模型。8.根据权利要求7所述的计算图处理方法，其特征在于，所述训练设备对所述第二计算图进行重训练之后，所述方法还包括：所述训练设备接收来自所述处理设备的所述待加速的操作对应的优化操作；所述训练设备将重训练后的所述目标神经网络模型的权值执行所述优化操作，以生成优化权值；所述训练设备将所述优化权值保存在存储设备。9.一种处理设备，其特征在于，包括：接收单元，用于接收第一计算图和优化操作集合，所述第一计算图为目标神经网络模型对应的初始计算图，所述第一计算图包括多个初始操作，所述优化操作集合包括多种优化操作；更新单元，用于根据所述多...

【专利技术属性】
技术研发人员：姚棋中，郑淼，何占盈，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：