在机器学习模型训练中使用滞后梯度制造技术

一种用于对神经网络模型进行分布式同步训练的计算机实现方法包括：检测来自对应的多个计算节点机器的多个梯度集合，其中每个所述计算节点机器在训练数据集的当前迭代中生成所述多个梯度集合中的对应的梯度集合，且所述多个梯度集合中的每个梯度集合包括多个梯度；检测来自另一计算节点机器的滞后梯度集合，其中所述滞后梯度集合由所述另一计算节点机器在所述训练数据集的先前迭代中生成；基于所述多个梯度集合和所述滞后梯度集合生成聚合梯度；以及基于所述聚合梯度更新所述神经网络模型。型。型。

【技术实现步骤摘要】
【国外来华专利技术】在机器学习模型训练中使用滞后梯度


[0001]本专利技术涉及机器学习模型训练。更具体地，本专利技术涉及在机器学习模型训练中使用滞后梯度，包括在分布式同步训练架构中使用滞后梯度。

技术介绍

[0002]随着深度神经网络(deep neural network，DNN)的成功应用，对网络规模和数据量的要求快速增长。因此，对这些网络的有效训练，特别是在分布式训练环境中的训练，尤为重要。
[0003]在DNN的分布式同步训练环境中，神经网络模型训练过程中的梯度聚合在慢速计算节点机器上遭遇瓶颈。在更新所述模型之前，参数服务器必须等待，直到接收到来自所有计算节点的梯度。添加备份计算节点可以避免等待每次迭代中来自慢速计算节点的梯度，并且可以加快对更新的梯度的计算。但是，来自备份计算节点的滞后梯度会被丢弃，这可能会浪费在其他地方可以利用的计算资源。

技术实现思路

[0004]本文描述了各种示例，以简化的形式介绍概念的选择，下文在具体实施方式中会进一步描述这些概念。
技术实现思路
并非旨在识别所要求保护的标的物的关键或实质特征，也非旨在限制所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对神经网络模型进行分布式同步训练的计算机实现方法，其特征在于，所述方法包括：检测来自对应的多个计算节点机器的多个梯度集合，其中每个所述计算节点机器在训练数据集的当前迭代中生成所述多个梯度集合中的梯度集合，且所述多个梯度集合中的每个梯度集合包括多个梯度；检测来自另一计算节点机器的滞后梯度集合，其中所述滞后梯度集合由所述至少另一计算节点机器在所述训练数据集的先前迭代中生成；通过基于所述多个梯度集合和所述滞后梯度集合进行梯度聚合，生成聚合梯度；以及基于所述聚合梯度更新所述神经网络模型。2.根据权利要求1所述的计算机实现方法，其特征在于，还包括：对所述聚合梯度进行平均，生成平均梯度集合；以及利用所述平均梯度集合更新所述神经网络模型的多个权重。3.根据权利要求1或2所述的计算机实现方法，其特征在于，还包括：确定所述滞后梯度集合的权重；以及基于所述权重利用所述多个梯度集合和所述滞后梯度集合的加权版本进行所述梯度聚合。4.根据权利要求3所述的计算机实现方法，其特征在于，所述权重是基于所述当前迭代的索引和所述先前迭代的索引确定的。5.根据权利要求4所述的计算机实现方法，其特征在于，所述权重为1/(1+Δ)，其中Δ是所述当前迭代的所述索引和所述先前迭代的所述索引之间的差值。6.根据权利要求4所述的计算机实现方法，其特征在于，所述权重为1/a
Δ
，其中Δ是所述当前迭代的所述索引和所述先前迭代的所述索引之间的差值，a是大于1的整数。7.根据权利要求1至6中任一项所述的计算机实现方法，其特征在于，还包括：当从中接收到所述多个梯度集合中的梯度集合的所述多个计算节点机器中的计算节点机器的数量达到阈值数量时，进行所述梯度聚合。8.根据权利要求1至7中任一项所述的计算机实现方法，其特征在于，所述更新所述神经网络模型包括：基于所述聚合梯度更新所述神经网络模型内的多个权重和偏置。9.根据权利要求1至8中任一项所述的计算机实现方法，其特征在于，还包括：在所述多个计算节点机器中的每个计算节点机器在所述当前迭代期间完成前向计算和后向计算操作之后，通过相应的推送操作接收来自所述对应的多个计算节点机器的所述多个梯度集合。10.一种用于训练神经网络模型的分布式同步训练系统，其特征在于，所述系统包括：存储有指令的存储器；以及与所述存储器通信的一个或多个处理器，其中所述一个或多个处理器执行所述指令以执行以下操作：检测来自对应的多个计算节点机器的多个梯度集合，其中每个所述计算节点机器在训练数据集的当前迭代中生成所述多个梯度集合中的梯度集合，且所述多个梯度集合中的每个梯度集合包括多个梯度；
检测来自另一计算节点机器的滞后梯度集合，其中所述滞后梯度集合由所述另一计算节点机器在所述训练数据集的先前迭代...

【专利技术属性】
技术研发人员：臧慧，程晓琳，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：