神经网络方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种神经网络方法及装置、电子设备和存储介质，所述方法包括：通过神经网络模型对训练样本进行处理，得到神经网络的网络损失；根据网络损失进行反向传播，得到神经网络的多个网络节点的更新梯度，对至少一个网络节点进行优化的反向传播；基于神经网络的更新梯度，得到更新后的神经网络。根据本公开的实施例的神经网络训练方法，能够对至少一个网络节点的反向传播进行优化，并利用优化后的网络节点确定更新梯度，减小反向传播中的运算量，节约内存资源，提高训练效率。提高训练效率。提高训练效率。

【技术实现步骤摘要】
神经网络方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种神经网络方法及装置、电子设备和存储介质。

技术介绍

[0002]正向传播与反向传播是神经网络训练的常见训练过程，其中正向传播确定出神经网络的输出，并确定网络损失，反向传播通过网络损失进行反馈，迭代调整神经网络里每层的参数。反向传播与正向传播的运算量相当，甚至更大，消耗更多内存资源。

技术实现思路

[0003]本公开提出了一种神经网络方法及装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种神经网络训练方法，包括：通过神经网络模型对训练样本进行处理，得到所述神经网络模型的网络损失；根据所述网络损失进行反向传播，得到所述神经网络模型的多个网络节点的更新梯度，其中，对所述多个网络节点中的至少一个网络节点进行优化的反向传播；基于所述神经网络模型的更新梯度，得到更新后的所述神经网络模型。
[0005]根据本公开的实施例的神经网络训练方法，能够对至少一个网络节点的反向传播进行优化，并利用优化后的网络节点确定更新梯度，减本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：通过神经网络模型对训练样本进行处理，得到所述神经网络模型的网络损失；根据所述网络损失进行反向传播，得到所述神经网络模型的多个网络节点的更新梯度，其中，对所述多个网络节点中的至少一个网络节点进行优化的反向传播；基于所述神经网络模型的更新梯度，得到更新后的所述神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述神经网络模型的反向计算图，从所述神经网络模型包括的多个网络节点中确定需要进行优化的反向传播的至少一个网络节点；和/或基于所述多个网络节点中每个网络节点连接的网络节点的个数，从所述多个网络节点中确定需要进行优化的反向传播的至少一个网络节点。3.根据权利要求1或2所述的方法，其特征在于，所述对所述多个网络节点中的至少一个网络节点进行优化的反向传播，包括：利用优化的运算代码对所述多个网络节点中的第一网络节点进行梯度的反向传播，其中，所述第一网络节点连接的反向输入节点的数量为1。4.根据权利要求3所述的方法，其特征在于，优化的运算代码为去除累加处理和内存清零处理后的代码。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对所述多个网络节点中的至少一个网络节点进行优化的反向传播，包括：利用优化的缓存方式，对所述多个网络节点中的第二网络节点进行梯度的反向传播，其中，在所述优化的缓存方式中，所述第二网络节点的反向输入节点的反向输出信息或所述第二网络节点的反向输出信息不进行缓存。6.根据权利要求5所述的方法，其特征在于，所述第二网络节点的反向输入节点和反向输出节点的数量均为1。7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：为所述多个网络节点中每个网络节点设置第一标识信息和第二标识信息，其中，所述第一标识信息用于标识所述网络节点的正向输入节点的输出信息与反向输出的缓存信息是否一致，所述第二标识信息用于标识所述网络节点的正向输出的输入...

【专利技术属性】
技术研发人员：徐迟，张行程，王志宏，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：