一种神经网络模型权重参数的确定方法及设备技术

一种神经网络模型权重参数的确定方法，包括：基于神经网络模型的待定权重参数，对样本数据进行处理，以获得输出结果；计算所述输出结果和预设的期望结果的原始误差值，所述原始误差值为所述输出结果和所述期望结果的差异的数值化表示；基于修正值，对所述原始误差值进行修正，以获得修正误差值；基于所述修正误差值和所述待定权重参数，确定所述神经网络模型的模型权重参数；其中，所述修正值根据如下公式获得：R＝(w

【技术实现步骤摘要】
【国外来华专利技术】一种神经网络模型权重参数的确定方法及设备
本申请涉及数据处理
，尤其涉及一种神经网络模型权重参数的确定方法及设备。
技术介绍
近年来，神经网络模型在计算机视觉、语音处理等应用中表现出极其优越的性能，受到了人们的广泛关注。神经网络模型的成功伴随的代价是引入大量参数和计算，而神经网络模型相关模型参数的量化技术可以减少相关模型参数精度的冗余性，在降低对模型准确度的不利影响的前提下，实现模型压缩的目的。模型压缩不仅可以降低内存带宽的占用和数据存取的能耗，低精度的运算往往也带来更低的运算能耗。对于一些支持多种精度计算的计算单元，单位时间内完成低精度计算次数要高于可完成高精度计算的次数。
技术实现思路
本申请实施例提供一种神经网络模型权重参数的确定方法及设备，在神经网络模型应用的各种数据处理场景中，比如图像识别、语音识别、图像超分辨率处理等，能够通过对模型训练的输出结果和期望结果间的误差引入适当的修正值的方式，减少量化误差并且避免部分数值较大的权值参数主导神经网络的推理结果而导致过拟合的问题。为达到上述目的，本申请实施例采用如下技本文档来自技高网...

【技术保护点】
一种神经网络模型权重参数的确定方法，其特征在于，包括：/n基于神经网络模型的待定权重参数，对样本数据进行处理，以获得输出结果；/n计算所述输出结果和预设的期望结果的原始误差值，所述原始误差值为所述输出结果和所述期望结果的差异的数值化表示；/n基于修正值，对所述原始误差值进行修正，以获得修正误差值；/n基于所述修正误差值和所述待定权重参数，确定所述神经网络模型的模型权重参数；/n其中，所述修正值根据如下公式获得：/nR＝(w

【技术特征摘要】
【国外来华专利技术】一种神经网络模型权重参数的确定方法，其特征在于，包括：
基于神经网络模型的待定权重参数，对样本数据进行处理，以获得输出结果；
计算所述输出结果和预设的期望结果的原始误差值，所述原始误差值为所述输出结果和所述期望结果的差异的数值化表示；
基于修正值，对所述原始误差值进行修正，以获得修正误差值；
基于所述修正误差值和所述待定权重参数，确定所述神经网络模型的模型权重参数；
其中，所述修正值根据如下公式获得：
R＝(w
k-Q(w
k))×Q(w
k)

R表示所述修正值，w
k表示所述神经网络模型的第k个待定权重参数，Q(w
k)表示所述第k个待定权重参数的量化值，k为非负整数。



根据权利要求1所述的方法，其特征在于，所述修正误差值根据如下公式获得：



其中，E1表示所述修正误差值，E0表示所述原始误差值，α为常数，m为用于处理所述样本数据的待定权重参数的总数量，F((w
k-Q(w
k))×Q(w
k))表示以所述修正值为自变量的函数，m为正整数。



根据权利要求2所述的方法，其特征在于，所述以所述修正值为自变量的函数为计算所述修正值的绝对值；
对应的，所述修正误差值根据如下公式获得：



其中，|(w
k-Q(w
k))×Q(w
k)|表示计算(w
k-Q(w
k))×Q(w
k)的绝对值。



根据权利要求1至3任一项所述的方法，其特征在于，所述神经网络模型包括p个网络层，每个所述网络层包括q个所述待定权重参数，所述第k个待定权重参数为所述神经网络模型中第i个网络层的第j个待定权重参数；
对应的，所述修正误差值根据如下公式获得：



其中，p和q为正整数，i和j为非负整数。


根据权利要求1至4任一项所述的方法，其特征在于，所述基于神经网络模型的待定权重参数，对样本数据进行处理，包括：
获得所述待定权重参数；
量化所述获得的待定权重参数，以得到量化权重参数，所述量化权重参数为所述待定权重参数的量化值；
将所述量化权重参数作为所述神经网络模型的模型权重参数，采用前向传播算法，对所述样本数据进行处理；
从所述神经网络模型的输出层获得所述输出结果。


根据权利要求5所述的方法，其特征在于，所述神经网络模型的模型权重参数采用迭代训练的方式获得，当所述迭代训练满足结束条件时，所述基于所述修正误差值和所述待定权重参数，确定所述神经网络模型的模型权重参数，包括：
将所述量化权重参数作为所述神经网络模型的模型权重参数。


根据权利要求6所述的方法，其特征在于，当所述迭代训练不满足所述结束条件时，所述基于所述修正误差值和所述待定权重参数，确定所述神经网络模型的模型权重参数，包括：
根据所述修正误差值，采用反向传播算法，对所述神经网络模型的网络层，逐层调整所述待定权重参数，直到所述神经网络模型的输入层，以获得所述神经网络模型的调整后权重参数。


根据权利要求7所述的方法，其特征在于，所述神经网络模型的待定权重参数根据如下公式调整：



其中，w0
k表示第k个所述待定权重参数，w1
k表示所述第k个调整后权重参数，β为正常数。



根据权利要求6至8任一项所述的方法，其特征在于，对于所述迭代训练中的第N个训练周期，N为大于1的整数，M为小于N的正整数，所述结束条件包括以下条件中的一种或多种的组合：
所述第N个训练周期中的原始误差值小于预设的第一阈值；
所述第N个训练周期中的修正误差值小于预设的第二阈值；
所述第N个训练周期中的原始误差值和所述第N-M个训练周期中的原始误差值的差异小于预设的第三阈值；
所述第N个训练周期中的修正误差值和所述第N-M个训练周期中的修正误差值的差异小于预设的第四阈值；
所述第N个训练周期中的待定权重参数和所述第N-M个训练周期中的待定权重参数的差异小于预设的第五阈值；和
N大于预设的第六阈值。


根据权利要求9所述的方法，其特征在于，当所述第N个训练周期不满足所述结束条件时，存储以下物理量中的一种或多种的组合：
所述第N个训练周期中的原始误差值；
所述第N个训练周期中的修正误差值；
所述第N个训练周期中的待定权重参数；和
所述第N个训练周期的周期数N。


根据权利要求6至10任一项所述的方法，其特征在于，所述获得所述待定权重参数，包括：
在所述迭代训练的第一个训练周期时，将预设的初始权重参数作为所述待定权重参数；
在所述迭代训练的非第一个训练周期时，将所述神经网络模型的调整后权重参数作为所述待定权重参数。


根据权利要求1至11任一项所述的方法，其特征在于，所述神经网络模型用于图像识别；
对应的，所述样本数据包括图像样本；
对应的，所述输出结果包括表征为概率形式的所述图像识别的识别结果。


根据权利要求1至11任一项所述的方法，其特征在于，所述神经网络模型用于声音识别；
对应的，所述样本数据包括声音样本；
对应的，所述输出结果包括表征为概率形式的所述声音识别的识别结果。


根据权利要求1至11任一项所述的方法，其特征在于，所述神经网络模型用于超分辨率图像的获取；
对应的，所述样本数据包括图像样本；
对应的，所述输出结果包括超分辨率处理后的图像的像素值。


一种神经网络模型权重参数的确定设备，其特征在于，包括：
前向传播模块,用于基于神经网络模型的待定权重参数，对样本数据进行处理，以获得输出结果；
比较模块,用于计算所述输出结果和预设的期望结果的原始误差值，所述原始误差值为所述输出结果和所述期望结果的差异的数值化表示；
修正模块,用于基于修正值，对所述...

【专利技术属性】
技术研发人员：杨帆，钟刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44