一种网络训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请实施例公开了一种网络训练方法、装置、计算机设备和存储介质；本申请实施例可以获取样本图像和待训练二值神经网络；对待训练二值神经网络的待调整权重参数进行二值化近似处理，得到二值化近似参数和二值化后权重参数；利用二值化近似参数和二值化后权重参数对样本图像进行图像处理，得到处理后样本图像；对处理后样本图像进行损失计算，得到网络处理损失信息；对二值化近似参数和二值化后权重参数进行损失计算，得到加权重构损失信息；根据网络处理损失信息和加权重构损失信息对待调整权重参数进行调整处理，得到目标二值神经网络，可以使得二值神经网络在训练过程中获取弹性梯度，以缓解网络收敛过程中的权重震荡。以缓解网络收敛过程中的权重震荡。以缓解网络收敛过程中的权重震荡。

【技术实现步骤摘要】
一种网络训练方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，具体涉及一种网络训练方法、装置、计算机设备和存储介质。

技术介绍

[0002]二值神经网络(Binarized Neural Networks，BNN)，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值神经网络在训练的过程中会存在权重震荡问题。权重震荡问题可以指在网络训练的过程中，即网络权重更新的过程中，权重跳出了局部优化，使得网络难以更新到最优点，而是在局部优化点附近跳来跳去，最终形成权重震荡问题。权重震荡问题会降低二值神经网络的训练有效性，从而降低二值神经网络的网络性能。

技术实现思路

[0003]本申请实施例提出了一种网络训练方法、装置、计算机设备和存储介质，可以使得二值神经网络在训练过程中获取弹性梯度，以缓解网络收敛过程中的权重震荡，得到性能更好的二值化网络。
[0004]本申请实施例提供了一种网络训练方法，包括：
[0005]获取样本图像和待训练二值神经网络，其中，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络训练方法，其特征在于，包括：获取样本图像和待训练二值神经网络，其中，所述待训练二值神经网络包括待调整权重参数；对所述待训练二值神经网络的待调整权重参数进行二值化近似处理，得到所述待训练二值神经网络的二值化近似参数和所述待调整权重参数的二值化后权重参数；利用所述二值化近似参数和所述二值化后权重参数对所述样本图像进行图像处理，得到处理后样本图像；对所述处理后样本图像进行损失计算，得到网络处理损失信息；对所述二值化近似参数和所述二值化后权重参数进行损失计算，得到加权重构损失信息；根据所述网络处理损失信息和所述加权重构损失信息对所述待训练二值神经网络的待调整权重参数进行调整处理，得到目标二值神经网络。2.根据权利要求1所述的方法，其特征在于，所述对所述二值化近似参数和所述二值化后权重参数进行损失计算，得到加权重构损失信息，包括：获取平衡参数；对所述二值化近似参数和所述二值化后权重参数进行融合处理，得到融合后二值化参数；计算所述融合后二值化参数和所述待调整权重参数之间的损失信息，得到参数损失信息；将所述平衡参数和所述参数损失信息进行加权运算处理，得到所述加权重构损失信息。3.根据权利要求2所述的方法，其特征在于，所述待训练二值神经网络包括至少一个神经网络层，每个神经网络层包括至少一个待调整权重参数；所述二值化近似参数包括每个神经网络层中每个待调整权重参数对应的二值化近似参数；所述二值化后权重参数包括每个神经网络层中每个待调整权重参数对应的二值化后权重参数；所述平衡参数包括每个神经网络层中每个待调整权重参数对应的平衡参数。4.根据权利要求3所述的方法，其特征在于，所述对所述二值化近似参数和所述二值化后权重参数进行融合处理，得到融合后二值化参数，包括：对每个神经网络层中每个待调整权重参数对应的二值化近似参数和二值化后权重参数进行乘积处理，得到每个神经网络层中每个待调整权重参数对应的融合后二值化参数；所述计算所述融合后二值化参数和所述待调整权重参数之间的损失信息，得到参数损失信息，包括：将每个神经网络层中每个待调整权重参数对应的融合后二值化参数和融合后二值化参数对应的待调整权重参数进行范数运算，得到每个神经网络层中每个待调整权重参数对应的参数损失信息；所述将所述平衡参数和所述参数损失信息进行加权运算处理，得到所述加权重构损失信息，包括：将每个神经网络层中每个待调整权重参数对应的平衡参数和参数损失信息进行乘积处理，得到每个神经网络层中每个待调整权重参数对应的加权后损失信息；
将每个神经网络层中每个待调整权重参数对应的加权后损失信息进行相加处理，得到所述加权重构损失信息。5.根据权利要求2所述的方法，其特征在于，所述根据所述网络处理损失信息和所述加权重构损失信息对所述待训练二值神经网络的待调整权重参数进行调整处理，得到目标二值神经网络，包括：基于所述网络处理损失信息和所述加权重构损失信息对所述待调整权重参数进行更新处理，得到更新后权重参数；基于所述加权重构损失信息对所述二值化近似参数进行更新处理，得到更新后近似参数；根据所述更新后近似参数和所述更新后权重参数对所述待训练二值神经网络进行参数更新处理，得到更新后二值神经网络；当所述更新后二值神经网络的性能通过判别时，得到所述目标二值神经网络。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述当所述更新后二值神经网络的性能不通过判别时，对所述网络处理损失信息进行梯度运算处理，得到所述网络处理损失信息的梯度运算信息；根据所述网络处理损失信息的梯度运算信息对所述平衡参数进行更新处理，得到更新后平衡参数；根据所述更新后平衡参数对所述加权重构...

【专利技术属性】
技术研发人员：林明宝，沈云航，傅朝友，吴桐，李珂，任博，徐昇，张宝昌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：