一种基于数据高位稀疏性的神经网络量化训练方法技术

本发明专利技术公开了一种基于数据高位稀疏性的神经网络量化训练方法。本发明专利技术方法首先将数据分为高位数据和低位数据两段，低位数据训练时施加正则化，高位数据不参与训练；若低位数据训练时发生进位或者退位，更新高位数据；训练完毕后检查高位数据是否更新，若更新则继续训练，否则，判断低位数据是否大于阈值：若低位数据大于阈值，继续训练；否则，令低位数据等于0。将最终的高位数据和低位数据合并为新数据，并且锁死，在神经网络训练时不再更新；等待神经网络其他权重训练完毕，最后输出数据。本发明专利技术方法在线性量化或者其他简单量化的基础上，对其他量化得到的数据进行进一步量化，使得数据稀疏性更强，有利于硬件计算和存储，同时保证网络性能。网络性能。网络性能。

【技术实现步骤摘要】
一种基于数据高位稀疏性的神经网络量化训练方法


[0001]本专利技术属于神经网络
，尤其是神经网络的数值量化、训练方法的
，涉及一种基于数据高位稀疏性的神经网络量化训练方法。

技术介绍

[0002]深度学习目前是一项快速发展的技术，其应用范围也逐渐的拓展到各个领域，如自动驾驶，医学诊断，语音识别以及自然语言处理等。为了使神经网络的性能更加强大，往往需要更大规模的数据集，更加庞大的神经网络模型，这对目前的硬件设备提出了巨大的挑战，为了使神经网络的可以应用在小型设备上，达到实时预测，部署方便的目的，必须将神经网络的模型进行减小。所以神经网络压缩的研究方向近年来十分火热。
[0003]神经网络量化是最直接的手段，将高精度的浮点参数，通过量化算法使用低精度的浮点值或者定点值进行表示，即可达到量化前的神经网络性能。目前常用的量化方法主要是线性量化，然而通常都会使网络性能下降，所以有许多研究人员针对神经网络的特点提出了许多非线性量化方法，在保证精度的同时，大幅压缩了神经网络的参数体积。另外在训练神经网路时，为了减少神经网络模型的参数量，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据高位稀疏性的神经网络量化训练方法，其特征在于，该方法具体如下：步骤(1)取得神经网络需要量化的数据，包括样本数据、权重值或偏置值；步骤(2)将长度为l的数据d从高位到低位划分为位长为l0和位长为l1的两段，位长为l0的数据为高位数据d0，位长为l1的数据为低位数据d1；步骤(3)训练低位数据d1，高位数据d0不参与训练；低位数据d1训练时施加正则化：R＝λ∑|w|；其中，R为正则化数值，w为特征系数，具体是网络输入的样本数据、权重值或偏置值，λ为网络的超参数；步骤(4)若d1在训练时发生进位或者退位，d0随之更新为d
′0，转至步骤(3)继续训练；若d1在训练时未发生进位或者退位，转至步骤(5)；步骤(5)判断低位数据d1是否大于阈值Thr：若低位数据d1大于阈值，转至步骤(3)继续训练；...

【专利技术属性】
技术研发人员：宋一平，梁骏，钟宇清，宋蕴，杨常星，
申请(专利权)人：杭州国芯科技股份有限公司，
类型：发明
国别省市：