基于细粒度数据分布对齐的神经网络后训练量化方法技术

基于细粒度数据分布对齐的神经网络后训练量化方法，涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数，得每个类别的代表BN参数；2)量化预训练的全精度网络得量化网络；3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环2)～4)至达到预定的训练轮数；6)保留量化网络权重，即得量化后的量化网络。只需少量数据的校准数据集，可从头训练得量化网络，无需特定硬件支持，在通用硬件平台上实现网络压缩与加速。通用硬件平台上实现网络压缩与加速。通用硬件平台上实现网络压缩与加速。

【技术实现步骤摘要】
Reconstruction[C]//International Conference on Learning Representations.2021.)表明，通过重建网络中间输出的二阶数学分析，得出最佳重建在于以网络块单元为基础，因此他们提出使用基于块的重建方法来决定舍入函数。尽管已经做出巨大的努力，但这些研究对于网络性能的改进仍然有限。此外，性能增益的前提通常时在第一层和最后一层量化为8位，甚至保留在全精度状态。但是，当所有层被量化为非常低的比特位时，会出现严重的性能下降(参考表1)。

技术实现思路

[0005]本专利技术的目的是针对当前神经网络后训练量化方法导致的性能下降等问题，提出只需和传统神经网络后训练量化方法同样大小的、只包含少量数据的校准数据集，可直接从头训练得到量化网络，性能更高，尤其是在对小网络进行量化时，同时可以在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速的一种基于细粒度数据分布对齐的神经网络后训练量化方法(FDDA)。
[0006]本专利技术包括以下步骤：
[0007]1)计算校准数据集D中每张图在预训练的全精度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于细粒度数据分布对齐的神经网络后训练量化方法，其特征在于包括以下步骤：1)计算校准数据集D中每张图在预训练的全精度网络每一层的BN参数，得到每个类别的代表BN参数；2)量化预训练的全精度网络得到量化网络；3)生成器接受高斯噪声和随机选择的标签，生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损失、扰动代表BN损失训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环执行2)～4)，直至达到预定的训练轮数；6)训练结束保留量化网络权重，即得量化后的量化网络。2.如权利要求1所述基于细粒度数据分布对齐的神经网络后训练量化方法，其特征在于在步骤1)中，所述计算校准数据集D中每张图在预训练的全精度网络每一层的BN参数，BN参数包括均值和方差：其中分别表示类别为c的图在网络第l层的特征图的均值和方差，图是校准数据集D中的图片，表示图片的标签，预训练的全精度网络指已经在目标数据集上训练好的网络模型。3.如权利要求1所述基于细粒度数据分布对齐的神经网络后训练量化方法，其特征在于在步骤2)中，所述量化预训练的全精度网络得到量化网络，量化方式如下：于在步骤2)中，所述量化预训练的全精度网络得到量化网络，量化方式如下：其中，clip(F，l，u)＝min(max(F，l)，u)，l，u表示裁剪上下界；F表示全精度输入，为网络权重或激活值；round表示将其输入舍入到最近的整数；是缩放因子，用于把一个全精度数和整数的相互转换，b表示量化位宽；对于权重，使用逐通道的量化方式，对于激活值，使用逐层量化的方式；获得量化值q后，用缩放因子将其反量化回4.如权利要求1所述基于细粒度数据分布对齐的神经网络后训练量化方法，其特征在于在步骤3)中，所述生成器接受高斯噪声和随机选择的标签，生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损失、扰动代表BN损失训练生成器的具体步骤为：首先随机生成高斯噪声z和标签y，随后将高斯噪声z和标签y输入生成器G得到生成的图片x
f
，其中生成器G是一个神经网络，将生成的...

【专利技术属性】
技术研发人员：纪荣嵘，钟云山，
申请(专利权)人：厦门大学，
类型：发明
国别省市：