一种卷积网络全整型量化方法及其应用方法技术

本发明专利技术公开了一种卷积网络全整型量化方法，属于卷积网络的量化压缩技术领域。本发明专利技术对卷积网络的输入特征图、网络权重、以及输出特征图，均采用整型表达，每层网络的前向推理过程只涉及整型计算。为保障整型量化后的性能，本发明专利技术需要对网络重新训练，并在训练中模拟网络全整型推理的结果。本发明专利技术还实现了一种全整型量化卷积网络的应用方法。相比于单精度浮点表达的卷积网络，本发明专利技术方案所占用资源更少，推理速度更快；相比于定点量化的网络，本发明专利技术对网络的输入、输出以及权重均采用固定长度整型表达，不用考虑逐层网络的输出结果的位宽带来的影响，其规整性更强，更适合于面向资源受限平台，如FPGA/ASIC等平台应用。

A Full Integer Quantization Method for Convolutional Networks and Its Application

【技术实现步骤摘要】
一种卷积网络全整型量化方法及其应用方法
本专利技术属于卷积网络的量化压缩
，更具体地，涉及一种卷积网络全整型量化方法及其应用方法。
技术介绍
自2012年Alex-Net发表以来，以卷积神经网络为代表的深度学习方法在目标分别、识别领域的性能逐年取得突破，现有的复杂网络的精度已经能达到95％以上，这些网络在设计之初，并未考虑到面向资源受限的嵌入式平台的部署。针对面向资源受限的应用，如：AR/VR、智能手机、FPGA/ASIC等应用，需要对模型进行量化压缩，用于减少模型的大小以及计算资源的需求，以适应这些嵌入式平台的部署。面对模型量化压缩问题，主要存在两种途径：第一种是针对模型结构本身，设计更高效/轻量型的网络，用来适应受限的计算资源，例如MobileNet、ShuffleNet。第二种是针对现有的网络结构，对网络的中间结果，包括权重、输入、输出，进行低比特量化，在网络结构不变、保证网络精度的情况下，减少网络的计算资源的需求，降低网络的计算延时。面对上述第二种方式，目前已存在的低比特量化的方法有：TWN、BNN、XOR-NET。这些方法将网络的权重以及输入、输出量化成1比特或者3比本文档来自技高网...

【技术保护点】
1.一种卷积网络全整型量化方法，其特征在于，所述方法包括以下步骤：(1)获取卷积网络的模型、浮点型权重以及训练数据集，并初始化网络；(2)对每一层卷积层，先经过浮点形式的推理过程，求取每一层的输入IN、输出OUT和权重WT的分布范围，并分别求取三者的最大绝对极值；(3)在当前层的训练的过程中更新三者的最大绝对极值；(4)根据输入IN、输出OUT和权重WT的最大绝对极值对卷积网络中当前层的输入和权重进行整型量化；(5)根据整型量化的输入和权重，求当前层整型量化的输出；(6)对当前层整型量化的输出进行反量化，还原为浮点型，输出至下一层；若下一层为batch norm层，则采取归并手段将batch ...

【技术特征摘要】
1.一种卷积网络全整型量化方法，其特征在于，所述方法包括以下步骤：(1)获取卷积网络的模型、浮点型权重以及训练数据集，并初始化网络；(2)对每一层卷积层，先经过浮点形式的推理过程，求取每一层的输入IN、输出OUT和权重WT的分布范围，并分别求取三者的最大绝对极值；(3)在当前层的训练的过程中更新三者的最大绝对极值；(4)根据输入IN、输出OUT和权重WT的最大绝对极值对卷积网络中当前层的输入和权重进行整型量化；(5)根据整型量化的输入和权重，求当前层整型量化的输出；(6)对当前层整型量化的输出进行反量化，还原为浮点型，输出至下一层；若下一层为batchnorm层，则采取归并手段将batchnorm层参数合并到当前层中；反复步骤(3)～(6)，直至卷积网络中最后一层；(7)反向传播，不断更新权重，直至网络收敛，保存量化的权重，以及附加参数；经过整型量化以后的参数用于全整型前向推导过程，用整型代替原先浮点运算。2.根据权利要求1所述的一种卷积网络全整型量化方法，其特征在于，所述步骤(3)中在训练的过程中更新三者的最大绝对极值具体为，采用指数滑动平均算法更新最大绝对极值：xn＝αxn-1+(1-α)x其中，xn为本次更新输入、输出或权重的最大绝对极值，xn-1为上次更新输入、输出或权重的最大绝对极值，x为本次计算得到的输入、输出或权重，α为权重系数。3.根据权利要求1所述的一种卷积网络全整型量化方法，其特征在于，所述步骤(4)具体为：输入的整型量化：Q_IN＝clamp(IN/S1)其中，Q_IN表示整型量化输入；S1＝max{|IN|}/Γ,Γ＝2N；N表示量化的位数；clamp()表示表示截断小数点后部分；max{|IN|}表示输入的最大绝对极值；权重的整型量化：Q_WT＝clamp(WT/S2)其中，Q_WT表示权重的整型量化；S2＝max{|WT|}/Γ,|Γ＝2N；max{|WT|}表示权重的最大绝对极值。4.根据权利要求1所述的一种卷积网络全整型量化方法，其特征在于，所述步骤(5)具体为：整型量化的输出Q_OUT为：Q_OUT＝Q_IN×Q_WT×MM＝S1×S2/S3其中，Q_IN表示整型量化输入；Q_WT表示权重的整型量化；由于M＝S1×S2/S3为浮点型，因此令其中，参数C和参数S的推导过程为：首先求解M，M＝S1×S2/S3：其中，S1＝max{|IN|}/Γ,Γ＝2N，max{|IN|}表示输入的最大绝对极值；S2＝max{|WT|}/Γ,|Γ＝2N，max{|WT|}表示权重的最大绝对极值；S3＝max{|OUT|}/Γ,|Γ＝2N，max{|OUT|}表示输出的最大绝对极值；N表示量化的位数；再对M反复乘以2或者除以2，使得最终令0<M<0.5，令a＝0，每次M乘以2则a＝a+1，除以2则a＝a-1，统计得到最终a的值；之后预设v的值，0＜v≤32，根据以下公式求取S和C：S＝v+aC＝round(M×2v)0＜C≤2v其中，round()表示返回四舍五入取整。5.根据权利要求4所述的一种卷积网络全整型量化方法，其特征在于，所述整型量化的输出Q_OUT为：Q_OUT＝Q_IN...

【专利技术属性】
技术研发人员：钟胜，周锡雄，商雄，蔡智，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42