一种降低低比特卷积神经网络推理运算复杂度的方法技术

本发明专利技术提供一种降低低比特卷积神经网络推理运算复杂度的方法，包括S1神经网络训练结束后，利用保存的数据进行量化，假设第i层的量化如下：化如下：其中δ

【技术实现步骤摘要】
一种降低低比特卷积神经网络推理运算复杂度的方法


[0001]本专利技术涉及神经网络加速
，特别涉及一种降低低比特卷积神经网络推理运算复杂度的方法。

技术介绍

[0002]近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。
[0003]特别地，乘移位实现32bit量化为低比特：将量化卷积运算出来的结果保存为32bit整形，然后再根据之前预先计算出来的参数，做乘法和移位操作来实现32bit转低比特。
[0004]然而，现有技术中对32bit量化为低比特时，由于需要保证量化后的精度，所以在做量化的过程还需要做一系列的加法和比较运算，这样会大大增加计算复杂度和计算资源特别对于量化到2bit的时候，这种代价往往太大。
[0005]此外，现有技术中的常用术语如下：...

【技术保护点】

【技术特征摘要】
1.一种降低低比特卷积神经网络推理运算复杂度的方法，其特征在于，所述方法包括以下步骤：S1，神经网络训练结束后，利用保存的数据进行量化，假设第i层的量化如下所示：假设第i层的量化如下所示：其中δ
i
为激活函数，Q
A
为feature map的量化公式,Q
w
为权重的量化公式；S2，当S1中公式的参数符合以下条件：1)、用浮点标量缩放的定点数来表示即w
int
是用整数表示的定点数；2)、用浮点标量缩放的定点数来表示即x
int
是用整数表示的定点数；3)、δ
i
为单调函数；则，量化通过定点数的运算来获得，即：S3，从feature map的量化确定阈值：feature map的量化公式为：由上式feature map的量化公式直接推出阈值为(0.5，1.5
…
(2
k-0.5))，其中k是量化的比特位宽；因为阈值之间的距离都是1.0，所以在最终量化时只需保存其中则阈值n∈{0,1
…
(2
k-1
)}其中k是量化的比特位宽；S4,由于量化为低比特时，量化后feature map的数值已经确定下来，并且Q
A
为均匀量化，所以S2中的δ
i
(s
w
s
x...

【专利技术属性】
技术研发人员：张东，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：