一种改善MSE在模型后量化效果的方法技术

本发明专利技术提供一种改善MSE在模型后量化效果的方法，包括：S1，卷积神经网络训练：以coco目标检测数据为数据集，yolov5为网络结构，训练全精度的模型，即获得模型推理过程中的相关参数；S2，模型的预处理：对于网络中存在拓扑结构Conv2D‑>BN‑>LeakyRelu，会预先采用合并BatchNormal操作将BatchNormal合并到卷积中，变成拓扑结构Conv2D‑>LeakyRelu；S3，量化公式：对于已经获得Feature数据按照步骤S2中所示的公式进行量化；S4，量化超参的计算：由于网络中某一层的输出是随着网络的输入变化而变化的，所以不能直接使用某个输入下求得的X<subgt;max</subgt;和X<subgt;min</subgt;来量化该层；所以采用的方法是：在求解X<subgt;max</subgt;时固定X<subgt;min</subgt;，而在求解X<subgt;min</subgt;时使用的过程步骤中求解的X<subgt;max</subgt;并固定不动，这样求得的X<subgt;min</subgt;和X<subgt;max</subgt;避免了代量化数据中正负半轴异常数据对量化的影响。

【技术实现步骤摘要】

本专利技术属于神经网络，特别涉及一种改善mse在模型后量化效果的方法。

技术介绍

1、近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(dnn)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(cnn)作为一种典型的dnn结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。

2、现有很多后量化框架中会通过求解原始数据和量化数据最小化mse来获得量化参数。

3、现有技术存在的缺陷在于：

4、现有技术对于激活为线性的层的量化效果并不友好导致量化后的模型出现精度损失。

5、在模型后量化过程中，卷积神经网络模型中存在线性层或者激活后结果存在负值时量化后模型精度损失较大的问题。

6、现有技术常用的技术术语：

7、卷积神经网络(convolutional neural networks，cnn)：是一类包含卷积计算且具有深度结构的前馈神经网络。

<p>8、模型量化：模本文档来自技高网...

【技术保护点】

1.一种改善MSE在模型后量化效果的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种改善MSE在模型后量化效果的方法，其特征在于，所述步骤S4进一步包括：

3.根据权利要求2所述的一种改善MSE在模型后量化效果的方法，其特征在于，所述步骤S4中在求解Xmin时使用的过程步骤中求解的Xmax并固定不动是使用的步骤S4.7中求解的Xmax并固定不动。

【技术特征摘要】

1.一种改善mse在模型后量化效果的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种改善mse在模型后量化效果的方法，其特征在于，所述步骤s4进一步包括：

<...

【专利技术属性】
技术研发人员：张东，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：