一种卷积输入和权重的量化方法技术

本发明专利技术提供一种卷积输入和权重的量化方法，包括：S1量化：设置参数；S1.1，对卷积输入量化的过程；S1.2，对weight量化的过程；S2，量化推理：以convolution‑batchnorm融合的算子进行量化推理：S2.1，对convolution和batchnorm进行融合：S2.2，对x和w进行量化后，浮点值与整形值有以下关系：当min_value＜0：sif＝2<supgt;(n‑1)</supgt;；当min_value＞＝0：sif＝2<supgt;n</supgt;‑1；S2.3，当min_value＜0时，当前xint的范围为(‑128，127)，为了满足硬件中xint在(0，255)时量化的结果与在(‑128，127)时相同，添加一个量化参数offset：则offset＝‑∑(sif*w<subgt;int</subgt;)s＝s<subgt;bn</subgt;*s<subgt;x</subgt;*s<subgt;w</subgt;可得到bn＝s*(∑(x<subgt;int</subgt;*w<subgt;int</subgt;)+b)；S2.4，bn即是由整型的x和w得到的浮点型数据，根据上面卷积输入的量化过程，对bn进行量化。

【技术实现步骤摘要】

本专利技术属于神经网络，特别涉及一种卷积输入和权重的量化方法。

技术介绍

1、模型量化可以减小神经网络模型的尺寸大小和模型推理时间，其适用于绝大多数模型和不同的硬件设备。现有量化，是通过统计出相应的min_value(最小值)和max_value(最大值)，选择出合适的量化类型，对称量化和非对称量化，通过计算出的量化参数将浮点数值映射到(-128,127)或者(0,255)。

2、然而，现有技术的主要缺陷在于：

3、在量化过程中，如果量化类型选择为对称量化，此时的浮点数值的量化区间就是(-128,127)之间，而有些硬件设备，只能做到在uint8(数值区间为(0,255))类型的数据间进行计算。

4、此外，现有技术中的常用术语包括：

5、量化：将连续的浮点数值近似为有限的离散值，将数值从高精度通过一定的转换公式映射到低精度的过程。

6、feature map：在每个卷积层数据都是以三维形式存在的。如果把它看成若干个二维图片叠在一起，其中每个称为一个feature map。在输入层，如果是灰度图片，本文档来自技高网...

【技术保护点】

1.一种卷积输入和权重的量化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种卷积输入和权重的量化方法，其特征在于，所述步骤S1.1中对卷积输入量化的过程，进一步表示为：

3.根据权利要求1所述的一种卷积输入和权重的量化方法，其特征在于，所述S1.2中对weight量化的过程，进一步表示为：

4.根据权利要求1所述的一种卷积输入和权重的量化方法，其特征在于，所述方法属于后量化，后量化是对预训练后的网络选择合适的量化操作和校准操作以实现量化损失的最小化。

【技术特征摘要】

1.一种卷积输入和权重的量化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种卷积输入和权重的量化方法，其特征在于，所述步骤s1.1中对卷积输入量化的过程，进一步表示为：

3.根据权利要求1所述的一种卷积输入和权重的...

【专利技术属性】
技术研发人员：周凡，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：