一种神经网络量化校准方法及装置制造方法及图纸

本发明专利技术公开了一种神经网络量化方法及装置，在神经网络量化操作完成后，遍历整个模型，在池化层的scale与其上一层不同时，在二者之间插入校准层，并设置校准层的scale与池化层的scale一致；对多输入层找到其所有输入层的最大scale，除去具有最大scale的输入层，在其他输入层与多输入层之间插入校准层，并设置校准层的scale为所有输入层中最大的scale值；本发明专利技术采用在待修改层之前添加一个临时校准层的方式，修改校准层的scale，而不是修改该层的scale，这样就避免了对其他层产生影响；且本发明专利技术可直接传入模型以及预量化的文件和相关参数，直接运行便可保证硬件进行准确的推理。

【技术实现步骤摘要】

本专利技术属于数字信号处理，具体地说，是涉及一种神经网络量化校准方法、装置及电子设备。

技术介绍

1、神经网络量化是一种在模型推理过程中将模型参数由浮点转换为定点的技术，在尽可能减少精度损失的情况下，来适应不同硬件对推理模型的需求。

2、然而，在量化过程中会出现精度损失的情况，主要是因为很多硬件在计算多输入层（concat,add等）时，可能由于不同输入层的scale不一样，量化之后的数值范围也不一样，当这些输入进入同一层计算时便会产生精度误差，而硬件不会对不同scale值进行调整，由此引入了推理误差，而大多数硬件并不能检测到这种情况，不会对量化值进行调整。同时，在神经网络量化领域，现有的工具（tensorrt,pytorch,tensorflow等）也没有专门针对这些问题给出优化手段。

技术实现思路

1、本专利技术提供针对硬件有可能出现的量化调整能力的缺失问题，编写量化校准程序，在量化后遍历模型找到池化层和多输入层，通过插入校准层的方式将池化层的输入scale和输出scale改成一致，通过插入校本文档来自技高网...

【技术保护点】

1.一种神经网络量化校准方法，其特征在于，包括：

2.根据权利要求1所述的神经网络量化校准方法，其特征在于，遍历整个模型，具体包括：

3.根据权利要求1所述的神经网络量化校准方法，其特征在于，在所述插入一个校准层，具体为：

4.一种神经网络量化装置，包括存储器和处理器，其特征在于：

5.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器调用和执行时，实现如权利要求1-3任一项所述的方法。

【技术特征摘要】

1.一种神经网络量化校准方法，其特征在于，包括：

2.根据权利要求1所述的神经网络量化校准方法，其特征在于，遍历整个模型，具体包括：

3.根据权利要求1所述的神经网络量化校准方法，其特征在于，在所述插入一个校准层，具...

【专利技术属性】
技术研发人员：宋秋辰，郭允，
申请(专利权)人：青岛本原微电子有限公司，
类型：发明
国别省市：