一种保持量化推理与训练端数据一致性的方法技术

本发明专利技术提供一种保持量化推理与训练端数据一致性的方法，所述方法包括以下步骤：S1，求取float数据的权重；S2，求取整个权重数据的最大值，由于权重的数据既有正数与负数，所以对权重求取绝对值abs()函数的最大值，权重除以最大值，数值分布于

【技术实现步骤摘要】
一种保持量化推理与训练端数据一致性的方法


[0001]本专利技术涉及神经网络
，特别涉及一种保持量化推理与训练端数据一致性的方法。

技术介绍

[0002]随着模型预测(predication)越来越准确，网络越来越深，神经网络消耗的内存大小成为问题，尤其是在移动设备上的应用，例如北京君正集成电路股份有限公司(简称：北京君正)的板端T31系列芯片。通常情况下，板端flash大小容量很小，模型大小不仅是内存容量问题，也是内存带宽问题。模型在每次预测时都会使用模型的权重(weights)，而图像相关的应用程序通常需要实时处理数据。因此对权重的低bit量化很重要，量化能够大幅度缩减模型的大小，float量化至8bit，模型大小可以减少4倍，从而大幅度提高网络的运行速度；
[0003]但是量化时由于网络训练与推理在不同的设备上(GPU、CPU)，导致量化出来的结果不一致，使得训练模型在板端推理侧结果的不一致性；
[0004]现有技术中对权重(weight)float 32bit进行量化时，由于GPU端与推理端CPU精度不一致性(一般本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种保持量化推理与训练端数据一致性的方法，其特征在于，所述方法包括以下步骤：S1，求取float数据的权重；S2，求取整个权重数据的最大值，由于权重的数据既有正数与负数，所以对权重求取绝对值的最大值，权重除以最大值，数值分布于
‑
1,1之间；S3，在GPU训练端对数据进行量化时，对数据进行截取4位操作；S4，输入round()函数操作乘以128数值，由于int8数值取值范围为
‑
128到127，所以选择128数值进行相乘；S5，进行最后一步的clip(
‑
128,127)函数，最终使得模型由float数据量化至
‑
128到127之间的离散数据。2.根据权利要求1所述的一种保持量化推理与训练端数据一致性的方法，其特征在于，所述步骤S3中，所述截取4位是在步骤S4中的乘以12...

【专利技术属性】
技术研发人员：周飞飞，
申请(专利权)人：合肥君正科技有限公司，
类型：发明
国别省市：