一种基于优化的kl散度的模型量化方法、装置及设备制造方法及图纸

本申请实施例提供了一种基于优化的kl散度的模型量化方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及人工智能技术领域。该方法包括：先获取原始模型中任一层的初始kl散度集，然后根据预设滤波算法对初始kl散度集进行去噪处理，得到任一层对应的优化kl散度集，由于该优化kl散度集是通过预设滤波算法去噪后获得，因此，相邻的截断阈值所对应的kl散度值并不会相差太大，符合相邻的截断阈值对应的分布是极为相似的原理，在此基础上，根据该优化kl散度集确定出的目标截断阈值更准确。若基于该方法量化原始模型，量化所得模型的处理效果和原始模型的处理效果相差不大。的处理效果和原始模型的处理效果相差不大。的处理效果和原始模型的处理效果相差不大。

【技术实现步骤摘要】
一种基于优化的kl散度的模型量化方法、装置及设备


[0001]本申请涉及人工智能
，具体而言，本申请涉及一种基于优化的kl散度的模型量化方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]通常，基于kl的量化方案在将浮点类型的模型量化为int8类型的模型时，包括以下步骤：设定不同的截断阈值，计算该截断阈值下量化后的输出分布与原始分布的kl散度值，该kl散度值能够衡量量化后的分布与原始分布的差异，基于kl散度值，选取最小的kl散度值对应的截断阈值作为最优截断阈值。
[0003]然而，基于kl的量化方案，其核心在于计算不同截断阈值下的kl散度值。对于具有特殊分布的输出，所得出的kl散度分布并不能准确地反映量化分布与原始分布的差异。
[0004]因此，基于现有的方案确定出的kl散度分布不能准确地反映量化后的分布和原始分布的差异，以致所确定的量化值是错误的。

技术实现思路

[0005]本申请实施例的目的旨在能解决基于现有的方案确定出的kl散度分布不能准确地反映量化后的分布和原始分布的差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于优化的kl散度的模型量化方法，其特征在于，所述方法包括：获取原始模型中任一层的初始kl散度集，其中，所述初始kl散度集包括与预设截断阈值集中每个截断阈值一一对应的初始kl散度值，任一初始kl散度值由以下概率分布确定：所述任一层的输出数据集的原始概率分布、由相应的截断阈值确定的新的输出数据集的概率分布，所述新的输出数据集的概率分布是根据目标量化类型获得；根据预设滤波算法对所述初始kl散度集进行去噪处理，得到所述任一层对应的优化kl散度集；根据所述任一层的目标截断阈值确定所述任一层的输出量化值，以进行量化，其中，所述目标截断阈值为所述优化kl散度集中最小的kl散度值对应的截断阈值。2.根据权利要求1所述的方法，其特征在于，所述获取原始模型中任一层的初始kl散度集，包括：将校准矩阵输入所述原始模型中进行处理，得到所述原始模型每层的输出数据集和相应输出数据集的原始概率分布；根据所述预设截断阈值集中每个截断阈值对所述任一层的输出数据集进行以下操作：根据所述截断阈值对所述任一层的输出数据集进行截断处理，得到新的输出数据集；根据所述目标量化类型对所述新的输出数据集进行量化，并确定所述新的输出数据集的概率分布；根据所述新的输出数据集的概率分布和所述截断阈值对应的原始概率分布，计算所述截断阈值对应的初始kl散度值；将所有截断阈值对应的初始kl散度值确定为所述任一层的初始kl散度集。3.根据权利要求2所述的方法，其特征在于，得到所述任一层的输出数据集的原始概率分布的过程包括：在得到所述任一层的输出数据集之后，筛选所述任一层的输出数据集的最大绝对值；根据所述最大绝对值，确定所述任一层的输出数据集的原始概率分布。4.根据权利要求1所述的方法，其特征在于，所述根据预设滤波算法对所述初始kl散度集进行去噪处理，得到所述任一层对应的优化kl散度集，包括：根据一维高斯滤波算法对所述初始kl散度集进行去噪处理，得到...

【专利技术属性】
技术研发人员：朱思，邱亮，胡广，赖俊成，胡可飞，邓帆，
申请(专利权)人：北京奕斯伟计算技术有限公司，
类型：发明
国别省市：