一种面向专用处理器的神经网络模型量化分析方法及系统技术方案

本发明专利技术提供的一种面向专用处理器的神经网络模型量化分析方法及系统，方法包括：读取量化前模型以及对应的量化后模型，量化前模型包括量化前的神经网络模型，量化后模型包括量化后的神经网络模型；对量化后模型进行误差主导归因分析，以得到量化后模型的主导误差；将量化前模型和对应的量化后模型进行比对分析；根据主导误差和/或比对分析的结果对量化后模型进行校正。该方法可以根据不同的神经网络模型调用不同的分析方法。进一步引导量化优化，可以轻松继承框架中的分析基类，易于扩展，且具有可复现性。适用于npu处理器，克服现有方法存在的方法零散、分析结果的不易复现、部署到npu后性能退化的问题。npu后性能退化的问题。npu后性能退化的问题。

【技术实现步骤摘要】
一种面向专用处理器的神经网络模型量化分析方法及系统


[0001]本专利技术属于机器学习
，具体涉及一种面向专用处理器的神经网络模型量化分析方法及系统。

技术介绍

[0002]这些年来，深度学习在众多领域亮眼的表现使其成为了如今机器学习的主流方向，但其巨大的计算量仍为人诟病。对于端上产品而言，深度神经网络巨大计算量是非常大的挑战。为了弥补端侧智能应用的算力需求与端侧的算力能力的鸿沟，近几年来模型压缩成为了业界的热点之一，其中，神经网络量化是实现这些需求最有效的方法之一。
[0003]神经网络量化分为训练后量化(PTQ)和量化感知训练(QAT)。其中PTQ算法可以无需原始的训练过程，就能将预训练的FP32网络直接转换为定点网络。这个方法通常不需要数据(data
‑
free)或者只需要很少的容易获得的校准数据集，使得模型量化更加易于进行。但是PTQ量化引起的额外噪声会导致精度的下降。不同网络结构的模型对于这种现象存在较大差异。于是出现了一些针对PTQ量化后模型误差进行分析的方法，可以对不同网络结构模型的造成误差的原因进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向专用处理器的神经网络模型量化分析方法，其特征在于，包括：读取量化前模型以及对应的量化后模型，所述量化前模型包括量化前的神经网络模型，所述量化后模型包括量化后的神经网络模型；对所述量化后模型进行误差主导归因分析，以得到所述量化后模型的主导误差；将所述量化前模型和对应的量化后模型进行比对分析；根据所述主导误差和/或所述比对分析的结果对所述量化后模型进行校正。2.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述主导误差包括舍入误差或钳位误差。3.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：分别获取所述量化前模型和所述量化后模型中各层的权重和/或激活值；分别对所述权重和/或所述激活值进行比对，以得到所述量化前模型和所述量化后模型中各层的权重差异和激活值差异；根据所述权重差异和/或所述激活值差异分析所述量化后模型中各层权重量化是否合理。4.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：分别根据所述量化前模型和所述量化后模型中各层的权重和激活值绘制各层中各通道的箱型图；对所述箱型图进行比对，以得到所述量化前模型和所述量化后模型中各层中各通道的数值差异；根据所述数值差异分析所述量化后模型中各层各通道的数值范围是否存在严重偏差。5.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：逐层统计所述量化前模型和所述量化后模型运行激活函数前的激活值；对运行激活函数前的激活值进行比对，以得到所述量化前模型和所述量化后模型中各层运行激活函数前的激活值差异；根据所述运行激活函数前的激活值差异分析所述量化后模型是否存在偏差。6.根据权利要求3所述面向专用处理器的神经网络模型量化分析方法，其特征在于，所述比对分析包括：逐层对所述量化前模型和所述量化后模型进行敏感性分析，以得到各层量化误差对输出误差的影响程度。7.根据权利要求1所述面向专用处理器的神经网络模型量化分析方法...

【专利技术属性】
技术研发人员：方济生，宋莉莉，张祥建，
申请(专利权)人：北京视海芯图微电子有限公司，
类型：发明
国别省市：