基于特征值区域的动态量化方法、系统及介质技术方案

本发明专利技术提供了一种基于特征值区域的动态量化方法，包括：步骤1：定位输入特征图中的敏感区域和非敏感区域；步骤2：对敏感区域和非敏感区域执行混合精度卷积；步骤3：将卷积结果提供给激活层和池化层；步骤4：在不同敏感度区域之间进行切换。本发明专利技术对输入特征图和权重进行量化，进而可以更好地保留NN的准确率；DRQ可以支持层内、甚至逐像素的量化，这种细粒度的量化策略为量化提供了更大的自由，可以在尽可能降低计算精度的情况下保证NN准确率。

Dynamic quantization method, system and medium based on eigenvalue region

【技术实现步骤摘要】
基于特征值区域的动态量化方法、系统及介质
本专利技术涉及信息处理
，具体地，涉及一种基于特征值区域的动态量化方法、系统及介质。
技术介绍
神经网络(NN)已成为解决各种问题的关键技术，例如图像识别，自然语言处理和生物医学问题。NN一般包括感知机、卷积神经网络、循环神经网络等，由于卷积神经网络非常适合提取图像特征，因此在图像领域应用广泛，卷积神经网络的结构如图2所示；循环神经网络具有记忆性，在自然语言处理领域应用广泛，循环神经网络的结构如图1所示。面对NN对计算能力的日益增长的需求，量化技术被认为是减少NN计算量的有效技术。传统的量化技术是通过将浮点数据(FP32)转换为整型数据(INT)或将数据聚类为组，可以大大减少工作量和所需的内存带宽，从而在性能上具有整体优势。传统的量化技术会先对模型的权重值的分布进行分析，然后根据其分布对模型的权重进行量化。这些技术成功地将模型的权重的精度从浮点数降低到整型数。量化在先前的研究中被广泛探索。通过将权重聚类成组来量化权重，以便少量值足以代表所有权重。实验表明，他们的工作将位数从32减少本文档来自技高网...

【技术保护点】
1.一种基于特征值区域的动态量化方法，其特征在于，包括：/n步骤1：定位输入特征图中的敏感区域和非敏感区域；/n步骤2：对敏感区域和非敏感区域执行混合精度卷积；/n步骤3：将卷积结果提供给激活层和池化层；/n步骤4：在不同敏感度区域之间进行切换。/n

【技术特征摘要】
1.一种基于特征值区域的动态量化方法，其特征在于，包括：
步骤1：定位输入特征图中的敏感区域和非敏感区域；
步骤2：对敏感区域和非敏感区域执行混合精度卷积；
步骤3：将卷积结果提供给激活层和池化层；
步骤4：在不同敏感度区域之间进行切换。


2.根据权利要求1所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1包括：
步骤1.1：使用一个全为1的卷积核对输入特征图进行均值滤波；
步骤1.2：与预设阈值进行比较，产生二进制掩码；
步骤1.3：根据二进制掩码，区分输入特征图中的敏感区域和非敏感区域。


3.根据权利要求2所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1.2包括：
步骤1.2.1：获取每个输入特征图的值分布；
步骤1.2.2：根据值分布选择阈值；
步骤1.2.3：根据阈值确定敏感区域后，对神经网络模型进行重新训练，获得神经网络准确率；
步骤1.2.4：评估准确率是否满足预期要求；
如果满足，则确定阈值；
如果不满足，则返回步骤1.2.1，继续执行，直到找到满足预期要求的阈值。


4.根据权利要求2所述的基于特征值区域的动态量化方法，其特征在于，所述步骤1.3包括：给定具有c个通道的h×w维度的输入特征图，将输入特征图从FP32量化为INTn；其中，n表示：n位整型数据；m表示：m位整型数据；
对每个输入通道，分成几个m×m区域；
对每个区域，使用全1的m×m卷积核经均值滤波后执行点积，产生一个输出值，最终得到个输出值；
若该区域的输出值大于预定的阈值，则该区域是敏感的；
将所有输出值与阈值进行比较，识别特征图中的所有敏感区域；
最终生成c张二进制掩码图，每张图的尺寸为其中“1”表示该区域是敏感的，“0”表示该区域是不敏感的。


5.根据权利要求1所述的基于特征值区域...

【专利技术属性】
技术研发人员：宋卓然，梁晓峣，景乃锋，江昭明，官惠泽，吴飞洋，王雅洁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31