神经网络推理量化的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种神经网络推理量化的方法、装置、电子设备及存储介质，该方法包括：获取训练后的目标神经网络；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。经网络的推理过程进行量化处理。经网络的推理过程进行量化处理。

【技术实现步骤摘要】
神经网络推理量化的方法、装置、电子设备及存储介质


[0001]本公开涉及深度学习
，具体而言，涉及一种神经网络推理量化的方法、装置、电子设备及存储介质。

技术介绍

[0002]随着神经网络的发展，神经网络推理被广泛应用在图像分类、物体检测分割等机器视觉任务中，并取得了较大成功。然而，由于端侧设备受到计算资源、存储空间、和功耗的限制等，使得端侧设备上的神经网络的发展存在一定的难度。因此，提出一种可以压缩神经网络、提高神经网络的推理速度、或者降低神经网络功耗的方法尤为重要。

技术实现思路

[0003]有鉴于此，本公开至少提供一种神经网络推理量化的方法、装置、电子设备及存储介质。
[0004]第一方面，本公开提供了一种神经网络推理量化的方法，包括：
[0005]获取训练后的目标神经网络；
[0006]将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；
[0007]针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络推理量化的方法，其特征在于，包括：获取训练后的目标神经网络；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。2.根据权利要求1所述的方法，其特征在于，将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，包括：针对每个特征张量，确定所述特征张量的每个通道上的最大特征值；按照各个通道对应的所述最大特征值从大到小的顺序，将所述特征张量包括的通道划分为多个通道组。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取所述目标神经网络对应的校准数据集，其中，所述校准数据集中包括多个校准图像；将所述校准数据集输入至所述目标神经网络中，得到每个所述校准图像在所述至少一个网络处理层下对应的输出特征数据；其中，所述输出特征数据的通道数与所述特征张量中的输出特征张量的通道数一致；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，包括：基于各个所述校准图像分别对应的所述输出特征数据，确定与所述特征张量中的输出特征张量的每个通道对应的校准图像的目标特征值；按照所述目标特征值从大到小的顺序，将所述输出特征张量的多个通道划分为多个通道组。4.根据权利要求3所述的方法，其特征在于，所述基于各个所述校准图像分别对应的所述输出特征数据，确定与所述特征张量中的输出特征张量的每个通道对应的所述校准图像的目标特征值，包括：针对所述输出特征张量的每个目标通道，确定各个校准图像分别对应的所述输出特征数据中，与所述目标通道匹配的所述校准图像的候选通道；并确定每个所述候选通道中包括的最大特征值；基于各个所述校准图像的所述候选通道中包括的最大特征值，确定与所述输出特征量的所述目标通道对应的所述校准图像的目标特征值。5.根据权利要求1～4任一所述的方法，其特征在于，所述基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理，包括：基于每个通道所属通道组对应的所述目标最大值和所述目标最小值，确定每个通道对应的量化系数...

【专利技术属性】
技术研发人员：刘明庄，胡英俊，徐宁仪，
申请(专利权)人：上海阵量智能科技有限公司，
类型：发明
国别省市：