本发明专利技术提供一种神经网络自适应量化方法、装置、设备、介质和产品，其中，该方法包括：基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值；基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近；对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。本发明专利技术可以在不增加成本的基础上降低量化引起的精度损失。加成本的基础上降低量化引起的精度损失。加成本的基础上降低量化引起的精度损失。
【技术实现步骤摘要】
神经网络自适应量化方法、装置、设备、介质和产品
[0001]本专利技术涉及计算机
，尤其涉及一种神经网络自适应量化方法、神经网络自适应量化装置、电子设备、非暂态计算机可读存储介质和计算机程序产品。
技术介绍
[0002]随着人工智能的发展，人工神经网络(Artificial Neural Network，简称ANN)，以下简称为神经网络，在图像分类、目标检测、自然语言处理等方面都取得了很好的效果。然而，随着神经网络预测准确度的提升，也带来了神经网络规模的增大，神经网络规模增大会占用较多的存储、计算和带宽等资源，从而降低神经网络的处理速度，影响神经网络在移动终端的部署。
[0003]对神经网络进行量化是目前比较常用的减小神经网络规模的方法。对神经网络进行量化，就是将神经网络中用32bit或者64bit表达的浮点数转换为主要用8bit的定点数表达，也支持更低bit的定点数表达。
[0004]现有的神经网络量化方法，是在神经网络训练后进行量化，虽然操作比较简单，但是通常会产生较大的精度损失。感知量化的方法虽然可以在一定程度上解决精度损失的问题，但是需要额外的训练过程，会造成成本的增加。
技术实现思路
[0005]本专利技术提供一种神经网络自适应量化方法、装置、设备、介质和产品，用以解决现有技术的神经网络量化方法精度损失较大，成本增加的缺陷，可以在不增加成本的基础上降低量化引起的精度损失。
[0006]第一方面，本专利技术提供一种神经网络自适应量化方法，包括：
[0007]基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
[0008]基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
[0009]对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
[0010]根据本专利技术提供的一种神经网络自适应量化方法，所述基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度，调整所述激活函数输出值，包括：
[0011]对所述神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值；
[0012]基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函
数输出值的量化因子；
[0013]基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。
[0014]根据本专利技术提供的一种神经网络自适应量化方法，所述对所述神经网络中每一层的权重值和激活函数输出值分别确定贡献度评判值，包括：
[0015]确定所述神经网络每一层中各采样单元的权重值的第一均值，作为所述权重值的贡献度评判值；确定所述神经网络每一层中各通道的激活函数输出值的第二均值，作为所述激活函数输出值的贡献度评判值；和/或，
[0016]所述基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子，包括：
[0017]判断所述贡献度评判值是否大于预先设定的阈值；
[0018]若所述贡献度评判值大于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；
[0019]若所述贡献度评判值小于或等于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，所述第二量化因子小于所述第一量化因子。
[0020]根据本专利技术提供的一种神经网络自适应量化方法，所述基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值，包括：
[0021]基于所确定的量化因子与对应的权重值的乘积，对所述权重值进行更新；基于所确定的量化因子与对应的激活函数输出值的乘积，对所述激活函数输出值进行更新。
[0022]根据本专利技术提供的一种神经网络自适应量化方法，所述基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近，包括：
[0023]针对所述调整后的神经网络中的每一层：分别确定权重值和激活函数输出值中最大值所在的通道，作为主要通道；
[0024]分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子；
[0025]基于所确定的缩放因子对所述调整后的神经网络进行等效变换。
[0026]根据本专利技术提供的一种神经网络自适应量化方法，所述分别确定权重值和激活函数输出值中除所述主要通道以外的其他通道的缩放因子，包括：
[0027]将所述主要通道的最大权重值与权重值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第一缩放因子；将所述主要通道的最大激活函数输出值与激活函数输出值中除所述主要通道以外的其他通道的最大权重值的比值，作为对应的其他通道的第二缩放因子；和/或，
[0028]所述基于所确定的缩放因子对所述调整后的神经网络进行等效变换，包括：
[0029]基于所述第一缩放因子与对应的其他通道中的权重值的乘积，使所述权重值各通道的分布接近；基于所述第二缩放因子与对应的其他通道中的激活函数输出值的乘积，使所述激活函数输出值各通道的分布接近；
[0030]对所述调整后的神经网络的下一层中的权重值除以所述第一缩放因子；对所述调
整后的神经网络的下一层中的激活函数输出值除以所述第二缩放因子。
[0031]第二方面，本专利技术还提供一种自适应神经网络量化装置，包括：
[0032]贡献分析模块，用于基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；
[0033]等效变换模块，用于基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；
[0034]量化处理模块，用于对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。
[0035]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述神经网络自适应量化方法的步骤。
[0036]第四方面，专利技术还提供一种非暂本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络自适应量化方法，其特征在于，包括：基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。2.根据权利要求1所述的神经网络自适应量化方法，其特征在于，所述基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度，调整所述激活函数输出值，包括：对所述神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值；基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子；基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。3.根据权利要求2所述的神经网络自适应量化方法，其特征在于，所述对所述神经网络中每一层的权重值和激活函数输出值分别确定贡献度评判值，包括：确定所述神经网络每一层中各采样单元的权重值的第一均值，作为所述权重值的贡献度评判值；确定所述神经网络每一层中各通道的激活函数输出值的第二均值，作为所述激活函数输出值的贡献度评判值；和/或，所述基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子，包括：判断所述贡献度评判值是否大于预先设定的阈值；若所述贡献度评判值大于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第一量化因子；若所述贡献度评判值小于或等于预先设定的阈值，为所述贡献度评判值对应的权重值或者激活函数输出值设置第二量化因子；其中，所述第二量化因子小于所述第一量化因子。4.根据权利要求3所述的神经网络自适应量化方法，其特征在于，所述基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值，包括：基于所确定的量化因子与对应的权重值的乘积，对所述权重值进行更新；基于所确定的量化因子与对应的激活函数输出值的乘积，对所述激活函数输出值进行更新。5.根据权利要求1至4任一项所述的神经网络自适应量化方法，其特征在于，所述基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。