神经网络模型的量化方法、装置、电子设备及介质制造方法及图纸

本公开提供了一种神经网络模型的量化方法、装置、电子设备及介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及根据目标量化因子序列，对目标神经网络模型进行量化；其中，多次量化处理包括：根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列；n为不小于2的整数；根据第n候选量化因子序列和第n+2量化因子序列，得到第n+1候选量化因子序列；响应于确定满足预设条件，确定第n+1候选量化因子序列为目标量化因子序列。目标量化因子序列。目标量化因子序列。

【技术实现步骤摘要】
神经网络模型的量化方法、装置、电子设备及介质


[0001]本公开涉及计算机
，尤其涉及人工智能、深度学习领域。具体涉及一种神经网络模型的量化方法、装置、电子设备、存储介质及计算机程序产品。

技术介绍

[0002]近年来，神经网络模型被广泛应用在以计算机视觉、自然语言处理和语音识别为代表的各个应用领域，并取得了非常好的效果。实践中为了获得较高的性能，神经网络模型尤其是大规模神经网络模型的结构复杂度较高，相应地，模型的参数庞大。神经网络模型庞大的数据量和计算复杂度对硬件存储和算力提出了很高的要求，使得模型难以在低存储和低算力的设备上运行，这给神经网络模型尤其是大规模神经网络模型的部署和应用带来了巨大挑战。
[0003]神经网络模型的量化方法可以减少神经网络模型占用的内存，以及提高模型推理速度。但是，经过量化后得到的量化模型相比量化前的模型，在精度上会有一定的损失。

技术实现思路

[0004]本公开提供了一种神经网络模型的量化方法、装置、电子设备、存储介质及计算机程序产品。
[0005]根据本公开的一方面，提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的量化方法，包括：对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及根据所述目标量化因子序列，对所述目标神经网络模型进行量化；其中，所述多次量化处理包括：根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列，其中，所述多个第n+2附加子量化因子序列是所述多个附加计算设备分别基于第n+2输入数据对部署于所述多个附加计算设备的附加神经网络模型执行量化操作得到的；n为不小于2的整数；根据第n候选量化因子序列和所述第n+2量化因子序列，得到第n+1候选量化因子序列；其中，所述第n候选量化因子序列是根据第n+1量化因子序列和第n
‑
1候选量化因子序列得到的；响应于确定满足预设条件，确定所述第n+1候选量化因子序列为目标量化因子序列。2.根据权利要求1所述的方法，还包括：获取第n+2输入数据；其中，所述第n+2输入数据是根据第n+2样本数据得到的；以及基于所述第n+2输入数据对所述目标神经网络模型执行量化操作，得到所述第n+2子量化因子序列。3.根据权利要求2所述的方法，其中，所述目标神经网络模型包括M个待量化网络层，M为不小于1的整数；所述第n+2子量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的子量化因子；所述基于所述第n+2输入数据对所述目标神经网络模型执行量化操作，得到所述第n+2子量化因子序列包括：基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第一量化操作，得到第一量化因子子序列，所述第一量化因子子序列包括与目标神经网络模型的第1至m个待量化网络层分别对应的子量化因子；其中，1≤m＜M，且m为整数；基于所述第n+2输入数据对所述目标神经网络模型的M个待量化网络层执行第二量化操作，得到第二量化因子子序列，所述第二量化因子子序列包括与目标神经网络模型的第m+1至M个待量化网络层分别对应的子量化因子；以及根据所述第一量化因子子序列和所述第二量化因子子序列，得到所述第n+2子量化因子序列。4.根据权利要求3所述的方法，其中，所述第n+2量化因子序列包括与目标神经网络模型的M个待量化网络层分别对应的量化因子；所述根据第n+2子量化因子序列和来自分布式平台的多个附加计算设备的多个第n+2附加子量化因子序列，得到第n+2量化因子序列包括：针对所述第n+2子量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k子量化因子，确定所述第k子量化因子与多个第n+2附加子量化因子序列中对应的子量化因子之间的平均值，作为第n+2量化因子序列中与目标神经网络模型的第k个待量化网络层对应的第k量化因子；其中，1≤k≤M，且k为整数。5.根据权利要求4所述的方法，其中，所述第n候选量化因子序列包括与目标神经网络
模型的M个待量化网络层分别对应的候选量化因子；所述根据第n候选量化因子序列和所述第n+2量化因子序列，得到第n+1候选量化因子序列包括：针对所述第n+2量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i量化因子，确定所述第i量化因子与所述第n候选量化因子序列中对应的候选量化因子之间的平均值，作为第n+1候选量化因子序列中与目标神经网络模型的第i个待量化网络层对应的第i候选量化因子；其中，1≤i≤M，且i为整数。6.根据权利要求1至5中任一项所述的方法，其中，所述根据所述目标量化因子序列，对所述目标神经网络模型进行量化包括：在所述目标神经网络模型的各个待量化网络层之前插入量化节点；以及将目标量化因子序列中与各个待量化网络层对应的目标量化因子分配至对应的量化节点。7.根据权利要求6所述的方法，其中，所述附加神经网络模型与所述目标神经网络模型具有相同的结构。8.一种神经网络模型的量化装置，包括：第一量化模块，用于对部署于分布式平台中目标计算设备的目标神经网络模型执行多次量化处理，得到目标量化因子序列；以及第二量化模块，用于根据所述目标量化因子序列，对所述目标神经网络模型进行量化；其中...

【专利技术属性】
技术研发人员：于广华，王豪爽，党青青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：