一种神经网络模型量化方法、设备、产品及介质技术

本申请公开了一种神经网络模型量化方法、设备、产品及介质，应用于人工智能技术领域，用以解决利用直通估计器进行模型量化导致模型性能下降的问题。具体为：获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；基于梯度调整函数分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；基于权重量化系数分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型。这样，通过利用梯度调整函数调整神经网络模型的各权重使各权重分别收敛于其对应的量化整数值后再基于权重量化系数对各权重进行量化，可以实现完全绕过直通估计器的模型量化，保持了神经网络模型的最优性能和对输入的图像数据的处理精度。的图像数据的处理精度。的图像数据的处理精度。

【技术实现步骤摘要】
一种神经网络模型量化方法、设备、产品及介质


[0001]本申请涉及计算机
，尤其涉及一种神经网络模型量化方法、设备、产品及介质。

技术介绍

[0002]目前，神经网络模型通常包含有数百万的模型参数，这些模型参数一般是浮点数，占用了很大的磁盘空间，而由于普通的压缩算法很难压缩其占用的磁盘空间，因此，引入了神经网络模型量化技术。
[0003]现有技术中，通常是在神经网络模型训练过程中在梯度回传时对神经网络模型的权重进行量化，同时使用直通估计器规定量化运算的梯度为1，从而使梯度连续，然而，这种基于直通估计器的神经网络模型量化方法会使神经网络模型的性能出现一定下降。

技术实现思路

[0004]本申请实施例提供了一种神经网络模型量化方法、设备、产品及介质，用以解决现有技术利用直通估计器量化神经网络模型时导致神经网络模型性能下降的问题。
[0005]本申请实施例提供的技术方案如下：
[0006]一方面，本申请实施例提供了一种神经网络模型量化方法，包括：
[0007]获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；
[0008]基于梯度调整函数，分别对第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，梯度调整函数在正向传播时为恒等函数，在反向传播时分别对第一神经网络模型的各权重进行调整，使得第一神经网络模型的各权重分别收敛于其对应的量化整数值；
[0009]基于权重量化系数，分别对第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，权重量化系数用于将第二神经网络模型的各权重分别映射到其对应的整数域上。
[0010]另一方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的神经网络模型量化方法。
[0011]另一方面，本申请实施例还提供了一种计算机程序产品，计算机程序产品包括程序代码，程序代码在处理器上运行时实现本申请实施例提供的神经网络模型量化方法。
[0012]另一方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例提供的神经网络模型量化方法。
[0013]本申请实施例的有益效果如下：
[0014]本申请实施例中，通过利用梯度调整函数调整神经网络模型的各权重使神经网络
模型的各权重分别收敛于其对应的量化整数值后再基于权重量化系数分别对神经网络模型的各权重进行量化，可以实现完全绕过直通估计器的模型量化，从而在达到了模型量化效果的同时，保持了神经网络模型的最优性能，在不影响神经网络模型对输入的图像数据的处理精度的同时，有效地解决了因借助直通估计器进行模型量化引起的模型性能下降的问题。
[0015]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1为本申请实施例中神经网络模型量化方法的总体框架示意图；
[0018]图2为本申请实施例中神经网络模型量化方法的概况流程示意图；
[0019]图3为本申请实施例中中间神经网络模型训练方法的概况流程示意图；
[0020]图4为本申请实施例中神经网络模型量化装置的功能结构示意图；
[0021]图5为本申请实施例中电子设备的硬件结构示意图。
具体实施方式
[0022]为了使本申请的目的、技术方案及有益效果更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]为便于本领域技术人员更好地理解本申请，下面先对本申请涉及的技术用语进行简单介绍。
[0024]‑‑‑
神经网络模型，为基于深度学习、机器学习等技术获得的用于对输入的图像数据进行处理的模型，例如，用于对输入的图像中的人脸、行人、车辆、车道线、文字等目标对象进行识别的神经网络模型，用于对输入的图像中目标对象的关键点、姿态、行为等特征信息进行提取的神经网络模型，用于对输入的至少两张图像进行图像融合的神经网络模型，用于对输入的图像中的人脸、人像、动物等目标对象进行三维重建的神经网络模型等。本申请实施例中，神经网络模型包括第一神经网络模型、中间神经网络模型、第二神经网络模型和目标神经网络模型，其中；
[0025]第一神经网络模型，为基于训练样本集(例如训练样本图像集)对初始神经网络模型进行迭代训练获得的各权重为浮点数的神经网络模型；
[0026]中间神经网络模型，为基于梯度调整函数分别对第一神经网络模型的各权重进行变形得到的神经网络模型；
[0027]第二神经网络模型，为基于训练样本集对中间神经网络模型进行迭代训练得到的各权重无限接近于其对应的量化整数值的浮点数的神经网络模型；
[0028]目标神经网络模型，为基于权重量化系数分别对第二神经网络模型的各权重进行量化得到的各权重分别映射在其对应的整数域上的神经网络模型。
[0029]‑‑‑
梯度调整函数，为在正向传播时为恒等函数，在反向传播时利用各权重的权重量化参数调整各权重的当前梯度以调整各权重使各权重分别收敛于其对应的量化整数值的浮点数的函数。本申请实施例中，梯度调整函数可以是但不限于是梯度陷阱衰减函数。
[0030]‑‑‑
权重量化系数，为用于将各权重分别映射到其对应的整数域上的参数。本申请实施例中，以神经网络模型中的卷积层为例，权重量化系数可以是基于channel
‑
wise的变量，由于卷积层的各权重的形状为(oc,ic,kernel_size1,kernel_size2)，因此chennel
‑
wise可以保留第一个维度oc；其中，oc表征输出通道数，ic表征输入通道数，kernel_size1和kernel_size2分别表征卷积核的长和宽。
[0031]‑‑‑
梯度比例参数，为基于训练样本集对中间神经网络模型进行迭代训练的过程中，在反向传播时，利用各权重的权重量化参数确定出的表征各权重在本次迭代训练的目标梯度与在上次迭代训练的当前梯度之间的比例关系的参数。
[0032]需要说明的是，本申请中提及的“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样的用语在适当情况本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型量化方法，其特征在于，包括：获取预先训练的用于对输入的图像数据进行处理且各权重为浮点数的第一神经网络模型；基于梯度调整函数，分别对所述第一神经网络模型的各权重进行调整，得到第二神经网络模型；其中，所述梯度调整函数在正向传播时为恒等函数，在反向传播时分别对所述第一神经网络模型的各权重进行调整，使得所述第一神经网络模型的各权重分别收敛于其对应的量化整数值；基于权重量化系数，分别对所述第二神经网络模型的各权重进行量化，得到目标神经网络模型；其中，所述权重量化系数用于将所述第二神经网络模型的各权重分别映射到其对应的整数域上。2.如权利要求1所述的神经网络模型量化方法，其特征在于，基于梯度调整函数，分别对所述第一神经网络模型的各权重进行调整，得到第二神经网络模型，包括：基于所述梯度调整函数，分别对所述第一神经网络模型的各权重进行变形，得到中间神经网络模型；基于训练样本集，对所述中间神经网络模型进行训练，得到所述第二神经网络模型。3.如权利要求2所述的神经网络模型量化方法，其特征在于，基于训练样本集，对所述中间神经网络模型进行训练，得到所述第二神经网络模型，包括：基于所述训练样本集，对所述中间神经网络模型进行迭代训练，直至确定迭代训练的次数达到设定次数时，基于最后一次迭代训练获得的各目标权重，得到所述第二神经网络模型；其中，每次迭代训练包括：从所述训练样本集中选取目标训练样本；将所述目标训练样本输入所述中间神经网络模型，得到所述目标训练样本的预测结果，并基于所述目标训练样本的预测结果和标注结果，得到目标损失值；基于所述中间神经网络模型的各权重和所述各权重的权重量化参数，确定所述各权重的梯度比例参数，分别基于所述各权重的梯度比例参数和当前梯度，确定所述各权重的第一目标梯度；其中，所述各权重的当前梯度为上次迭代训练获得的所述各权重的第一目标梯度；分别基于所述目标损失值和所述各权重的第一目标梯度，更新所述各权重，得到各目标权重。4.如权利要求3所述的神经网络模型量化方法，其特征在于，分别基于所述各权重的梯度比例参数和当前梯度，确定所述各权重的第一目标梯度之前，还包括：针对所述中间神经网络模型的每一权重，获取不包含所述梯度比例参数时所述权重的第二目标梯度，...

【专利技术属性】
技术研发人员：孙培钦，周赫斌，
申请(专利权)人：北京迈格威科技有限公司深圳旷视金智科技有限公司，
类型：发明
国别省市：