神经网络量化方法及装置、存储介质及电子设备制造方法及图纸

本公开提供一种神经网络量化方法及装置、电子设备、计算机可读存储介质，涉及人工智能技术领域。所述神经网络量化方法包括：获取待量化图像分类神经网络模型，其中，所述待量化图像分类神经网络模型为浮点网络模型；对所述待量化图像分类神经网络模型进行定点量化操作，得到整型图像分类神经网络模型；依据预设规则逐级降低对所述整型图像分类神经网络模型进行训练的整型比特数，以对所述整型图像分类神经网络模型进行迭代训练，直至所述整型比特数为目标比特数。本公开通过逐级降低比特数对图像分类神经网络模型进行迭代训练，可以在确保模型图像分类精度的同时，加快运算速度，使得模型可以部署于计算能力较弱的终端设备。使得模型可以部署于计算能力较弱的终端设备。使得模型可以部署于计算能力较弱的终端设备。

【技术实现步骤摘要】
神经网络量化方法及装置、存储介质及电子设备


[0001]本公开涉及人工智能
，具体而言，涉及一种神经网络量化方法、神经网络量化装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]目前，神经网络在图像分类领域的应用已经得到了普及，然而经训练得到的图像分类模型的网络参数通常为浮点数值，运行模型对设备的计算能力要求较高，需要部署于计算能力较强的云端，无法适应对实时性要求较高的人物场景。
[0003]为了将神经网络部署于计算能力有限的终端设备，相关技术将神经网络中浮点权重转换为定点整数。例如，将卷积，矩阵乘法，激活函数，池化，拼接等常见操作转换为等价的8、4、2位整数进行。然而，上述将浮点权重等价转化为定点整数的方案得到的模型难以收敛，进而会影响模型的精度，降低图像分类结果的准确度。
[0004]故而，为了解决上述问题，本公开实施例提供了一种神经网络量化方法、神经网络量化装置、电子设备以及计算机可读存储介质。

技术实现思路

[0005]本公开实施例的目的在于提供一种神经网络量化方法、神经网络量化装置、电子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络量化方法，其特征在于，包括：获取待量化图像分类神经网络模型，其中，所述待量化图像分类神经网络模型为浮点网络模型；对所述待量化图像分类神经网络模型进行定点量化操作，得到整型图像分类神经网络模型；依据预设规则逐级降低对所述整型图像分类神经网络模型进行训练的整型比特数，以对所述整型图像分类神经网络模型进行迭代训练，直至所述整型比特数为目标比特数。2.根据权利要求1所述的神经网络量化方法，其特征在于，所述获取待量化图像分类神经网络模型，包括：获取多个图像作为训练图像集；基于所述训练图像集对预训练模型进行训练，得到所述待量化图像分类神经网络模型。3.根据权利要求2所述的神经网络量化方法，其特征在于，所述依据预设规则逐级降低对所述整型图像分类神经网络模型进行训练的整型比特数，以对所述整型图像分类神经网络模型进行迭代训练，直至所述整型比特数为目标比特数，包括：依据预设规则逐级降低对所述整型图像分类神经网络模型进行训练的定点比特数；在对应所述定点比特数下，基于所述训练图像集对上一级所述整型比特数对应的所述整型图像分类神经网络模型进行训练，直至所述整型比特数为目标比特数。4.根据权利要求3所述的神经网络量化方法，其特征在于，所述在对应所述定点比特数下，基于所述训练图像集对上一级所述整型比特数对应的所述整型图像分类神经网络模型进行训练，包括：在对应所述定点比特数下，基于所述训练图像集对上一级所述整型比特数对应的所述整型图像分类神经网络模型进行finetune微调。5.一种神经网络量化装置，其特征在于，包括：浮点网络获取模块，被配置为执行获取待量化图像分类神经网络模型，其中，所述待量化图像分类神经网络模型为浮点网络模型；整型网络确定模块，被配置为执行对所述待量化图像分类神经网络模型进行定点量化操作，得到整型图像分类神经网络模型...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：