神经网络量化模型训练方法、装置及设备制造方法及图纸

本申请提供一种神经网络量化模型训练方法、装置及设备，涉及人工智能技术领域，该方法包括：获取浮点模型对应的量化模型，所述量化模型为对所述浮点模型进行量化压缩后的模型；根据所述浮点模型和所述量化模型分别对训练样本处理，得到所述浮点模型输出的第一检测结果和所述量化模型输出的第二检测结果；根据所述第一检测结果和所述第二检测结果，对所述量化模型的参数进行调整。本方案通过浮点模型和量化模型之间的等价性损失来评判量化模型的优劣，基于等价性损失对量化模型进行更新，减小了量化模型迁移到轻量化设备上带来应用和维护上的困难。维护上的困难。维护上的困难。

【技术实现步骤摘要】
神经网络量化模型训练方法、装置及设备


[0001]本申请涉及人工智能
，尤其涉及一种神经网络量化模型训练方法、装置及设备。

技术介绍

[0002]随着数据的急剧增长和算力的大幅提升，神经网络在计算机视觉领域发展迅速，推动了图像分类、目标检测、自然语言处理等应用的发展。
[0003]为了追求更高的准确度增益，很多神经网络架构探索在深度和宽度维度上的拓展，复杂度的提升导致参数量和运算量的剧烈上升，无疑增大了存储和计算资源消耗。因此，对神经网络模型进行压缩，以使得神经网络模型能够适应于轻量化设备成为趋势。
[0004]由于目前主要是通过准确率来对压缩后的神经网络模型进行评价的，这种评价方式，存在压缩前后的神经网络模型之间的等价性较低的情形，同时准确率较浮点模型有较大程度下降，会在将神经网络模型迁移到轻量化设备的过程中，带来应用和维护上的困难。

技术实现思路

[0005]本申请提供一种神经网络量化模型训练方法、装置及设备，以减小神经网络模型迁移到轻量化设备上带来的应用和维护上的困难。
[0006]第一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络量化模型训练方法，其特征在于，包括：获取浮点模型对应的量化模型，所述量化模型为对所述浮点模型进行量化压缩后的模型；根据所述浮点模型和所述量化模型分别对训练样本处理，得到所述浮点模型输出的第一检测结果和所述量化模型输出的第二检测结果；根据所述第一检测结果和所述第二检测结果，对所述量化模型的参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述根据所述浮点模型和所述量化模型分别对训练样本处理，得到所述浮点模型输出的第一检测结果和所述量化模型输出的第二检测结果，包括：根据所述训练样本获取对应的浮点样本；对所述浮点样本进行转换处理，得到对应的定点样本；将所述浮点样本输入至所述浮点模型，得到所述浮点模型输出的所述第一检测结果；将所述定点样本输入至所述量化模型，得到所述量化模型输出的所述第二检测结果。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一检测结果和所述第二检测结果，对所述量化模型的参数进行调整，包括：根据所述训练样本的标注结果、所述第一检测结果和所述第二检测结果，对所述量化模型的参数进行调整。4.根据权利要求3所述的方法，其特征在于，所述根据所述训练样本的标注结果、所述第一检测结果和所述第二检测结果，对所述量化模型的参数进行调整，包括：根据所述第一检测结果和所述第二检测结果，获取所述训练样本在所述浮点模型和所述量化模型之间的等价性损失值；根据所述标注结果和所述第二检测结果，获取所述训练样本的准确率损失值；根据所述等价性损失值和所述准确率损失值，对所述量化模型的参数进行调整。5.根据权利要求4所述的方法，其特征在于，所述根据所述等价性损失值和所述准确率损失值，对所述量化模型的参数进行调整，包括：获取等价性的第一权重和准确率的第二权重；根据所述第一权重值、所述等价性损失值、所述第二权重值以及所述准确率损...

【专利技术属性】
技术研发人员：徐健，杨会渠，于丽娜，李卫军，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：