分类模型的训练方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种分类模型的训练方法及装置、电子设备、计算机可读存储介质，方法包括：构建与已训练的标准分类模型对应的轻量模型；将样本数据集中的样本发票图像分别输入标准分类模型和轻量模型，获得标准分类模型在预测过程的第一损失参数和轻量模型在预测过程中的第二损失参数；对第一损失参数和第二损失参数加权求和，得到目标损失参数；依据目标损失参数对轻量模型的网络参数进行调整，并迭代至轻量模型收敛，得到轻量分类模型。本申请方案，训练过程中参考了标准分类模型的第一凭据参数，可将标准分类模型从样本发票图像中学习到的知识传递至轻量模型，从而训练出预测效果更佳、模型复杂度较低的轻量分类模型。模型复杂度较低的轻量分类模型。模型复杂度较低的轻量分类模型。

【技术实现步骤摘要】
分类模型的训练方法及装置、电子设备、存储介质


[0001]本申请涉及计算机
，特别涉及一种分类模型的训练方法及装置、电子设备、计算机可读存储介质。

技术介绍

[0002]深度学习领域，为使网络模型达到更好的预测效果，一是可以采用过参数化的深度神经网络；二是可以集成多个较弱的网络模型。这两种方式均具有极大的支出，网络模型在运行时占用的计算资源非常大，计算量大，因此在部署时受到硬件条件的限制。为降低网络模型的部署门槛，可以通过量化权值和剪枝的方式对网络模型进行压缩。然而，量化权值会使得网络模型在训练时反向传播不可行，因为梯度不能通过离散神经元反向传播，导致网络模型难以收敛。而剪枝的方法往往只能减少网络模型的规模，无法降低计算时间。

技术实现思路

[0003]本申请实施例的目的在于提供一种分类模型的训练方法及装置、电子设备、计算机可读存储介质，用于在网络模型的复杂度较低的情况下，训练出预测效果更好的分类模型。
[0004]一方面，本申请提供了一种分类模型的训练方法，包括：
[0005]构建与已训练的标准分类模型对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类模型的训练方法，其特征在于，包括：构建与已训练的标准分类模型对应的轻量模型；将样本数据集中的样本发票图像分别输入所述标准分类模型和所述轻量模型，获得所述标准分类模型在预测过程的第一凭据参数和所述轻量模型在预测过程中的第二凭据参数；根据所述第一凭据参数和所述第二凭据参数，确定目标损失参数；依据所述目标损失参数对所述轻量模型的网络参数进行调整，并迭代至所述轻量模型收敛，得到轻量分类模型。2.根据权利要求1所述的方法，其特征在于，在所述构建与已训练的标准分类模型对应的轻量模型之前，所述方法还包括：将样本数据集中的样本发票图像输入标准网络模型，获得所述标准网络模型输出的预测类别信息；其中，所述样本数据集包括多个样本发票图像，每一样本发票图像携带发票类别标签；基于所述预测类别信息与所述发票类别标签之间的差异，调整所述标准网络模型的网络参数，直至所述标准网络模型收敛，得到标准分类模型。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将目标发票图片输入所述轻量分类模型，获得所述轻量分类模型输出的发票类别信息。4.根据权利要求1所述的方法，其特征在于，所述标准分类模型包括第一卷积神经网络和第一分类器，所述第一凭据参数通过如下方式确定：在所述标准分类模型对任一样本图像预测过程中，获得所述第一卷积神经网络对所述样本图像的卷积计算结果，作为所述第一凭据参数。5.根据权利要求1所述的方法，其特征在于，所述轻量模型包括第二卷积神经网络和第二分类器，所述第二凭据参数通过如下方式确定：在所述轻量模型对任一样本图像预测过程中，获得所述第二卷积神经网络对所述样本图像的卷积计算结果，作为所述第二凭据参数。6...

【专利技术属性】
技术研发人员：单齐齐，周涛，史治国，
申请(专利权)人：浙江大学，
类型：发明
国别省市：