一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端，该方法包括：获取待分类目标图像并输入预先训练的学生模型中，输出多个类别概率值；其中，预先训练的学生模型基于模型蒸馏法训练生成，模型蒸馏法训练生成是基于预先训练的教师模型内全连接层的不同类别分类映射向量之间的相似度训练生成，不同分类映射向量之间的相似度为不同分类映射向量之间夹角的余弦值；基于多个类别概率值识别待分类目标图像的目标类别。因此，本申请实施例通过采用基于预先训练的教师模型内全连接层的不同类别分类映射向量之间的相似度指导学生模型进行训练，使得学生模型也能学到和教师模型相似区分度的特征，由于学生模型结构简单以及参数少，从而提升了硬件平台的运行速度，进一步提高了图像分类效率。进一步提高了图像分类效率。进一步提高了图像分类效率。

【技术实现步骤摘要】
一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端。

技术介绍

[0002]近年来，深度神经网络使得很多计算机视觉任务的性能达到了前所未有的高度。神经网络的模型结构越复杂，参数越多，网络能学习到的知识就越丰富，学习效果也越好。然而，高额的存储空间以及计算资源使得大网络模型难以应用在各类移动平台，因此，设计更加轻量化且兼顾性能的网络模型成为了计算机视觉算法落地应用的关键研究之一。
[0003]在现有技术中，模型轻量化通常采用模型压缩方法通过对大模型进行参数裁剪、权重分解或者采用模型蒸馏等方法，减小模型对于计算空间和时间的消耗。然而，现有技术中模型训练时未能有效利用类别之间分类映射向量的先验关系，从而，当利用训练出的模型进行图像分类时，分类结果不够准确。

技术实现思路

[0004]本申请实施例提供了一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型蒸馏的图像类别识别方法，其特征在于，所述方法包括：获取待分类目标图像；将所述待分类目标图像输入预先训练的学生模型中，输出所述目标图像对应的多个类别概率值；其中，所述预先训练的学生模型基于模型蒸馏法训练生成，所述模型蒸馏法训练生成是基于预先训练的教师模型内全连接层的不同类别分类映射向量之间的相似度训练生成，所述不同分类映射向量之间的相似度为所述不同分类映射向量之间夹角的余弦值；基于所述多个类别概率值识别所述待分类目标图像的目标类别。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个类别概率值识别所述待分类目标图像的目标类别，包括：选择所述多个类别概率值中的最大类别概率值；识别所述选择的最大类别概率值对应的目标类别；将所述目标类别确定为所述待分类目标图像的所属类别。3.根据权利要求1所述的方法，其特征在于，所述预先训练的学生模型中至少包括特征提取层、全连接层以及归一化层；所述将所述待分类目标图像输入预先训练的学生模型中，输出所述目标图像对应的多个类别概率值，包括：将所述待分类目标图像输入所述特征提取层进行特征提取，生成目标特征；将所述目标特征输入所述全连接层，输出所述目标图像对应的多个类别置信度；将所述多个类别置信度输入所述归一化层，输出所述目标图像对应的多个类别概率值。4.根据权利要求1所述的方法，其特征在于，按照下述步骤生成预先训练的教师模型，包括：采集多种类型的图像集生成模型训练样本；创建教师模型；将所述模型训练样本输入所述教师模型中进行训练后，生成训练后的教师模型；将所述训练后的教师模型确定为预先训练的教师模型。5.根据权利要求4所述的方法，其特征在于，按照下述步骤生成预先训练的学生模型，包括：针对所述预先训练的教师模型内全连接层的不同类别分类映射向量构建第一相似度矩阵S
teacher
∈R
k
×
k
,k为类别数，R为实数；创建学生模型；其中，所述学生模型的参数量小于所述教师模型的参数量；针对所述学生模型内全连接层的不同类别分类映射向量构建第二相似度矩阵S
student
∈R
k
×
k
；根据所述第一相似度矩阵S
teacher
∈R
k
×
k
与所述第二相似度矩阵S
teacher
∈R
k
×
k
构造所述学生模型的目标损失函数；将所述目标损失函数关联至所述学生模型上，生成关联函数后的学生模型；从所述模型训练样本中获取第n图像，并将所述第n图像输入所述关联函数后的学生模型中进行训练；
当所述模型的迭代训练次数小于预设值时，继续执行从所述模型训练样本...

【专利技术属性】
技术研发人员：廖丹萍，
申请(专利权)人：浙江智慧视频安防创新中心有限公司，
类型：发明
国别省市：