一种基于模型蒸馏的图像分类方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种基于模型蒸馏的图像分类方法，该方法包括：获取待分类目标图像并输入预先训练的学生模型中；预先训练的学生模型基于模型蒸馏法训练生成，模型蒸馏法采用主成分分析算法对预先训练的教师模型输出的特征进行特征降维，学生模型的模型特征通道数小于教师模型的模型特征通道数；输出目标图像对应的多个类别概率值；基于多个类别概率值判定待分类目标图像的目标类别。因此，本申请实施例通过采用主成分分析算法对教师模型输出的特征进行特征降维，并约束学生模型的输出特征与降维后的特征一致，使得学生模型也能学到和教师模型相似区分度的特征，由于学生模型结构简单以及参数少，从而提升了硬件平台的运行速度，提高了图像分类效率。提高了图像分类效率。提高了图像分类效率。

【技术实现步骤摘要】
一种基于模型蒸馏的图像分类方法、装置、存储介质及终端


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于模型蒸馏的图像分类方法、装置、存储介质及终端。

技术介绍

[0002]近年来，深度神经网络使得很多计算机视觉任务的性能达到了前所未有的高度。神经网络的模型结构越复杂，参数越多，网络能学习到的知识就越丰富，学习效果也越好。然而，高额的存储空间以及计算资源使得大网络模型难以应用在各类移动平台，因此，设计更加轻量化且兼顾性能的网络模型成为了计算机视觉算法落地应用的关键研究之一。
[0003]在现有技术中，模型轻量化通常采用模型压缩方法通过对大模型进行参数裁剪、权重分解或者采用模型蒸馏等方法，减小模型对于计算空间和时间的消耗。例如，在模型蒸馏的方法中，先训练一个精度较高的大模型，称为教师模型，然后利用教师模型中学到的知识去指导训练参数量较少的学生模型。然而，当教师模型的特征维度高于学生模型的特征维度时，由于不同维度的特征无法直接计算距离，因此无法直接利用教师模型的高维特征指导学生模型训练。为了绕开这个问题，现有技术一般采用特征维度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型蒸馏的图像分类方法，其特征在于，所述方法包括：获取待分类目标图像；将所述待分类目标图像输入预先训练的学生模型中；其中，所述预先训练的学生模型基于模型蒸馏法训练生成，所述模型蒸馏法采用主成分分析算法对预先训练的教师模型输出的特征进行特征降维，所述学生模型的模型特征通道数小于所述教师模型的模型特征通道数；输出所述目标图像对应的多个类别概率值；基于所述多个类别概率值判定所述待分类目标图像的目标类别。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个类别概率值判定所述待分类目标图像的目标类别，包括：选择所述多个类别概率值中的最大概率值；识别所述选择的最大概率值对应的目标类别；将所述目标类别确定为所述待分类目标图像的所属类别。3.根据权利要求1所述的方法，其特征在于，按照下述步骤生成预先训练的教师模型，包括：采集多种类型的图像集生成模型训练样本；创建教师模型；其中，所述教师模型的模型特征通道数为C
t
；将所述模型训练样本输入所述教师模型中进行训练后，生成训练后的教师模型；将所述训练后的教师模型确定为预先训练的教师模型。4.根据权利要求3所述的方法，其特征在于，按照下述步骤生成预先训练的学生模型，包括：创建学生模型，其中，所述学生模型的模型特征通道数为C
s
；基于所述预先训练的教师模型与所述主成分分析算法构建降维矩阵其中，所述降维矩阵将特征从C
t
维降至C
s
维度；从所述模型训练样本中获取第n图像；将所述第n图像输入所述预先训练的教师模型中进行特征提取，生成大小为H
×
W
×
C
t
的第一网络特征，H和W分别为特征的高度和宽度，C
t
为所述第一网络特征的通道数量；根据所述降维矩阵将所述第一网络特征中每个空间位置的特征由C
t
维降至C
s
维，得到大小为(H
×
W)
×
C
s
的目标特征F
ref
；将所述第n图像输入所述预先训练的学生模型中进行特征提取，生成第二网络特征根据所述目标特征F
ref
和所述第二网络特征构造所述学生模型的目标损失函数；将所述目标损失函数关联至所述学生模型上，生成关联函数后的学生模型；将所述第n图像输入所述关联函数后的学生模型中进行训练。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当所述模型的迭代训练次数小于预设值时，继续执行从所述模型训练样本中获取第n+...

【专利技术属性】
技术研发人员：廖丹萍，
申请(专利权)人：浙江智慧视频安防创新中心有限公司，
类型：发明
国别省市：