一种基于同构多教师指导知识蒸馏的图像分类方法及系统技术方案

本发明专利技术属于图像分类技术领域，提供了一种基于同构多教师指导知识蒸馏的图像分类方法及系统。该方法包括，基于给定的学生模型，初始化与学生模型结构相同的教师组模型；采用训练集预训练教师组模型；计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；基于待分类的图像，采用优化后的学生模型，得到分类结果。得到分类结果。得到分类结果。

【技术实现步骤摘要】
一种基于同构多教师指导知识蒸馏的图像分类方法及系统


[0001]本专利技术属于图像分类
，尤其涉及一种基于同构多教师指导知识蒸馏的图像分类方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在自动驾驶领域，网络模型的实时性是一项十分重要的指标。模型需要根据摄像头传入的图片进行分类判断,然后进行驾驶决策。这就需要模型能够快速响应,短时间内得到分类结果。但现阶段的高性能模型参数量较多,一般无法实时响应。这就需要使用模型压缩技术对大模型进行压缩,得到规模较小模型的同时,不会造成太大的精度损失。
[0004]知识蒸馏是一种有效的知识转移策略，它建立一个教师
‑
学生框架，通过让学生网络尽可能匹配教师网络的输出，从而将一个大型教师网络的知识转移到一个相对轻量级的学生网络中，使学生网络达到与教师相当的推理性能。然而，现有研究侧重于在传统师生框架下提高知识蒸馏的性能，而忽视了师生框架本身的一些潜在的局限性。具体来说，传统师生框架中存在着能力不匹配的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，包括：基于给定的学生模型，初始化与学生模型结构相同的教师组模型；采用训练集预训练教师组模型；计算教师组模型在训练集上的自信度，基于自信度的自适应初始化策略初始化学生模型参数；采用教师组模型中的各个教师模型联合指导完成模型参数初始化的学生模型；基于待分类的图像，采用优化后的学生模型，得到分类结果。2.根据权利要求1所述的基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，所述教师组模型的自信度为：所有教师模型在训练集所有真实类别上预测概率的平均值。3.根据权利要求1所述的基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，所述学生模型的优化包括：采用损失函数优化学生模型分类层。4.根据权利要求3所述的基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，优化过程中，学生模型的总目标函数为：L
CE
(
·
)表示经典交叉熵损失，表示第k个教师模型与学生模型之间的KL散度损失；α和β是这两项损失的平衡系数；p
S
表示学生模型的软目标输出，表示第k个教师模型的软目标输出；L
RVS
是全连接层的行向量相似度损失，γ是L
RVS
的平衡系数。5.根据权利要求1所述的基于同构多教师指导知识蒸馏的图像分类方法，其特征在于，所述基于自信度的自适应初始化策略初始化学生模型参数包括：当教师组模型的自信度在预设的数值范围之内，则采用继承初始化来初始化学生模型参数；否则，采用随机初始化来初始化学生模型参数。6.根据权利要5所述的基于同构多教师指导知识蒸馏的图像分类方法，...

【专利技术属性】
技术研发人员：姬冰，徐全政，崔贺，赵景太，刘力瑜，
申请(专利权)人：山东大学，
类型：发明
国别省市：