一种基于双阶段自适应知识蒸馏的图像分类方法及系统技术方案

本发明专利技术属于图像处理技术领域，提供了一种基于双阶段自适应知识蒸馏的图像分类方法及系统，包括：获取待分类的图像；基于学生模型和教师模型，提取所获取待分类图像的图像局部特征和图像全局特征；根据所获取的图像局部特征和图像全局特征，以及双阶段自适应知识蒸馏，进行待分类图像的处理，完成图像分类。本发明专利技术采用双阶段自适应知识蒸馏进行图像分类，通过噪声感知自适应知识蒸馏，引入噪声感知，减少教师噪声对学生能力提升的负面影响，有效平衡区分性知识和冗余知识的权重分配，提升学生模型的学习效果；基于多元知识自适应协同蒸馏整合不同视角的多元知识，实现学生模型的多维度优化，有效提升模型的学习能力和泛化能力。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种基于双阶段自适应知识蒸馏的图像分类方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、图像分类是计算机视觉领域的重要研究方向之一，其目的是通过训练网络模型，使其能够自动识别并将输入图像准确归类到预定义的类别中。随着深度学习的发展，特别是卷积神经网络的出现，计算机视觉领域的发展取得了巨大的突破，图像分类技术也逐渐成熟，在医学影像诊断、自动驾驶、安防监控等领域得到了广泛的应用。深度学习方法得益于其能够自动学习图像中的层次化特征，显著提高了模型的分类准确性，并成为图像分类领域的主流方法。

3、但是，现有的深度学习方法往往能够取得卓越的表现，但模型规模也随之增大，大幅增多了模型的推理时间和计算资源利用，不利于深度学习模型部署到现实生活中。

4、知识蒸馏作为一种模型压缩技术，为模型的轻量化提供了新思路。在该领域中，基于特征的知识蒸馏是常用的知识蒸馏方法，然而这类方法在进行蒸馏时常常对知识的划分不够精细同时都忽略了对噪声的处理。实际上，从知本文档来自技高网...

【技术保护点】

1.一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，包括：

2.如权利要求1中所述的一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，对所提取的图像局部特征和图像全局特征分别依次进行噪声感知和知识解耦，得到区分性局部特征、冗余性局部特征、区分性全局特征和冗余性全局特征；对所得到的区分性局部特征、冗余性局部特征、区分性全局特征和冗余性全局特征进行自适应知识蒸馏，完成图像局部特征和图像全局特征的噪声感知自适应知识蒸馏。

3.如权利要求2中所述的一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，在所述自适应知识蒸馏的过程中，分别对区分性知识和冗余性特...

【技术特征摘要】

1.一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，包括：

2.如权利要求1中所述的一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，对所提取的图像局部特征和图像全局特征分别依次进行噪声感知和知识解耦，得到区分性局部特征、冗余性局部特征、区分性全局特征和冗余性全局特征；对所得到的区分性局部特征、冗余性局部特征、区分性全局特征和冗余性全局特征进行自适应知识蒸馏，完成图像局部特征和图像全局特征的噪声感知自适应知识蒸馏。

3.如权利要求2中所述的一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，在所述自适应知识蒸馏的过程中，分别对区分性知识和冗余性特征引入均方误差损失函数和平均绝对误差，通过渐进式自适应权重调整，平衡区分性知识和冗余知识的权重分配，优化自适应蒸馏过程，计算区分性图像局部特征知识蒸馏损失函数、冗余性图像局部特征知识蒸馏损失函数、区分性图像全局特征知识蒸馏损失函数和冗余性图像全局特征知识蒸馏损失函数；对所提取的图像局部特征和图像全局特征分别进行逻辑知识蒸馏，计算逻辑知识蒸馏损失函数。

4.如权利要求3中所述的一种基于双阶段自适应知识蒸馏的图像分类方法，其特征在于，对所提取的图像局部特征和图像全局特征分别进行逻辑知识蒸馏，以交叉熵作为逻辑知识蒸馏损失函数，不断反向传播，当逻辑知识蒸馏损失函数最小时教师模型和学生模型的概率分布对齐，得到逻辑知识蒸馏损失函数。

5.如权利要求4中所述的一种基于双阶段自适应知识蒸馏的图像分...

【专利技术属性】
技术研发人员：袭肖明，李永珂，韩佳，宁一鹏，宋景琦，张欣瑶，邵文柯，聂秀山，尹义龙，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：