长尾分布的遥感图像目标识别逐步蒸馏学习方法技术

本发明专利技术属于图像信息处理技术领域，提出了一种逐步蒸馏学习的长尾分布的遥感图像目标识别方法，具体为一种利用头尾数据之间的联系，并结合知识蒸馏完成遥感图像分类的方法。我们使用结构相同的三个教师模型与一个学生模型。提出了渐进式教师模型的学习以及自校正采样算法，在学生模型训练过程中可以很好的解决长尾问题，使最终的分类准确度得到提升。本发明专利技术利用蒸馏的方法以及提出的渐进式教师学习和自校正采样学习算法，增强了网络特征提取能力，目前存在的解决长尾问题的各种方法仍然存在各种弊端，比如不能充分利用头部数据的优势、对超参数敏感等等，本发明专利技术的逐步蒸馏学习方法方法有效的解决了这些问题，本发明专利技术方法能够提升分类网络的准确度。够提升分类网络的准确度。够提升分类网络的准确度。

【技术实现步骤摘要】
长尾分布的遥感图像目标识别逐步蒸馏学习方法


[0001]本专利技术属于图像信息处理
，特别是涉及遥感图像目标识别的方法。

技术介绍

[0002]目前，与本专利相关的方法包括两方面：第一是基于深度学习的长尾分布图像目标识别算法；第二是基于特征表示的蒸馏学习算法。
[0003]基于深度学习的长尾分布图像目标识别算法主要分为三类：一类是对长尾分布数据进行重采样的方法，在训练集上实现样本平衡，包括对头部样本欠采样以及对尾部样本过采样。Ren等人在文献《Ensemble based adaptive over
‑
sampling method for imbalanced data learning in computer aided detection of microaneurysm》中提出了一种基于集成的自适应过采样算法，减少了不平衡数据引入的归纳偏差，克服了假阳性减少中的类不平衡问题。一类是给不同类别的损失设置不同权重的方法，通常会对损失函数中的尾类分配较大的权重，对头类的权重相对较小，使损失函数更关注尾类，加强尾本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种逐步蒸馏学习的长尾分布的遥感图像目标识别方法，其特征在于，步骤如下：整个训练过程主要分为教师模型的训练阶段和学生模型的训练阶段；(1)教师模型的训练阶段构建一个基础的分类网络用于教师模型的训练：Resnet50的前四个模块作为网络的特征提取主干的卷积模型，Resnet50的第四个模块输出的特征作为辅助其他教师模型进行训练的特征表示；首先将呈长尾分布的训练集划分成三个子集，分别为头部子集、中部子集和尾部子集；教师模型包括头部教师模型、中部教师模型和尾部教师模型；将头部子集输入到对应的头部教师模型中，训练出一个具有良好特征提取能力的头部教师模型，然后将中部子集输入到对应的中部教师模型中，在进行训练时，该中部子集还将输入到头部教师模型中，此时头部教师模型冻结，将头部教师模型第四个模型输出的特征与中部教师模型对应位置对应图片的特征进行比较，对比的MSE损失为：其中，下角标M表示中部教师模型，F
M
'和F
M
分别为头部和中部教师模型的特征，n为batch size；同样，训练尾部子集对应的尾部教师模型时，利用头部教师模型和中部教师模型进行辅助训练，对比的MSE损失为：其中，下角标T表示尾部教师模型，F
″
T
、F
T
'和F
T
分别为中部、头部和尾部教师模型的特征；通过式(1)和(2)的约束可训练得到三个特征提取能力以及分类能力都比较好的教师模型T
H
、T<...

【专利技术属性】
技术研发人员：赵文达，刘佳妮，刘瑜，卢湖川，何友，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：