基于多任务动态对比学习的遥感图像小样本场景分类方法技术

本发明专利技术提出了一种基于多任务动态对比学习的遥感图像小样本场景分类方法，主要解决现有技术在遥感图像小样本场景分类精度低的问题。其实现方案包括：从数据集中划分训练集和测试集；构建多任务动态对比学习模型；构建训练多任务动态对比学习模型所需的多任务；提取多任务的特征、原型及正负样本；定义分类准确率和总体损失函数；通过多任务及其特征、原型和正负样本计算总体损失函数；使用Adam优化器的动量估计算法对总体损失函数求梯度，并根据梯度负方向训练多任务动态对比学习模型；利用训练好的多任务对比学习模型输出测试集中图像的预测结果。本发明专利技术相较于现有技术极大地提高了分类精度，可用于分类对象样本稀缺的实际应用场景。应用场景。应用场景。

【技术实现步骤摘要】
基于多任务动态对比学习的遥感图像小样本场景分类方法


[0001]本专利技术属于图像处理
，特别涉及一种遥感图像小样本场景分类方法，可用于分类对象样本稀缺的实际应用场景。

技术介绍

[0002]遥感场景图像包含了丰富的地物外观信息。有效提取，正确识别其中的信息能为日常生活中的任务，如变换检测，降雨量评估，目标检测等提供解决方案。而对图像进行分类又是其它任务的必需前提，这使得场景图像分类成为了遥感领域一项非常重要的任务。随着近年来深度学习的快速发展，基于深度学习的遥感图像场景分类网络取得了巨大的进展。然而，训练这些深度网络需要大量的有标签样本，这不符合实际应用的要求，即拥有的训练样本往往是有限的。因此，近几年遥感图像小样本场景分类问题已经成了遥感领域的研究热点。遥感图像小样本场景分类，就是将元学习技术应用到遥感图像的分类任务中解决相关问题。
[0003]元学习，它旨在模型训练阶段模拟模型在应用时遇到的新类别样本有限的场景，以小样本任务作为输入，让模型具备在样本有限的条件下学会学习的能力的一种技术。当模型在应用时遇到从未见过的新类别时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务动态对比学习的遥感图像小样本场景分类方法，其特征在于，包括如下步骤：(1)从含有B个类别的数据集中选取M个类别的数据构成训练集，剩下的P个类别的数据构成测试集，即M+P＝B；(2)选用现有深度模型Conv
‑
4作为深度模型f
θ
(
·
)；(3)构建由两个结构相同的全连接层组成的尺度分类器和角度分类器分别用于将特征f映射为相应的尺度标签g和角度标签r；(4)分别构建由两个结构相同的卷积块组成的尺度可学习样本生成器和角度可学习样本生成器每个卷积块包括两个卷积层、激活函数ReLU和Softmax函数；(5)将深度模型f
θ
(
·
)分别与尺度分类器和角度分类器并联连接，再分别在尺度分类器后面级联尺度可学习样本生成器在角度分类器后面级联角度可学习样本生成器构建出多任务动态对比学习模型f
Θ
(
·
)；(6)构建训练多任务动态对比学习模型所需的多任务：(6a)从含有M个类别、每个类别含有L个样本的训练集中随机抽取样本，形成支持集和查询集以构成元学习任务{D
st
,D
qy
}，其中N表示类别数量，K和Q分别表示支持集和查询集中每个类别的样本数，且K+Q＜L，N＜M，x表示图像样本，y表示类别标签；(6b)对元学习任务{D
st
,D
qy
}中的每个样本分别旋转0、90、180和270度，得到角度代理任务对元学习任务{D
st
,D
qy
}中的每个样本分别按照四种不同尺度缩放，得到尺度代理任务其中，r＝1,...,R表示角度标签，R＝4；g＝1,...,G表示尺度标签，G＝4；(6c)将尺度代理任务和角度代理任务进行组合成构成多任务(7)提取多任务特征、多任务原型以及多任务正负样本：(7a)将多任务输入到多任务动态对比学习模型，提取多任务特征；(7b)基于多任务特征计算多任务类别原型，生成多任务正、负样本；(8)定义多任务动态对比学习模型的总体损失函数(8)定义多任务动态对比学习模型的总体损失函数其中，分别为基于交叉熵损失函数的尺度自监督损失函数、角度自监督损失函数、尺度元学习损失函数、角度元学习损失函数，分别是基于KL散度的尺度原型一致性约束函数、角度原型一致性约束函数，分别是基于InfoNCE函
数的尺度动态对比学习函数、角度动态对比学习函数，λ1和λ2表示数值不同的两个权重系数；(9)训练多任务动态对比学习模型：利用步骤(7a)和步骤(7b)的输出结果计算步骤(8)中的总体损失函数的值，使用优化器Adam中的动量估计算法求的梯度，并根据梯度方向更新多任务动态对比学习模型中的参数Θ，使得的值变小，直到训练迭代次数达到预设值或分类准确率达到最大值，得到训练好的多任务对比学习模型；(10)将测试集输入到训练好的深度模型中，输出图像的预测类别，完成分类任务。2.根据权利要求1所述的方法，其中步骤(3)中构成的尺度分类器和角度分类器的全连接层，其输入通道数均为1600，输出通道数均为4；其输入特征不同。3.根据权利要求1所述的方法，其中步骤(4)中每个卷积块包括的两个卷积层的参数如下：第一个层卷积层的卷积核大小为1
×
1个像素，步长为1
×
1个像素，输入通道数为1600，输出通道数为400；第二个层卷积层的卷积核大小为1
×
1个像素，步长为1
×
1个像素，输入通道数为400，输出通道数为2。4.根据权利要求1所述的方法，其中步骤(7a)通过多任务动态对比学习模型，提取多任务特征，实现如下：(7a1)提取尺度代理任务特征(7a1)提取尺度代理任务特征其中，表示尺度代理任务中尺度标签为g的支持集中的第i个样本对应的尺度特征，i＝1,...,N
×
K
×
G，表示尺度代理任务中尺度标签为g的查询集中的第j个的样本对应的尺度特征，j＝1,...,N
×
Q
×

【专利技术属性】
技术研发人员：唐旭，林伟权，马晶晶，张向荣，焦李成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：