基于对比学习与子空间的小样本跨域高光谱图像分类方法技术

本发明专利技术公开一种基于对比学习与子空间的小样本跨域高光谱图像分类方法，主要解决常规方法嵌入特征信息利用率低、训练花费高及精度低的问题。其方案包括：获取高光谱数据集，划分源域与目标域获得训练集与测试集；构建映射层与特征提取器，利用其分别提取源域与目标域的嵌入特征以进行子空间分类与对比学习；构建域鉴别器，计算源域与目标域的域鉴别损失、空间损失及对比损失的总损失；利用训练集通过反向传播对特征提取器进行迭代训练，直到总损失函数收敛；将测试集输入到训练好特征提取器，得到的分类结果。本发明专利技术提高了分类器的辨别能力强和分类精度，提升了嵌入特征信息的利用率，减小了训练花费，可用于资源勘探、森林覆盖和灾害监测的地物分类。灾害监测的地物分类。灾害监测的地物分类。

【技术实现步骤摘要】
基于对比学习与子空间的小样本跨域高光谱图像分类方法


[0001]本专利技术属于图像处理
，更进一步涉及一种小样本跨域高光谱图像分类方法，可应用于对资源勘探、森林覆盖、灾害监测中的地物分类与目标识别。

技术介绍

[0002]相比传统图像，高光谱图像HSI含有许多连续的波段，其中包含了大量的光谱和空间信息，由于其信息丰富，因而在环境监测、灾害防治等诸多领域得到了广泛应用。在实际的遥感应用中，常常出现可用于训练的标记样本有限的情况，这个挑战被称为小样本分类任务。初期，许多机器学习方法被开发用于小样本场景分类，如主成分分析，滤波等，但分类效果并不理想。之后，随着深度学习的发展，各种神经网络在大样本高光谱图像分类领域取得了极大的进展，但在小样本领域依然进展缓慢。近年来，为了解决小样本问题，出现了许多方法，比如迁移学习，主动学习，对比学习，元学习等。同时还开发出了专门的小样本学习，比如原型网络，孪生网络，关系网络等。如今，研究者们开始关注如何将小样本学习扩展到跨域环境中，解决源域数据集与目标域数据不同情况下的高光谱图像分类。/>[0003]Ga本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习与子空间的小样本跨域高光谱图像分类方法，其特征在于，包括如下：(1)获取高光谱数据集并进行划分：(1a)从公开网站中获取G个高光谱数据集，将一个数据集作为源域，剩下的G
‑
1个数据集作为目标域；(1b)从源域数据集中选C个类别，每个类选K个源域样本作为源域支持集S
s
，再选取N个其他源域样本组成源域查询集Q
s
；(1c)从目标域数据集中选H个带标签类别，每个类选取K个目标域有标签样本作为目标域支持集S
t
，每个类再选N个其他目标域有标签样本组成目标域查询集Q
t
，用目标域支持集S
t
与目标域查询集Q
t
共同组成训练集T
r
；将剩下的目标域无标签样本作为测试集T
e
；(2)构建包括一个二维卷积层与一个BatchNorm2d层的映射层；构建包括两个残差块、两个最大池化层，一个卷积层和一个Flatten层的特征提取器f
θ
；(3)对源域与目标域的嵌入特征进行子空间分类：(3a)将源域支持集S
s
，源域查询集Q
s
，目标域支持集S
t
，目标域查询集Q
t
分别输入到映射层与特征提取器f
θ
，得到源域支持集嵌入特征f
θ
(S
s
)、源域查询集嵌入特征f
θ
(Q
s
)、目标域支持集嵌入特征f
θ
(S
t
)、目标域查询集嵌入特征f
θ
(Q
t
)；(3b)利用源域支持集嵌入特征f
θ
(S
s
)构建源域子空间，并计算源域查询集嵌入特征f
θ
(Q
s
)在源域子空间中的源域子空间损失l
S
；(3c)计算源域支持集嵌入特征f
θ
(S
s
)在源域子空间中的源域支持损失(3d)利用目标域支持集嵌入特征f
θ
(S
t
)构建目标域子空间，并计算目标域查询集嵌入特征f
θ
(Q
t
)在目标域子空间中的目标域子空间损失l
T
；(3e)计算目标域支持集嵌入特征f
θ
(S
t
)在目标域子空间中的目标域支持损失(4)将源域支持集S
s
分成C个对比组，计算其输入映射层和特征提取器的对比损失l
CL
；(5)构建包括五个全连接层，四个ReLU非线性激活函数，四个dropout层，一个Softmax激活函数的域鉴别器f
D
；(6)计算域鉴别损失l
D
：(6a)将源域子空间损失l
S
、源域支持损失源域支持集嵌入特征f
θ
(S
s
)、源域查询集嵌入特征f
θ
(Q
s
)进行融合，得到源域融合特征(T(h
s
))；(6b)将目标域子空间损失l
T
、目标域支持损失目标域支持集嵌入特征f
θ
(S
t
)、目标域查询集嵌入特征f
θ
(Q
t
)进行融合，得到目标域融合特征(T(h
t
))；(6c)将源域和目标域的融合特征(T(h
s
))、(T(h
t
))输入域鉴别器f
D
中计算域鉴别损失l
D
：其中，D,T分别代表域鉴别器与特征提取器的融合特征，x
s
，x
t
分别代表源域样本和目标域样本，P
s
(x)，P
t
(x)分别表示源域分布与目标域分布，D(T(h
s
))表示鉴别器f
D
预测源域融合特征(T(h
s
))来源于源域的概率，表示鉴别器f
D
预测目标域融合特征
来源于目标域的概率，E为期望输出；(7)计算总损失函数以训练特征提取器：计算由源域子空间损失l
S
，目标域子空间损失l
T
，对比损失l
CL
，域鉴别损失l
D
组成的总损失函数：l＝λ1l
S
+λ2l
T
+λ3l
CL
+l
D
，其中λ1、λ2、λ3分别为l
S
、l
T
、l
CL
的可调整参数；通过反向传播对特征提取器f
θ
进行迭代训练直到总损失函数收敛，得到训练好的特征提取器f
θ
'；(8)利用测试集数据进行分类：(8a)将训练集T
r
输入到映射层和训练好的特征提取器f
θ
'中，得到训练集嵌入特征f
θ
'(T
r
)，利用该特征f
θ
'(T
r
)构建训练集子空间；(8b)将测试集T
e
输入到映射层和训练好的特征提取器f
θ
'中，得到测试集嵌入特征f
θ
'(T
e
)，并计算其在训练集子空间中的测试子空间损失l'；(8c)以测试子空间损失l'中最小的类别作为预测类别，完成分类任务。2.根据权利要求1所述的方法，其特征在于：步骤(2)中构成映射层中二维卷积层与BatchNorm2d层，其结构参数如下：所述二维卷积层，其输入通道数为输入数据的维度，输出通道数为100，卷积核大小为1
×
1，步长为1；所述BatchNorm2d层，其用于进行二维批量归一化，公式为其中x表示输入数据，mean(x)表示均值，Var(x)表示方差，eps为一个极小值，γ，β分别为两个数值不同的调整参数。3.根据权利要求1所述的方法，其特征在于：步骤(2)中构成特征提取器f
θ
中的两个残差块、两个最大池化层，一个卷积层，其结构参数如下：所述特征提取器f
θ
，其由第一残差块、第一池化层、第二残差块、第二池化层、卷积层依次连接组成；所述两个残差块结构相同，每个残差块包括3个卷积块和3个ReLU层组成：第一卷积块、第一ReLU层、第二卷积块、第二ReLU层、第三卷积块、第三ReLU层依次进行连接，且第一ReLU层的输出与第三卷积块进行残差连接；每个卷积块包含一个3D卷积层和一个BatchNorm3d层；该3D卷积层的卷积核大小为3
×3×
3，步长为1，填充为1；每个ReLU层的函数为ReLU(x)＝max(x,0)；所述两个最大池化层，其参数不同，即第一池化层的池化核大小为4
×2×
2，填充为0
×1×
1，步长为4
×2×
2；第二池化层的池化核大小4
×2×
2，填充为4
×2×
2，步长为2
×1×
1；所述卷积层，其输出通道数为32，卷积核大小为3
×3×
3。4.根据权利要求1所述的方法，其特征在于：步骤(3b)中利用源域支持集嵌入特征f
θ
(S
s
)构建源域子空间，并计算源域查询集嵌入特征f
θ
(Q
s
)在源域子空间中的源域子空间损失l
S
，其步骤包括如下：(3b1)对源域支持集嵌入特征f
θ
(S
s
)进行奇异值分解其中X
c
代表源域支持集S
s
的第c类，B
c
称为左奇异向量，称为右奇异向量，T表示转置，Σ
c
为奇异值矩阵；(3b2)选取左奇异向量B
c
的前n个维构成截断矩阵P
c
，并将P
c
视为源域子空间的基；
(3b3)计算源域查询集嵌入特征f
θ
(Q
s
)中的样本q
k
在源域子空间P
c
中的投影距离d
c
(q
k
)：d
c
(q
k
)＝
‑
||(I
‑
M
c
)(f
θ
(q
k
)
‑
μ
c
)||2其中μ
c
为源域支持集嵌入特征S
s
的平均值；(3b4)用Softmax函数计算源域查询集嵌入特征f
θ
(Q
s
)的样本q
k
属于c类的概率...

【专利技术属性】
技术研发人员：慕彩红，张富贵，刘逸，陈素玲，王蓉芳，冯婕，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：