一种小样本高光谱图像分类方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种小样本高光谱图像分类方法、系统、设备及存储介质，包括将源域和目标域图像转化为以像素为中心的3D立方体，并将源域和目标域数据统一成相同的通道数，获取处理后的源域和目标域数据；基于处理后的源域和目标域数据，提取图像的局部嵌入特征和全局嵌入特征，基于图像的空间和光谱嵌入特征，计算源域中每个类别未标记样本和标记样本之间的距离来执行源域小样本学习，并执行目标域小样本学习，对目标域的测试样本进行分类，获取分类结果。本发明专利技术可以充分提取空间和光谱信息，提高了空间和光谱信息的利用率，在训练过程中引入了元学习的训练方式，提高模型泛化能力，利用少量标注样本，提高了分类效果。提高了分类效果。提高了分类效果。

【技术实现步骤摘要】
一种小样本高光谱图像分类方法、系统、设备及存储介质


[0001]本专利技术属于图像分类
，涉及一种小样本高光谱图像分类方法、系统、设备及存储介质。

技术介绍

[0002]高光谱图像是由高光谱遥感系统通过获取，记录带有地物信息的太阳辐射信号得到的含有上百个通道且波段连续的图像，和普通RGB图像不同的是，高光谱图像含有上百个波段连续的通道，提供了更丰富的光谱信息。近年来，由于高光谱数据的独特性质以及所包含的海量信息，对于高光谱图像的分析与处理已经广受欢迎，而其中的高光谱图像分类任务又对地质勘探、农作物检测、国防军事等领域起着实质性的重要作用。虽然高光谱图像存在丰富的空间和光谱信息，但是目前仍存在很多挑战：(1)高光谱数据存在光谱信息冗余，“维度灾难”以及“Hughes”现象，即维数增加导致计算量急剧增长以及预测模型的过拟合问题，使得分类变得困难.(2)与高维的光谱数据相比，可用训练样本不足。高光谱图像的获取，处理比较困难，同时人工标注成本高，在基于深度学习的高光谱图像的分类任务中，训练样本不足经常会带来过拟合和分类精度下降的问题。针对上述挑战，那么如何利用有限的标记样本，充分利用高光谱图像的空间和光谱信息，对地物进行高效且精确的的分类值得更深入研究。
[0003]近年来，由于深度学习在计算机视觉和图像处理方面具有较强的特征提取能力和有效信息处理能力，深度学习已经被广泛应用到高光谱图像分类领域中。但高光谱图像对于极端情况下标记样本更少的情况下的分类仍是一大挑战，为了进一步减少对标记样本的依赖，小样本学习不断发展，小样本学习的目的是从现有的数据中学习一个度量空间，可以泛化到新数据的类别中，只需要几个标记样本，进一步减少了对标记样本的依赖。Liu等人提出一种深度小样本学习方法，在训练阶段，使用带有残差块的3
‑
D
‑
CNN从四个HSI数据集中学习度量空间。在测试阶段，选择最近邻(NN)或SVM分类器进行分类。Gao等人提出基于关系网络的深度分类模型，并采用元学习的思想对其进行训练，该模型充分利用空间光谱特征，并通过比较样本之间的相似度来进行关系学习。Li等人提出深度跨域的小样本高光谱图像分类方法，解决了小样本的域适应问题，采用利用条件对抗性域适应策略克服域漂移，实现域分布对齐。
[0004]上述方法虽然已经能够实现在较少的标记样本下对高光谱图像进行分类，但是现有的小样本高光谱图像分类方法大多基于卷积神经网络(CNN)来进行特征提取，仅突出局部区域内感兴趣的特征，忽略了更大范围内空间光谱区域之间的重要关系，难以对丰富的空间和光谱信息进行充分利用。

技术实现思路

[0005]本专利技术的目的在于解决现有技术中在对高光谱图像进行分类时，仅突出局部区域内感兴趣的特征，忽略了更大范围内空间光谱区域之间的重要关系，分类不精准，没有充分
利用高光谱图像的空间和光谱信息的问题，提供一种小样本高光谱图像分类方法、系统、设备及存储介质。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种小样本高光谱图像分类方法，包括以下步骤：
[0008]S1：将源域和目标域图像转化为以像素为中心的3D立方体，将转化获取的源域和目标域的3D立方体统一成相同的通道数，获取处理后的源域和目标域数据；
[0009]S2：基于处理后的源域和目标域数据，提取图像的局部嵌入特征和全局嵌入特征，将局部嵌入特征和全局嵌入特征结合获取图像的空间和光谱嵌入特征；
[0010]S3：基于图像的空间和光谱嵌入特征，计算源域中每个类别未标记样本和标记样本之间的距离来执行源域小样本学习，并执行目标域小样本学习，对目标域的测试样本进行分类，获取分类结果。
[0011]本专利技术的进一步改进在于：
[0012]所述步骤S2包括以下步骤：
[0013]通过特征提取模块对处理后的源域和目标域数据进行提取；
[0014]所述特征提取模块包括混合3D
‑
2D卷积特征提取模块和分层Transformer全局特征提取模块；
[0015]所述混合3D
‑
2D卷积特征提取模块用于提取图像空间和光谱局部嵌入特征，所述分层Transformer全局特征提取模块用于提取图像空间和光谱全局嵌入特征。
[0016]所述混合3D
‑
2D卷积特征提取模块包括3D卷积残差块、池化层、2D卷积以及自适应注意力感知模块，同时在3D卷积残差后加入批量归一化层，最后通过GAP将特征图压平为一维向量，得到图像空间和光谱局部嵌入特征。
[0017]所述自适应注意力感知模块对于输入特征图X
α
∈R
C
×
H
×
W
沿通道维度分为G个组，得到多个组的子特征Xα＝{X1,X2,...,X
G
}，对于其中的任一子特征将其表示为X
K
∈R
C/G
×
H
×
W
；
[0018]采用自适应通道注意力机制对子特征X
K
∈R
C/G
×
H
×
W
进行优化，进一步通过全局平均池化操作从特征图的空间维度进行特征压缩：
[0019][0020]式中，H为特征的高度，W为特征的宽度；
[0021]进一步，将压缩后的特征进行变换，将输入的通道信息转化为特征图的通道权重值X
K
′
[0022]X
K
′
＝Sigmoid(F
c
(s))＝Sigmoid(W1s+b1)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]式中，变换参数W1∈R
C/G
×1×1，b1∈R
C/G
×1×1；
[0024]进一步，将输入的特征与特征图的通道权重向量相乘得到通道注意力感知：
[0025]X
C
＝X
K
*X
K
′ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]进一步，引入空间注意力感知，通过组归一化得到空间维度的特征s
′
：
[0027]s
′
＝GN(X
C
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0028]采用线性变换来对特征进行增强将输入的空间信息转化为特征图的空间权重值X
C
′
：
[0029]X
C
′
＝Sigmoid(F
c
(s
′
))＝Sigmoid(W2s
′
+b2)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0030]式中，变换参数W2∈R
C/G
×1×1,b2∈R
C/G
×1×1；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本高光谱图像分类方法，其特征在于，包括以下步骤：S1：将源域和目标域图像转化为以像素为中心的3D立方体，将转化获取的源域和目标域的3D立方体统一成相同的通道数，获取处理后的源域和目标域数据；S2：基于处理后的源域和目标域数据，提取图像的局部嵌入特征和全局嵌入特征，将局部嵌入特征和全局嵌入特征结合获取图像的空间和光谱嵌入特征；S3：基于图像的空间和光谱嵌入特征，计算源域中每个类别未标记样本和标记样本之间的距离来执行源域小样本学习，并执行目标域小样本学习，对目标域的测试样本进行分类，获取分类结果。2.根据权利要求1所述的一种小样本高光谱图像分类方法，其特征在于，所述步骤S2包括以下步骤：通过特征提取模块对处理后的源域和目标域数据进行提取；所述特征提取模块包括混合3D
‑
2D卷积特征提取模块和分层Transformer全局特征提取模块；所述混合3D
‑
2D卷积特征提取模块用于提取图像空间和光谱局部嵌入特征，所述分层Transformer全局特征提取模块用于提取图像空间和光谱全局嵌入特征。3.根据权利要求2所述的一种小样本高光谱图像分类方法，其特征在于，所述混合3D
‑
2D卷积特征提取模块包括3D卷积残差块、池化层、2D卷积以及自适应注意力感知模块，同时在3D卷积残差后加入批量归一化层，最后通过GAP将特征图压平为一维向量，得到图像空间和光谱局部嵌入特征。4.根据权利要求3所述的一种小样本高光谱图像分类方法，其特征在于，所述自适应注意力感知模块对于输入特征图X
α
∈R
C
×
H
×
W
沿通道维度分为G个组，得到多个组的子特征X
α
＝{X1,X2,...,X
G
}，对于其中的任一子特征将其表示为X
K
∈R
C/G
×
H
×
W
；采用自适应通道注意力机制对子特征X
K
∈R
C/G
×
H
×
W
进行优化，进一步通过全局平均池化操作从特征图的空间维度进行特征压缩：式中，H为特征的高度，W为特征的宽度；进一步，将压缩后的特征进行变换，将输入的通道信息转化为特征图的通道权重值X
K
′
X
K
′
＝Sigmoid(F
c
(s))＝Sigmoid(W1s+b1)
ꢀꢀꢀꢀꢀꢀ
(2)式中，变换参数W1∈R
C/G
×1×1，b1∈R
C/G
×1×1；进一步，将输入的特征与特征图的通道权重向量相乘得到通道注意力感知：X
C
＝X
K
*X
K
′ꢀꢀꢀꢀꢀ
(3)进一步，引入空间注意力感知，通过组归一化得到空间维度的特征s
′
：s
′
＝GN(X
C
)
ꢀꢀꢀꢀꢀ
(4)采用线性变换来对特征进行增强将输入的空间信息转化为特征图的空间权重值X
C
′
：X
C
′
＝Sigmoid(F
c
(s
′
))＝Sigmoid(W2s
′
+b2)
ꢀꢀꢀꢀ
(5)式中，变换参数W2∈R
C/G
×1×1,b2∈R
C/G
×1×1；将输入特征与特征图的空间权重向量相乘得到空间注意力感知Z：Z＝X
C
*X
C
′ꢀꢀꢀꢀꢀ
(6)
将不同组的子特征进行聚合得到空间光谱注意力感知的结果。5.根据权利要求2所述的一种小样本高光谱图像分类方法，其特征在于，所述分层Transformer全局特征提取模块包括：分层Transformer网络包括三个CPE Transformer Block，每个CPE Transformer Block包括卷积像素特征嵌入与Transformer编码器，这三个CPE Transformer Block的输出特征图分别为和在通过所有三个阶段之后，将采用全局平均池化将特征压缩为全局向量，具体为：对于每一层，将输入特征转化为像素嵌入特征，并基于像素嵌入特征获取每个像素的位置信息；通过Transformer的Encoder模块将不同...

【专利技术属性】
技术研发人员：徐亦飞，王优，张明龙，杨得焱，尉萍萍，谢艺璇，任帅强，李斌，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：