一种融合CNN和ViT空谱特征的高光谱图像分类方法技术

本发明专利技术涉及一种融合CNN和ViT空谱特征的高光谱图像分类方法，包括以下步骤：步骤S1：HSI数据集预处理；对HSI数据集进行主成分分析(PCA)降维处理，并提取HSI像元的三维patches；步骤S2：光谱特征提取；步骤S3：空间特征提取；步骤S4:空

【技术实现步骤摘要】
一种融合CNN和ViT空谱特征的高光谱图像分类方法


[0001]本专利技术涉及高光谱影像
，尤其涉及一种融合CNN和ViT空谱特征的高光谱图像分类方法。

技术介绍

[0002]高光谱图像(Hyperspectral Images，HSI)分类是地球观测任务中的一项重要任务。HSI每个像元在光谱维度上收集数百个波段，其光谱分辨率很高，提供了丰富的空间和光谱信息。HSI分类在土地覆盖识别、精准农业、变化监测、环境监测、资源勘探等各种高精度对地观测任务中具有巨大潜力。
[0003]由于深度学习体系结构在自然图像识别中取得了巨大的成功，许多研究者将其应用到HSI分类中，并提出了各种基于深度学习的HSI分类方法，通过插入各种模型来提取更丰富的特征。例如，Hu等人提出了一种改进的分类方法，使用具有5个卷积层的1D CNN，分别是输入层、卷积层、最大池化层、全连接层和输出层。Yang等人结合1D CNN和2D CNN模型开发了双分支网络结构，致力于提取光谱域和空间域的特征。最后，将这些特征组合成一个全连接层，从而提取出联合光谱空间特征进行分类。为了更好地提取空间光谱特征，Chen等人引入了一种结合正则化的基于3D CNN方法，用于高效提取三维特征。Zhong等人提出了一种空间光谱残差网络对HSI进行分类。该方法将前一层特征的信息作为后一层特征的补充，大大提高了特征的利用率。Roy等人提出了一种混合光谱CNN(HybridSN),该方法使用3D CNN从光谱堆叠中联合表示空间光谱特征，再利用2D CNN提取抽象的空间特征，其降低了模型复杂度，提高了分类精度。上面的大多数方法都基于CNN主干及其变体，但它们通常不足以检测光谱维度之间的细微差异。CNN作为主流的骨干体系结构，在从HSI中提取空间结构信息和局部上下文信息方面表现出了强大的能力，有效的提高了分类性能。然而，CNN很难很好地捕获序列属性，特别是中长期依赖关系。
[0004]近期，一种新的深度学习机制——Transformer网络被提出，可从序列数据的角度解决自然图像分类任务。例如，Dosovitskiy等人首先将Transformer应用于图像分类任务，提出了Vision Transformer(ViT)网络，ViT网络虽然很好地解决了光谱特征的长期依赖性问题，但未能捕捉到局部空间光谱融合信息。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中的不足，提供一种融合CNN和ViT空谱特征的高光谱图像分类方法，该TransHSI分类方法是利用基于注意力机制的ViT模型的优势，即通过长距离捕获HSI序列的空谱关系，解决CNN方法获取深度语义特征能力有限问题，本专利技术融合CNN和ViT，并结合HSI的特点，充分提取HSI的空间和光谱特征。
[0006]本专利技术是通过以下技术方案实现的：一方面，提供一种融合CNN和ViT空谱特征的高光谱图像分类方法，包括以下步骤：
[0007]步骤S1：HSI数据集预处理；
[0008]对HSI数据集进行主成分分析(PCA)降维处理，并提取HSI像元的三维patches；
[0009]步骤S2：光谱特征提取；
[0010]三维patches输入到不同卷积核大小的Conv 3D层中，挖掘出光谱信息的特征图，并将该特征图通过展平处理后输入到ViT的Transformer Encode模块中，以提取HSI的局部和全局的光谱信息；
[0011]步骤S3：空间特征提取；
[0012]将步骤S2所得光谱特征图输入到相同卷积核的Conv 2D层，挖掘出空间信息的特征图，并将该特征图通过展平处理后输入到ViT的Transformer Encode模块中，以提取HSI的局部和全局的空间信息；
[0013]步骤S4:空
‑
谱特征融合；
[0014]级联步骤S1提取的三维patches、步骤S2提取的光谱特征及步骤S3提取的空间特征，将级联结果输入到一个Conv 2D层中，并将所得特征图通过语义标记器转换输入到Transformer Encode模块中，实现特征融合；
[0015]步骤S5：将步骤S4获得的融合特征直接输入线性层进行分类输出。
[0016]进一步地，在步骤S1中，所述HSI数据集包括Indian Pines数据集，Pavia University数据集，Data Fusion Contest 2018数据集。其中在Indian Pines数据集上实现了作物分类，在Pavia University数据集和Data Fusion Contest 2018数据集上实现了城市地物分类。
[0017]进一步地，在步骤S1中，所述PCA降维后获得的图像立方体为I
pca
∈R
M
×
N
×
B
，其中M为宽度，N为高度，B为PCA处理后的光谱波段数。PCA处理减少了光谱维数和计算量，去除高光谱数据的冗余信息。
[0018]进一步地，在步骤S1中，对HSI数据I
pca
进行三维patches提取，即从I
pca
创建相邻三维patches：X∈R
S
×
S
×
B
，其中S
×
S表示窗口大小，B为PCA处理后的光谱波段数；其中，每个所述patch的中心像素位置设为(x
i
，x
j
)，其中0≤i＜M，0≤j＜N。每个像元创建三维patches，可以充分学习像元周围的信息。
[0019]更进一步地，在步骤S2中，具体实现过程如下：
[0020]1)将三维patches X∈R
S
×
S
×
B
输入到一卷积核为3
×3×
3，步长为1的Conv 3D中，同时通过填充策略padding＝(1，1，1)使3D patches保持在S
×
S
×
B不变，然后输入到一个Batch Normalization(BN)层进行归一化处理得到X
3D1
；用公式表示为
[0021]X
3D1
＝BN(Conv3D1(X))；
[0022]2)接着再输入到两个5
×3×
3卷积核、7
×3×
3卷积核的Conv 3D层中，输出为X
3D2
。X
3D2
与X
3D1
残差连接得到X
′
3D2
，将两个Conv 3D层及残差连接结构再迭代一次结果为X
″
3D2
，用公式表示为
[0023]X
3D2
＝Conv3D2(X
3D1
)
[0024]X
′
3D2
＝X
3D1
+X
3D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合CNN和ViT空谱特征的高光谱图像分类方法，其特征在于，包括以下步骤：步骤S1：HSI数据集预处理；对HSI数据集进行主成分分析(PCA)降维处理，提取HSI像元的三维patches；步骤S2：光谱特征提取；三维patches输入到不同卷积核大小的Conv 3D层中，挖掘出光谱信息的特征图，并将该特征图通过展平处理后输入到ViT的Transformer Encode模块中，以提取HSI的局部和全局的光谱信息；步骤S3：空间特征提取；将步骤S2所得光谱特征图输入到相同卷积核的Conv 2D层，挖掘出空间信息的特征图，并将该特征图通过展平处理后输入到ViT的Transformer Encode模块中，以提取HSI的局部和全局的空间信息；步骤S4:空
‑
谱特征融合；级联步骤S1提取的三维patches、步骤S2提取的光谱特征及步骤S3提取的空间特征，将级联结果输入到一个Conv 2D层中，并将所得特征图通过语义标记器转换输入到Transformer Encode模块中，实现特征融合；步骤S5:将步骤S4获得的融合特征直接输入线性层进行分类输出。2.根据权利要求2所述的融合CNN和ViT空谱特征的高光谱图像分类方法，其特征在于，在步骤S1中，所述HSI数据集包括Indian Pines数据集，Pavia University数据集，Data Fusion Contest 2018数据集。3.根据权利要求2所述的融合CNN和ViT空谱特征的高光谱图像分类方法，其特征在于，在步骤S1中，所述PCA降维后获得的图像立方体为I
pca
∈R
M
×
N
×
B
，其中M为宽度，N为高度，B为PCA处理后的光谱波段数。4.根据权利要求3所述的融合CNN和ViT空谱特征的高光谱图像分类方法，其特征在于，在步骤S1中，对HSI数据I
pca
进行三维patches提取，即从I
pca
创建相邻三维patches：X∈R
S
×
S
×
B
，其中S
×
S表示窗口大小，B为PCA处理后的光谱波段数；其中，每个所述patch的中心像素位置设为(x
i
,x
j
)，其中0≤i<M，0≤j<N。5.根据权利要求4所述的融合CNN和ViT空谱特征的高光谱图像分类方法，其特征在于，在步骤S2中，具体实现过程如下：1)将三维patches X∈R
S
×
S
×
B
输入到一个卷积核为3
×3×
3，步长为1的Conv 3D中，同时通过填充策略padding＝(1,1,1)使3D patches保持在S
×
S
×
B不变，然后输入到一个Batch Normalization(BN)层进行归一化处理得到X
3D1
；用公式表示为X
3D1
＝BN(Conv3D1(X))；2)接着再输入到两个5
×3×
3卷积核、7
×3×
3卷积核的Conv 3D层中，输出为X
3D2
。X
3D2
与X
3D1
残差连接得到X
′
3D2
,将两个Conv 3D层及残差连接结构再迭代一次结果为X
″
3D2
，用公式表示为X
3D2
＝Conv3D2(X
3D1
)X
′
3D2
＝X
3D1
+X
3D2
3)把迭代结果X
″
3...

【专利技术属性】
技术研发人员：于海洋，王孝华，张平，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：