基于Transformer增强的非局部U形网络的高光谱影像分类方法技术

本发明专利技术属于高光谱影像分类技术领域，具体涉及一种基于Transformer增强的非局部U形网络的高光谱影像分类方法。该方法获取待分类的高光谱影像，并输入至训练好的高光谱影像分类模型中，得到高光谱影像分类结果。高光谱影像分类模型包括依次连接的编码器、Transformer连接模块以及解码器；编码器包括依次连接的编码卷积层和N1个编码模块，每个编码模块包括依次连接的Transformer层、N2个第一卷积层、以及第二卷积层；每个解码模块包括依次连接的反卷积层、N2个第三卷积层和Transformer层；各编码模块中的Transformer层与各解码模块中相同大小的Transformer层跳跃连接，这样使得高光谱影像分类模型能够更加充分地利用上下文信息和局部细节信息来提高分类精度。和局部细节信息来提高分类精度。和局部细节信息来提高分类精度。

【技术实现步骤摘要】
基于Transformer增强的非局部U形网络的高光谱影像分类方法


[0001]本专利技术属于高光谱影像分类
，具体涉及一种基于Transformer增强的非局部U形网络的高光谱影像分类方法。

技术介绍

[0002]高光谱(HSI)遥感影像可以同时获取地物的光谱和空间信息，具有“图谱合一”的特点，而不同的地物对应不同的光谱特征。因此，高光谱影像被广泛应用于地学的各种任务中，例如识别不同树种、精确地提取水体边界、统计土地利用情况等，这些应用都离不开高光谱影像分类技术。丰富的光谱和空间信息为精细地区分不同的地物提供了极大可能，但也给分类任务带来了极大的挑战。早期的高光谱影像分类主要集中于对光谱特征的挖掘和分类算法上的研究。这一时期SVM、随机森林、线性判别分析、神经网络等机器学习算法相继被用于解决高光谱影像分类问题。同时在算力有限的情况下为了应对高光谱影像高维的数据特点，研究人员探索了不同的数据降维方法和波段选择方法。虽然早期的研究改善了高光谱影像的分类效果，但高光谱影像分类仍有以下三个问题亟待解决，一是标记训练样本的不足导致常用的机器学习方法面临过拟合问题；二是高光谱影像数据维度高且相邻波段高度相关，这进一步加重了过拟合问题；三是遥感影像中同谱异物现象的存在使得仅仅利用光谱特征区分不同地物具有一定的局限性。
[0003]为了应对以上问题，研究人员逐步开始在分类过程中引入空间信息来提高高光谱影像的分类精度。空间信息利用的方式有很多种，但大致可以分为三类，第一类是以EMP、Gabor、LBP等为代表的空间特征提取方法，这一类方法在特征提取的过程中考虑样本点邻域像素的信息，然后再将提取到的特征输入到分类器中完成分类；第二类方法主要考虑到距离越近的样本，它们是同一类地物的概率就越大，因此在分类过程中利用这一特点来约束分类器，以达到提高分类精度的目的；第三类方法主要针对高光谱影像初始分类结果中存在分类噪声问题，其主要利用形态学滤波等方法来去除分类噪声。空间信息的引入极大地提高了高光谱影像的分类精度，但缺乏标记训练样本的问题仍然制约着高光谱影像分类技术的发展和应用。为此，研究人员探索了标签传播、TSVM、协同训练、主动学习等半监督方法。这一时期高光谱影像分类方法得到了快速发展，发展了空
‑
谱分类和半监督分类等技术路线。虽然以上方法有效地提升了高光谱影像分类精度，同时一定程度上缓解了缺乏标记样本问题。但这些方法通常需要人工设计复杂的特征提取规则，同时还要根据不同的数据设置不同的超参数，因分类结果的好坏严重依赖于专家经验。
[0004]近年来，随着算力和数据量的不断增长，以深度学习为代表的数据驱动的方法在图像识别、目标检测、语义分割、三维重建等诸多任务中得到了极大的发展。正是由于深度学习能够自动地从数据中学习提取用于下游任务的特征，研究人员将深度学习引入到高光谱影像分类任务中，以此来构建更加通用的分类方法。常用的深度学习模型有自编码器、深度置信网络、卷积神经网络、循环神经网络等，在这些模型中，卷积神经网络可以很好地处
理高维的图像问题，因此基于CNN的高光谱影像分类方法得到了广泛关注。受空
‑
谱分类方法的启发，研究人员首先以某一样本点为中心从高光谱影像中切分出一定大小的局部图像块作为该样本的特征描述，然后输入到2D
‑
CNN、3D
‑
CNN等模型进行分类。为了进一步提高分类精度，残差学习、稠密网络、注意力机制等最新的深度学习研究成果相继被用于高光谱影像分类。考虑到高光谱影像不同的波段可以作为时序数据，研究人员提出了应用RNN、LSTM等模型来完成高光谱影像分类任务。虽然以上方法有效降低了高光谱影像深度学习模型的训练难度，但高光谱影像缺乏标记训练样本的问题仍然没有被克服。在这样的背景下，以GAN为代表的半监督深度学习方法得到了广泛的关注。与此同时，研究人员还探索了如何应用度量学习和元学习方法来应对小样本问题。
[0005]以局部图像块为输入的深度学习方法在高光谱影像分类任务中取得了成功，但这些方法存在两个问题无法克服，一是以局部图像块为输入使得模型无法感知整个场景中的上下文信息，二是这些高度重叠的图像块带来了很多冗余计算，降低了分类效率。为了应对这两个问题，研究者提出利用语义分割模型来完成高光谱影像分类任务，具体地将高光谱影像整体输入到分割模型中，然后输出整个场景对应的分类结果，这样既能利用上下文信息来提高分类精度，又能减少不必要的计算。经典的语义分割模型有全卷积网络、U
‑
Net、SegNet、DeepLab系列等，这些模型在语义分割任务中通常需要大量密集的标记样本来优化数以千计的网络参数。但HSI中标记样本较为稀疏，更为重要的是这些标记样本数量通常较少，这就导致直接应用这些经典的分割模型效果不佳。为此，DSSNet设计了一个包含4个卷积层的分割网络用于HSI分类。随后为了更加充分地利用HSI中的上下文信息来提高分类精度，研究人员针对HSI特点相继设计了FCSN、SSFCN、FPGA、FullyContNet
‑
Pyramid等分割模型。CNN由于采用了局部连接的方式来减少参数数量，因此其感受野受限，无法感知长时依赖，一种解决方案是增大卷积核，或者使用扩张卷积，但这样会带来地物边界的模糊。
[0006]综上，现有技术中的高光谱影像分类模型分类精度不高。

技术实现思路

[0007]本专利技术的目的在于提供一种基于Transformer增强的非局部U形网络的高光谱影像分类方法，用以解决现有技术中的高光谱影像分类模型分类精度不高的问题。
[0008]为解决上述技术问题，本专利技术所提供的技术方案以及技术方案对应的有益效果如下：
[0009]本专利技术的一种基于Transformer增强的非局部U形网络的高光谱影像分类方法，包括如下步骤：获取待分类的高光谱影像，并输入至训练好的高光谱影像分类模型中，得到高光谱影像分类结果；其中，所述高光谱影像分类模型包括依次连接的编码器、Transformer连接模块以及解码器；所述编码器包括依次连接的编码卷积层和N1个编码模块，每个编码模块包括依次连接的Transformer层、N2个第一卷积层、以及第二卷积层；所述Transformer连接模块包括N3层Transformer层；所述解码器包括依次连接的N1个解码模块和解码卷积层，每个解码模块包括依次连接的反卷积层、N2个第三卷积层和Transformer层；各编码模块中的Transformer层与各解码模块中相同大小的Transformer层跳跃连接；N1、N2、N3均大于等于1；所述训练好的高光谱影像分类模型利用已作分类标记的高光谱影像作为训练样本对高光谱影像分类模型进行训练得到。
[0010]上述技术方案的有益效果为：本专利技术的高光谱影像分类模型整体上遵循U
‑
Net的编码
‑
解码设计思路，不同的是，在编码器和解码器中均使用交替的Transformer层和卷积层，且在编码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer增强的非局部U形网络的高光谱影像分类方法，其特征在于，包括如下步骤：获取待分类的高光谱影像，并输入至训练好的高光谱影像分类模型中，得到高光谱影像分类结果；其中，所述高光谱影像分类模型包括依次连接的编码器、Transformer连接模块以及解码器；所述编码器包括依次连接的编码卷积层和N1个编码模块，每个编码模块包括依次连接的Transformer层、N2个第一卷积层、以及第二卷积层；所述Transformer连接模块包括N3层Transformer层；所述解码器包括依次连接的N1个解码模块和解码卷积层，每个解码模块包括依次连接的反卷积层、N2个第三卷积层和Transformer层；各编码模块中的Transformer层与各解码模块中相同大小的Transformer层跳跃连接；N1、N2、N3均大于等于1；所述训练好的高光谱影像分类模型利用已作分类标记的高光谱影像作为训练样本对高光谱影像分类模型进行训练得到。2.根据权利要求1所述的基于Transformer增强的非局部U形网络的高光谱影像分类方法，其特征在于，各编码模块中的Transformer层、各解码模块中的Transformer层、以及Transformer连接模块中的各Transformer层中的注意力模型均采用基于局部窗口的多头注意力模型；所述基于局部窗口的多头注意力模型为：将输入的特征图划分为多个大小一致的窗口，并沿着通道维度将特征图划分为多份；针对每个窗口内的特征图执行自注意力操作。3.根据权利要求1所述的基于Transformer增...

【专利技术属性】
技术研发人员：刘冰，余旭初，张鹏强，薛志祥，左溪冰，高奎亮，孙一帆，王博伟，常勍豪，陈宇航，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：