一种基于互补集成Transformer网络的高光谱图像分类方法技术

一种基于互补集成Transformer网络的高光谱图像分类方法，本发明专利技术涉及基于互补集成Transformer网络的高光谱图像分类方法。本发明专利技术的目的是为了解决现有CNNs很难很好地捕获序列属性的局限性，导致高光谱图像分类准确率低问题。过程为：一、获取高光谱图像HSI，对高光谱图像HSI进行预处理得到预处理后的图像，分为训练样本数据集和测试样本数据集；二、构建CITNet网络；三、将一获得的训练样本数据集和测试样本数据集输入CITNet网络进行训练，以获得训练好的CITNet网络；四、将待分类的图像输入训练好的CITNet网络，输出对待分类图像的分类结果。本发明专利技术用于高光谱图像分类领域。本发明专利技术用于高光谱图像分类领域。本发明专利技术用于高光谱图像分类领域。

【技术实现步骤摘要】
一种基于互补集成Transformer网络的高光谱图像分类方法


[0001]本专利技术涉及基于互补集成Transformer网络的高光谱图像分类方法。

技术介绍

[0002]高光谱图像(HSIs)由高光谱传感器捕获而来，且包含数百个窄带波段，它们携带了精细的光谱信息和丰富的空间信息。HSIs目前被广泛应用于许多领域，包括地质和矿物[1]、异常探测[2]、天气识别[3]、大气科学[4]和农业[5]，[6]。高光谱图像分类任务就是识别图像中像素点对应的土地覆盖类别[7]‑
[9]。然而，由于获取的HSIs常受到大气干扰、入射照明和仪器效应[10]，[11]的干扰，所以识别HSIs像素点对应的土地覆盖类别很难被精准地识别。
[0003]近年来，很多工作利用深度学习(Deep Learning,DL)在计算机视觉领域取得了巨大的突破，包括图像分类[12]‑
[14]、目标检测[15],[16]、语义分割[17]，且已经被广泛应用在 HSI分类领域[18]。其中，DL中比较流行的主干网络包括自动编码器(Autoencoders，A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于互补集成Transformer网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：步骤一、获取高光谱图像HSI，对高光谱图像HSI进行预处理得到预处理后的图像，分为训练样本数据集和测试样本数据集；步骤二、构建CITNet网络；所述CITNet网络为互补集成Transformer网络；所述CITNet网络的结构为：从CITNet网络的输入端开始，CITNet网络依次包括第一三维卷积模块、第二三维卷积模块、基于通道高斯调制注意力模块CGMAM、第三二维卷积模块、第一线性层、互补集成Transformer模块CITM、第二线性层；所述基于通道高斯调制注意力模块CGMAM依次包括平均池化层、第三线性层、第一ReLU激活函数层、第四线性层、高斯调制函数层；所述互补集成Transformer模块CITM依次包括Positional Embedding层、第一标准化层、互补多头自注意力C
‑
MHSA、第一残差映射层、第二标准化层、MLP层、第二残差映射层；所述第一三维卷积模块依次包括第一三维卷积层、第一BN层、第二ReLU激活函数层；所述第二三维卷积模块依次包括第二三维卷积层、第二BN层、第三ReLU激活函数层；所述第三二维卷积模块依次包括第三二维卷积层、第三BN层、第四ReLU激活函数层；所述CITNet网络的连接关系为：输入端连接第一三维卷积模块，第一三维卷积模块连接第二三维卷积模块，第二三维卷积模块连接基于通道高斯调制注意力模块CGMAM，基于通道高斯调制注意力模块CGMAM连接第三二维卷积模块，第三二维卷积模块连接第一线性层，第一线性层连接互补集成Transformer模块CITM，互补集成Transformer模块CITM连接第二线性层，第二线性层输出分类结果；步骤三、将步骤一获得的训练样本数据集和测试样本数据集输入CITNet网络进行训练，以获得训练好的CITNet网络；步骤四、将待分类的图像输入训练好的CITNet网络，输出对待分类图像的分类结果。2.根据权利要求1所述的一种基于互补集成Transformer网络的高光谱图像分类方法，其特征在于：所述步骤一中获取高光谱图像HSI，HSI为Z∈{X,Y}，为HSI数据，Y＝{y1,y2,...,y
C
}为HSI标签；其中，为实数，h
×
w为HSI数据的空间大小，l为HSI的波段数量，C为最大的类别标签数；采用PCA方法对HSI数据进行预处理，PCA将波段数量l降到b，得到预处理后的输出接着，对X
pca
进行3D立方体提取，得到N个3D立方体s
×
s为空间大小；所有x的中心像素为(x
i
,x
j
)，每个x的标签由中心像素的标签决定，且所有的x都有对应的标签；其中，0≤i＜h，0≤j＜w；当提取单个像素周围的像素时，若无法检索到边缘像素，则需要对这些边缘像素进行
填充；接着，x除去背景数据外，剩下的数据样本被分为训练样本数据集和测试样本数据集。3.根据权利要求2所述的一种基于互补集成Transformer网络的高光谱图像分类方法，其特征在于：所述第一三维卷积模块和第二三维卷积模块的具体过程为：每个经输入端连接第一三维卷积模块，第一三维卷积模块连接第二三维卷积模块，得到输出的特征大小为c为通道数；第一三维卷积模块或第二三维卷积模块的过程可表示为：其中，f(
·
)为激活函数；表示第i层三维卷积模块第j个特征图在位置(x,y,z)上的神经元；H
i
,W
i
和R
i
分别表示第i层三维卷积模块卷积核的高度、宽度和深度；是第d个特征图在位置(α,β,γ)的权重参数；b
i,j
为偏置项。4.根据权利要求3所述的一种基于互补集成Transformer网络的高光谱图像分类方法，其特征在于：所述第三二维卷积模块具体过程为：输入数据经过第三二维卷积模块进行特征提取，输出的特征大小为该过程可表示为其中，H
i
',W
i
'分别表示二维卷积模块卷积核的高度和宽度，表示第d个特征图在位置(H
i
',W
i
')上的权重参数，表示第i层二维卷积模块第j个特征图在位置(x,y)上的神经元。5.根据权利要求4所述的一种基于互补集成Transformer网络的高光谱图像分类方法，其特征在于：所述基于通道高斯调制注意力模块CGMAM具体过程为：输入为s
×
s为空间大小，c为输入的通道数量；首先，输入A
in
依次经过平均池化层、第三线性层、第一ReLU激活函数层、第四线性层、得到包含通道依赖关系的输出特征G
in
；然后，G
in
通过高斯调制函数层，得到输出特征G
out
；最后，特征G
out
对原始的输入A
in
进行通道加权；将加权后的输出与原始的输入A
in
进行逐像素相加，得到输出A
ou...

【专利技术属性】
技术研发人员：石翠萍，廖帝灵，王丽婧，苗凤娟，
申请(专利权)人：齐齐哈尔大学，
类型：发明
国别省市：