【技术实现步骤摘要】
本专利技术涉及图像分类方法领域，具体为基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法。
技术介绍
1、遥感技术的发展促进了在数百至数千个光谱带中具有丰富光谱特征和空间特征的高光谱图像。高光谱图像已广泛应用于包括精准农业、军事目标检测和矿产勘探在内的各种实际应用领域。在这些应用中，高光谱图像的分类通过根据其光谱特征和空间特征将高光谱图像中的每个像素分配给特定类别，发挥着至关重要的作用，从而起到了关键作用。因此，如何提取和利用光谱和空间特征进行分类任务引起了广泛关注。
2、近年来，transformer架构在计算机视觉领域表现出色。transformer主要依赖于多重自注意机制，通过研究序列内部组件之间的关系，有效地获得全局依赖性。最近的研究表明，transformer具有建模内容相关的全局范围交互的能力，并且能够调整其感知域以突出引人注目的组件，从而学习有区别的特征表示。关于基于transformer的高光谱图像分类的方法主要分为两类：纯transformer架构和混合cnn-transformer架构。纯transformer架构方法使用transformer处理hsi数据。例如，一种光谱-空间transformer网络，包括光谱和空间序列分支。空间序列分支用于学习细粒度的空间特征，而光谱transformer分支设计用于提取光谱特征并建模光谱序列内的依赖关系。一种用于hsi分类的光谱swintransformer网络，提出了一种处理hsi数据场景的新方法。该网络使用组注意力学习特征依赖关系
技术实现思路
1、本专利技术的目的在于提供基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法(即teccnet方法)，包括如下步骤：
3、步骤s1，高光谱图像的高分辨率和光谱-空间通道中的关键性特征提取，使用spefes和spafes分别进行光谱和空间特征提取；
4、所述spefes包括光谱混合卷积模块和由transformer编码器组成的光谱注意力机制，且光谱混合卷积模块提取的高分辨率特征图被馈送到光谱注意力机制中；所述spafes包括由transformer编码器组成的空间注意力机制和空间混合卷积模块，混合卷积模块使用简化3d卷积核；
5、所述混合卷积模块由五个卷积层组成，五个卷积层包括四个3d卷积层和一个3d转置卷积层，且3d转置卷积层位于其他四个3d卷积层的中间位置，且混合卷积模块的特征提取过程表达如下：
6、
7、f(σ(xm+4)；θ)＝ω(σ(xm+4))*km+1+sm+1
8、σ(xm+4)＝xm+1+f(xm+1；θ)+ε(xm+2；θ)+f(xm+3；θ)；
9、其中xm+1表示输入到第(m+1)层的3d立方体，km+1、sm+1分别表代表第(m+1)层的卷积核和步幅，f(x；θ)代表在x上的3d卷积操作，ε(x；θ)表示在x上的3d转置卷积操作；
10、所述光谱混合卷积模块和空间混合卷积模块处理后的特征图aspe∈rc×h×w和bspa∈rc×h×w还需分别进行token(标记)化的预处理，获取输出通道为64的光谱token和空间token，然后将光谱token(光谱标记)和空间token(空间标记)分别喂入光谱和空间注意力机制中，得到具有基于全局依赖性的关键性特征的光谱token和空间token；
11、步骤s2，采用光谱-空间权重特征互补模块来补充光谱特征token和空间特征token之间的光谱和空间权重特征，从而充分利用光谱和空间特征；并同时提取光谱和空间语义特征；
12、所述光谱-空间权重特征互补模块具体的补充过程如下：
13、
14、
15、
16、
17、其中，表示权重参数矩阵，c()表示互补函数；
18、所述光谱-空间权重特征互补模块基于矩阵u计算每一个tclstoken中每个元素的期望的e(xi)并将其作为相应token的语义特征的具体过程如下：
19、
20、其中xclass属于第c类的元素集合，nclass表示在第c类中元素的数量；
21、所述光谱-空间权重特征互补模块的输出如下所示：
22、
23、
24、其中，代表具有语义特征的光谱token，代表具有语义特征的空间token；
25、步骤s3，采用分类模块生成分类结果。
26、优选的：所述3d卷积层中包括3d卷积操作、批归一化操作以及mish激活函数，且3d转置卷积层中，使用了3d转置卷积、批归一化操作以及mish激活函数，所述mish激活函数的数学公式如下：
27、f(x)＝x tan h(softplus(x))＝x tan h(ln(1+ex))
28、其中，x表示激活函数的输入，mish在[≈-0.31，∞]范围内。
29、优选的：所述光谱混合卷积模块和空间混合卷积模块处理后的特征图，获得通道维度为64的包含不同类型特征的token之前，还需对这些3d斑块进行token化处理，具体过程为将clstoken(在光谱特征图i中表示spe，在空间特征图中i表示spa)和postoken(在光谱特征图中i表示spe，在空间特征图中i表示spa)分别添加到aspe∈rhw×64和bspa∈rhw×64中，分别获得光谱特征token和空间特征tok本文档来自技高网...
【技术保护点】
1.基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述3D卷积层中包括3D卷积操作、批归一化操作以及Mish激活函数，且3D转置卷积层中，使用了3D转置卷积、批归一化操作以及Mish激活函数，所述Mish激活函数的数学公式如下：
3.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述光谱混合卷积模块和空间混合卷积模块处理后的特征图，获得通道维度为64的包含不同类型特征的Token之前，还需对这些3D斑块进行Token化处理，具体过程为将和分别添加到Aspe∈Rhw×64和Bspa∈Rhw×64中，分别获得光谱特征Token和空间特征Token，从而将光谱特征Token和空间特征Token有效地嵌入到光谱和空间Transformer编码机制中；
4.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网
5.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述光谱-空间权重特征互补模块语义特征提取过程为，对xi∈tcls中的每个元素xi进行softmax处理，然后为每个xi分配一个概率向量pi∈Rclass，其class表示待分类地面所包含的种类数量，根据概率向量pi，计算出每个xi的期望值E(xi)，
6.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤S3的分类过程为基于步骤S2得到的光谱和空间特征Token分别经过Reshape操作处理，并将光谱和空间特征Token输入到具有批量归一化和Mish激活的平均池化层中，使用连接操作将光谱和空间特征Token沿通道维度合并，融合成一个具有光谱空间语义特征的特征Token并通过全连接层获得最终的分类结果。
...【技术特征摘要】
1.基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述3d卷积层中包括3d卷积操作、批归一化操作以及mish激活函数，且3d转置卷积层中，使用了3d转置卷积、批归一化操作以及mish激活函数，所述mish激活函数的数学公式如下：
3.根据权利要求1所述的基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述光谱混合卷积模块和空间混合卷积模块处理后的特征图，获得通道维度为64的包含不同类型特征的token之前，还需对这些3d斑块进行token化处理，具体过程为将和分别添加到aspe∈rhw×64和bspa∈rhw×64中，分别获得光谱特征token和空间特征token，从而将光谱特征token和空间特征token有效地嵌入到光谱和空间transformer编码机制中；
4.根据权利要求1所述的基于transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述光谱-空间权重特征互补模块补充过程为光谱-空...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。