【技术实现步骤摘要】
本专利技术涉及光谱图像分类，特别是涉及基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法。
技术介绍
1、近年来，光谱成像技术有着非常大的进步，空间分辨率和光谱分辨率逐渐提高，由此得到的高光谱具有极其丰富的光谱特征和丰富的空间特征。与传统rgb图像不同的是，它包含着更多的连续光谱波段。因此，高光谱图像在各个领域发挥着不可替代的作用，在环境监测、精准农业检测、地震预报等多个领域进行应用。
2、在高光谱图像分类任务早起，为了得到理想的分类结果，主要是从光谱特征上着手进行研究。包括传统方法k近邻、支持向量机和随机森林等等。这些方法虽然有着出色的表现，但是也存在一定的缺陷。一方面，这些方法过于古老、费时费力；另一方面，它难以提取非线性空间-光谱信息的深层语义特征，仅停留在光谱信息表面。随着科学技术的进步，深度学习方法凭借着强大的特征提取能力得到了快速发展，并广泛使用在高光谱图像分类任务中。一些基于深度学习的方法也成功在高光谱图像分类任务中运用。例如，堆叠自编码网络、深度信念网络、图卷积网络、卷积神经网络、transformer。与上述传统方法相比，基于深度学习的方法能够实现高效特征端到端的提取。由此，卷积神经网络(cnn)逐渐成为高光谱图像分类任务的研究热点。
3、随着科技的不断发展，许多更加优秀的分类算法也逐渐显现出来。但是，在实际高光谱图像分类研究当中，高光谱图像中局部纹理细节信息和全局上下文信息是非常容易被忽略的。其次，高光谱图像中波段和波段之间也存在一定的关联性，为了使得光谱波段间的
技术实现思路
1、为了解决上述现有技术中的不足，本专利技术的目的是提供一种基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，将cnn和transformer进行融合，能在充分捕获局部特征信息的同时，更加高效的将全局特征同时提取，并将两种来自不同尺度的特征进行融合，增强特征的表达能力。
2、本专利技术解决其技术问题所采用的技术方案为：
3、提供了一种基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，包括双分支特征处理模块和跨层特征融合transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；
4、分类方法包括以下步骤：
5、s1：所述双分支特征融合模块对输入图像的特征进行提取；
6、s2：将双分支特征融合模块提取到的特征送入无参协方差注意力模块中，探究不同波段的相关性；
7、s3：将处理过的特征送入跨层特征融合transformer中，完成高光谱图像分类。
8、进一步的，所述双分支特征融合模块包括cnn特征提取模块和双层路由注意力机制。
9、进一步的，cnn特征提取模块进行特征提取的步骤为：
10、s111：将高光谱输入图像x∈rh×w×c裁剪成多个xpatch∈rp×p×c，图像经过cnn特征提取模块，经过1×1的卷积块，来获取光谱域中的信息；
11、s112：将不同层所提取的特征进行拼接，通过一个卷积核3的卷积块来提取空间语义信息；
12、s113：通过一个1×1的卷积将通道数固定到一个合适的值；
13、进行特征提取的具体计算公式为：
14、xout＝conv2d(ap(δ(bn(conv2d(xconcat)))))
15、
16、
17、其中，xout是整个特征提取块的输出；是第i层卷积的输出；ap是avgpooling平均池化操作；δ是激活函数relu；bn是批归一化操作。
18、进一步的，双层路由注意力机制进行特征提取的步骤为：
19、s121：假设输入高光谱图像h和w分别表示输入图像的高和宽，c表示光谱波段数量，首先，将输入图像x划分成s×s个不同的区域，每个区域包含个特征向量；对输入图像进行reshape得到通过线性映射，将区域内特征向量进行投影，得到q,k,v三个张量：
20、q＝xrwq,k＝xrwk,
21、其中，分别是q、k、v的权重值，xr是划分后的区域；
22、s122：计算q和k在每个区域内的平均值，得到区域级的qr和kr，通过计算qr和kr的乘积，获取相关性矩阵ar：
23、
24、其中，相关性矩阵ar第i行第j列表示第i个区域和第j个区域之间的相关性；
25、为了降低计算的复杂性，保留每个区域的前k个相关性连接，得到路由索引矩阵lr，这样就获得了区域级别的路由信息，以确定每个给定区域应该与哪些其他区域进行交互，公式如下：
26、foriinrange(s2):
27、index＝topkindex(ar[i,:],k)
28、lr[i,:]＝index
29、其中，topkindex(ar[i,:],k)表示第i行相关性矩阵中的值选取前k个最大值索引；
30、s123：根据路由索引矩阵lr，就可以计算细粒度的token-to-token注意力，对于每个区域内的每个查询token，它将关注与其最相关的k个路由区域中的所有键-值对，对原始键和值进行聚焦，得到聚集键和聚集值，公式如下：
31、
32、
33、s124：根据聚集键和聚集值和查询的注意力机制，得到输出o,公式如下：
34、o＝attention(q,kg,vg)+lce(v)
35、
36、其中，lce(v)表示局部上下文增强项，用深度可分离卷积进行参数化，是为了缩放注意力权重，使其不受波段数量的影响。
37、进一步的，步骤s2的具体方法为：<本文档来自技高网...
【技术保护点】
1.基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，包括双分支特征处理模块和跨层特征融合Transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；
2.根据权利要求1所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，所述双分支特征融合模块包括CNN特征提取模块和双层路由注意力机制。
3.根据权利要求2所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，CNN特征提取模块进行特征提取的步骤为：
4.根据权利要求2所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，双层路由注意力机制进行特征提取的步骤为：
5.根据权利要求1所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，步骤S2的具体方法为：
6.根据权利要求5所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，
7.根据权利要求1所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，所述跨层特征融合Transformer结构包括分组光谱嵌入和跨层自适应注意力融合模块。
8.根据权利要求7所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，所述分组光谱嵌入包括多个光谱通道的数值，分组光谱嵌入的建模公式为：
9.根据权利要求7所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，所述跨层自适应注意力融合模块中，代表第(l-1)层编码器输出；代表第(l)层编码器经过注意力的输出；代表第(l+1)层编码器输出，CAF输出可以表示为
...【技术特征摘要】
1.基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，包括双分支特征处理模块和跨层特征融合transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；
2.根据权利要求1所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，所述双分支特征融合模块包括cnn特征提取模块和双层路由注意力机制。
3.根据权利要求2所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，cnn特征提取模块进行特征提取的步骤为：
4.根据权利要求2所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，双层路由注意力机制进行特征提取的步骤为：
5.根据权利要求1所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，步骤s2的具体方法为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。