基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法技术

本发明专利技术公开了一种基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，属于光谱图像分类技术领域，包括双分支特征处理模块和跨层特征融合Transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；分类方法包括以下步骤：S1：所述双分支特征融合模块对输入图像的特征进行提取；S2：将双分支特征融合模块提取到的特征送入无参协方差注意力模块中，探究不同波段的相关性；S3：将处理过的特征送入跨层特征融合Transformer中，完成高光谱图像分类。本发明专利技术示例的高光谱图像分类方法，将CNN和Transformer进行融合，能在充分捕获局部特征信息的同时，更加高效的将全局特征同时提取，并将两种来自不同尺度的特征进行融合，增强特征的表达能力。

【技术实现步骤摘要】

本专利技术涉及光谱图像分类，特别是涉及基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法。

技术介绍

1、近年来，光谱成像技术有着非常大的进步，空间分辨率和光谱分辨率逐渐提高，由此得到的高光谱具有极其丰富的光谱特征和丰富的空间特征。与传统rgb图像不同的是，它包含着更多的连续光谱波段。因此，高光谱图像在各个领域发挥着不可替代的作用，在环境监测、精准农业检测、地震预报等多个领域进行应用。

2、在高光谱图像分类任务早起，为了得到理想的分类结果，主要是从光谱特征上着手进行研究。包括传统方法k近邻、支持向量机和随机森林等等。这些方法虽然有着出色的表现，但是也存在一定的缺陷。一方面，这些方法过于古老、费时费力；另一方面，它难以提取非线性空间-光谱信息的深层语义特征，仅停留在光谱信息表面。随着科学技术的进步，深度学习方法凭借着强大的特征提取能力得到了快速发展，并广泛使用在高光谱图像分类任务中。一些基于深度学习的方法也成功在高光谱图像分类任务中运用。例如，堆叠自编码网络、深度信念网络、图卷积网络、卷积神经网络、transformer。与本文档来自技高网...

【技术保护点】

1.基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，包括双分支特征处理模块和跨层特征融合Transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；

2.根据权利要求1所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，所述双分支特征融合模块包括CNN特征提取模块和双层路由注意力机制。

3.根据权利要求2所述的基于混合协方差注意力和跨层融合Transformer的高光谱图像分类方法，其特征在于，CNN特征提取模块进行特征提取的步骤为：</p>

4.根据...

【技术特征摘要】

1.基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，包括双分支特征处理模块和跨层特征融合transformer，所述双分支特征处理模块包括双分支特征融合模块和无参协方差注意力模块；

2.根据权利要求1所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，所述双分支特征融合模块包括cnn特征提取模块和双层路由注意力机制。

3.根据权利要求2所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，cnn特征提取模块进行特征提取的步骤为：

4.根据权利要求2所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，双层路由注意力机制进行特征提取的步骤为：

5.根据权利要求1所述的基于混合协方差注意力和跨层融合transformer的高光谱图像分类方法，其特征在于，步骤s2的具体方法为：

【专利技术属性】
技术研发人员：程述立，禅润泽，杜安钰，
申请(专利权)人：新疆大学，
类型：发明
国别省市：