【技术实现步骤摘要】
本专利技术涉及智能图像处理技术，具体是一种基于双分支空谱特征交叉融合网络的高光谱图像分类方法。
技术介绍
1、高光谱图像中包含着丰富的空间和光谱信息，可以准确地表征地物的物理属性，为地物识别带来极大的便利，因此，高光谱图像有着许多重要的应用，其中包括精准农业、物体检测和环境监测，在这些领域中，土地覆盖分类一直是近年来的热点和重要话题，它旨在借助hsi独特的光谱和空间特征为整个图像上的像素分配一定的语义标签，显示土地覆盖的细节。然而，光谱波段的信息冗余和有限的训练样本给hsi分类带来了巨大的挑战。
2、在hsi分类的早期阶段，传统的分类方法如k近邻分类器、支持向量机和随机森林等，采用了一系列手工制作的光谱空间特征，这些特征在很大程度上依赖于专业知识和参数设置。然而，它们不能完全表示光谱和空间的基本特征，并且在样本数量较少，hsi数据维数过高时，这些方法的分类性能相对较差。为了解决这个问题，专门为生物医学图像分割设计的编码器-解码器(u-net)被用于高光谱图像分类来获得很高的精度。lin等人在数据量缺乏的情况下，通过引入u-net来面对复杂数据在实践中相互关系捕获的问题，由于其清晰的网络结构，任何定制的层都可以很容易地集成到现有的网络中，例如，he等人将swintransformer嵌入到经典的基于cnn的u-net中，致力于获取遥感图像的全局上下文信息，在主编码器中获得更深的特征。此外，为了改善高光谱图像的分类性能，联合利用高光谱图像的光谱和空间信息设计分类器已成为一个主要的研究方向。wang等人在光谱有限元方面和空
技术实现思路
1、本专利技术的目的是针对现有技术的不足，而提供一种基于双分支空谱特征交叉融合网络的高光谱图像分类方法。这种方法用有限数量的标记训练样本捕获足够的光谱和空间特征，缓解小样本的问题，并且在融合中构建双分支交互性，促进充分融合，能提高高光谱图像分类性能。
2、实现本专利技术目的的技术方案是：
3、一种基于双分支空谱特征交叉融合网络的高光谱图像分类方法，与现有技术不同的是，包括如下步骤：
4、1)数据预处理：对原高光谱图像h进行归一化得到归一化高光谱图像h′，对h′进行pca降维得到降维高光谱图像h″，在h″中裁剪像素n的邻域块pn∈rw×w×b以提供空间信息，在h′中将像素n的光谱带sn∈rb×1分离出来以提供频谱输入；
5、2)光谱支路特征提取：将光谱带sn输入到由三层u-net构成的特征提取网络，在第一层，光谱带sn通过一维卷积、批量归一化层和激活层的中间特征提取操作fspe_mid得到光谱中间特征并采用光谱分组多尺度残差模块进行检漏操作fspe_mgr，得到检漏后的光谱特征第二层和第三层对上一层得到的特征采用最大池化层进行下采样操作fspe_down，再通过中间特征提取操作fspe_mid和检漏操作fspe_mgr，分别得到编码操作完成，开始解码操作，在第三层对采用反卷积进行上采样操作fspe_up，得到在第二层与采用跳跃连接的进行合并操作fspe_cat，之后采用中间特征提取操作fspe_mid和检漏操作fspe_mgr得到同理，在第三层得到再采用一个卷积层获得最终的光谱精细特征sn；
6、3)空间支路特征提取：将邻域块pn输入到由三层u-net构成的特征提取网络，在第一层，邻域块pn采用二维卷积、批量归一化层和激活层的中间特征提取操作fspa_mid得到空间中间特征并采用空间分组多尺度残差模块进行检漏操作fspa_mgr，得到检漏后的光谱特征第二层和第三层对上一层得到的特征采用最大池化层进行下采样操作fspa_down，再采用中间特征提取操作fspa_mid和检漏操作fspa_mgr，分别得到编码操作完成，开始解码操作，在第三层对采用反卷积进行上采样操作fspa_up，得到在第二层与采用跳跃连接的进行合并操作fspa_cat，之后采用中间特征提取操作fspa_mid和检漏操作fspa_mgr得到同理，在第三层得到再通过一个卷积层获得最终的空间精细特征pn；
7、4)空谱交叉注意力融合：将步骤2)和步骤3)所提取的光谱精细特征sn和空间精细特征pn输送到交叉注意力融合模块中进行交互得到空谱融合特征on；
8、5)高光谱图像像元分类：将步骤4)所提取到的空谱融合特征on进行全连接操作后传入softmax线性分类器中对每个像元继续分类。
9、步骤2)和步骤3)中所述的检漏操作过程为：
10、2-1)光谱支路检漏操作fspe_mgr为：对得到的中间特征图pspe_cat∈c×e的光谱维按顺序进行分组，得到rspe_i＝[ri×m，ri×m+1，…，ri×m+m]，其中，i＝0，…，g-1，ri×m为第i×m段光谱维所对应的特征信息，m表示每一组光谱带数量，并对每组采用不同尺寸的一维卷积进行多尺度特征提取得到再对这些特征进行合并操作pspe_cat得到p′spe_n；
11、2-2)空间支路检漏操作fspa_mgr为：对得到的中间特征图pspa_n∈rw×w×c，对通道按照顺序进行分组，得到：bspa_i＝[bi×t，bi×t+1，…，bi×t+t]，其中，i＝0，…，g-1，bi×t为第i×t段通道所对应的特征信息，t表示每一组包含通道数量，并对每组采用不同尺寸的二维卷积进行多尺度特征提取得到再对这些特征进行合并操作fspa_cat得到p′spa_n。
12、步骤4)中所述的交叉注意力融合模块为：
13、4-1)将光谱精细特征si∈r1×1×d和空间精细特征pj∈rw×w×c作为输入，交叉自注意操作定义如下：
14、
15、其中，函数f产生两向量之间的自适应权重向量，函数g产生输入单个输入向量的特征表示，归一化因子ss定义为得到的光谱交互特征cn和空间交互特征vn；
16、4-2)对两交互特征通过自注意力机制进行细化得到光谱细化特征c′n和空间细化特征v′n；
17、4-3)将两个细化特征c′n和v′n进行相加得到融合特征on。
18、本技术方案有两个分支，分别对空间和光谱进行特征提取，以减少空间和光谱这两类特征之间的干扰，有效地捕获空间和光谱的精细特征；考虑到光谱与空间特征之间的相互作用，使用空谱交叉注意力融本文档来自技高网...
【技术保护点】
1.基于双分支空谱特征交叉融合网络的高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双分支空谱特征交叉融合网络的高光谱图像分类方法，其特征在于，步骤2)和步骤3)中所述的检漏操作过程为：
3.根据权利要求1所述的基于双分支空谱特征交叉融合网络的高光谱图像分类方法，其特征在于，步骤4)中所述的交叉注意力融合模块为：
【技术特征摘要】
1.基于双分支空谱特征交叉融合网络的高光谱图像分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双分支空谱特征交叉融合网络的高光谱图像分类方法，其特征在于，...
【专利技术属性】
技术研发人员：欧阳宁，黄辰钰，林乐平，莫建文，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。