基于双分支光谱多尺度注意力网络的高光谱图像分类方法技术

基于双分支光谱多尺度注意力网络的高光谱图像分类方法，本发明专利技术涉及高光谱图像分类方法。本发明专利技术的目的是为了解决现有高光谱图像提取的过程中，由于高光谱图像的高维特性以及小训练样本的情况，导致高光谱图像分类准确率低的问题。过程为：步骤一、采集高光谱图像数据集和相对应的标签向量数据集；步骤二、建立双分支光谱多尺度注意力网络DBSMA；步骤三、将训练数据、验证数据和对应标签向量数据输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；步骤四、向最优网络DBSMA中输入测试数据进行分类结果预测。本发明专利技术用于图像分类领域。类结果预测。本发明专利技术用于图像分类领域。类结果预测。本发明专利技术用于图像分类领域。

【技术实现步骤摘要】
基于双分支光谱多尺度注意力网络的高光谱图像分类方法


[0001]本专利技术涉及高光谱图像分类方法。

技术介绍

[0002]近年来，随着科学技术的快速发展，遥感图像被应用于许多领域。高光谱图像具有较高的空间分辨率以及丰富的光谱波段
[1]，这使其应用领域十分广泛，如地球勘探
[2]、环境监测
[3]、生态科学
[4]等。
[0003]高光谱图像分类是高光谱技术的重要应用之一。由于高光谱图像含有丰富的空间和光谱信息，充分地提取图像的空间特征和光谱特征，能够有效提高高光谱图像分类精度。因此，很多提取空间特征和光谱特征的方法被提出，以提高对高光谱图像的分类性能。在早期，基于线性的分类方法被提出，如判别约束分析
[5]、主成分分析
[6]，以及平衡局部判别方法
[7]等。但由于线性方法表达能力较弱，应用在较复杂的问题中，分类效果较差。为了改善分类性能，一些基于流型学习的分类方法被提出，如C.Zhao等人
[8]提出了基于稀疏低秩近等距线性嵌入方法，以及F.Luo等人
[9]提出的半监督稀疏流型识别分析方法等。
[0004]关于图像分类，涌现出很多具有代表性的分类器。例如，基于无监督聚类的k最近邻的分类器
[10]、适用于高维数据的半监督方法的逻辑回归分类器
[11]、结构非常简单的极端学习分类器
[12]、基于稀疏表示的分类器
[13]，以及支持向量机分类器
[14]。其中，基于支持向量机的分类器在训练样本较少的情况下，相比其他分类器，对图像的分类效果更佳。
[0005]高光谱图像具有丰富的信息。然而，传统的机器学习方法并不能充分挖掘高光谱图像的特征，虽然能够提取图像的浅层特征，但对高光谱图像的分类效果较差，且泛化能力较弱。随着图像处理技术的快速发展及硬件性能的提升，一些能够学习更深层特征的深度学习方法被相继提出。由于深度学习方法的先进性，它已经被广泛应用于图像处理领域。特别地，研究工作证明深度学习方法在高光谱图像分类中同样具有很好的表现
[15]。为了改进传统的手工空间
‑
光谱学习方法，Tao等人
[16]提出一种基于堆叠稀疏自动编码器的方法(SAE)，从未标记数据中自适应地学习合适的特征表示，最后用支持向量机分类器进行分类。在
[17]，提出了一种通过空间
‑
光谱局域化和分类的方式来提高分类精度的深度置信网络(DBN)。但SAE和DBN两个网络具有参数量较大的完整的连接层，且空间扁平化操作也使得空间信息被破坏。
[0006]目前，有很多深度学习的方法被应用在高光谱图像分类中，并且得到了很好的分类性能。递归神经网络(RNNs)因其较好的数据建模能力
[18]‑
[20]，被人们关注并广泛地应用于图像分类。但由于RNNs在小样本情况下提取图像的特征效果不佳，导致分类性能并不理想。为缓解这一问题，一种生成对抗网络被提出，它能够生成高质量的数据样本
[21]‑
[28]。同样地，通过图结构数据建模的图卷积神经网络(GCNs)利用半监督的方式缓解了小样本带来的问题
[29][30]。
[0007]受人类视觉的启发，CNN通过采用局部连接的权值共享方式来训练模型，能够提供较好的高光谱图像分类性能。在高光谱图像分类研究中，大多数方法都是基于空间
‑
光谱联
合方式提取特征
[31]。在
[32]，Zhang等人提出了一种双通道卷积神经网络(DCCNN)，一个通道利用1
‑
D CNN提取图像的光谱信息，另一个通道则是利用2
‑
D CNN提取图像的空间信息，最后通过回归分类器将两个通道分别提取的光谱信息和空间信息融合分类。为了降低需要的参数，Chen等人
[33]提出了一种同时提取深层光谱和空间信息的方法3DCNN。在
[34]，Mei等人为探究五层CNN在高光谱分类中的特征学习能力，提出了一种新的深度学习方法C
‑
CNN，即通过将空间上下文信息和光谱信息集成到C
‑
CNN，从而提高空间和光谱信息的表征能力。虽然基于CNN的方法能够提取较好的特征，但为了避免过拟合，参数的微调通常需要大量的数据样本。然而，数据样本的获取昂贵并且耗时。因此，一种层之间快捷连接的网络(DenseNet)
[35]被提出，能够较好地提高网络对高光谱图像的泛化能力。为了提高深层网络的学习能力，避免梯度爆炸以及梯度消散的问题发生，He等人
[36]设计一个深度残差网络(ResNet)，该网络能够使深层网络后面的层与浅层网络进行恒等映射，从而使深层网络后面的层具有与浅层网络一样的性能。为了联合学习高光谱图像的空间和光谱信息，Zhong等人
[37]提出了一种空间残差和光谱残差的监督残差网络(SSRN)。但由于SSRN的训练时间较长，Wang等人
[38]提出了一种快速密集的空间光谱卷积网络(FDSSC)，能够有效降低数据维度。在
[39]，Paoletti等人提出一种残差金字塔网络(pResNet)，在平衡所有单元的工作负载的同时，能够逐渐增加各层之间的特征映射维度。从高光谱图像中提取的特征，不可避免地存在大量的冗余信息。受人类视觉注意力的启发，Juan等人
[40]提出一种A
‑
ResNet与注意力结合的模型，能够从视觉角度识别数据中最具代表性的特征。同样地，Woo等人
[41]将ResNet网络与一种前馈卷积神经网络的注意力模块结合，提出了一种卷积注意模块(CBAM)，很好地保留有用特征并抑制无用特征，最后得到了较好的高光谱图像分类结果。为了提取更有判别力的空间特征和光谱特征，Ma等人
[42]提出一种双分支多注意力网络(DBMA)，即通过双分支分别使用不同的注意力机制提取高光谱图像的空间特征和光谱特征，然后将提取的两种特征融合分类。实验结果表明DBMA网络在高光谱分类中具有很好的表现。为了进一步研究，Li等人
[43]提出了一种用于人机交互的双分支双注意力机制网络(DBDA)，在小训练样本数量的情况下，具有很好的分类性能。
[0008]相比于传统的机器学习方法，上述方法虽然在高光谱图像分类中更有优势，且具有一定的泛化能力。然而，在小样本情况下，提高高光谱图像的分类性能依然是一项重大的挑战。由于高光谱图像提取的过程中，包含大量的冗余信息以及不同标记样本之间的不平衡性，这大大降低了高光谱图像的分类性能。因此，如何在有限的样本情况下获取更多的样本特征依然值得深入研究。

技术实现思路

[0009]本专利技术的目的是为了解决现有高光谱图像提取的过程中，由于高光谱图像的高维特性以及小训练样本的情况，导致高光谱图像分类准确率低的问题，而提出基于双分支光谱多尺度注意力网络的高光谱图像分类方法。
[0010]基于双分支光谱多尺度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9
×9×
L大小的立方体，其中L是光谱波段；9
×
9代表空间大小；步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；同理，Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x2的对应标签向量数据，Y3是x3的对应标签向量数据；步骤二、建立双分支光谱多尺度注意力网络DBSMA；步骤三、将x1,x2和Y1,Y2输入到建立的双分支光谱多尺度注意力网络DBSMA中，采用Adam算法进行迭代优化，得到最优网络DBSMA；步骤四、向最优网络DBSMA中输入x3进行分类结果预测。2.根据权利要求1所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述步骤二中建立双分支光谱多尺度注意力网络DBSMA；具体过程为：双分支光谱多尺度注意力网络DBSMA包括第一输入层、第一三维卷积层、第二三维卷积层、多尺度光谱金字塔密集连接模块、空间密集连接块、空间注意力模块、第七BN批归一化层、第七Mish激活层、第十三维卷积层、光谱注意力模块、第八BN批归一化层、第八Mish激活层、第九BN批归一化层、第九Mish激活层、第一Dropout层、第二Dropout层、全局均值池化层、全连接层以及分类器。3.根据权利要求2所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述双分支光谱多尺度注意力网络DBSMA连接关系为：第一输入层的输出层分别连接第一三维卷积层和第二三维卷积层；第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七Mish激活层，第七Mish激活层的输出连接第十三三维卷积层，第十三三维卷积层的输出连接光谱注意力模块；空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；光谱注意力模块的输出连接第九BN批归一化层，第九BN批归一化层的输出连接第九Mish激活层，第九Mish激活层的输出连接第二Dropout层；将第一Dropout层的输出和第二Dropout层的输出进行级联，级联后输入全局均值池化层，全局均值池化层的输出连接全连接层，全连接层输出结果通过分类器实现分类。4.根据权利要求3所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述空间密集连接块包括第一BN批归一化层、第一Mish激活层、第三三维卷积层、第二BN批归一化层、第二Mish激活层、第四三维卷积层、第三BN批归一化层、第三Mish激活层、第五三维卷积层。
5.根据权利要求4所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第一三维卷积层的输出连接空间密集连接块，空间密集连接块的输出连接空间注意力模块；具体连接关系为：第一三维卷积层的输出分别作为第一BN批归一化层、第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；第一BN批归一化层的输出连接第一Mish激活层，第一Mish激活层连接第三三维卷积层，第三三维卷积层的输出分别作为第二BN批归一化层、第三BN批归一化层和空间注意力块中第二输入层的输入；第二BN批归一化层的输出连接第二Mish激活层，第二Mish激活层连接第四三维卷积层，第四三维卷积层的输出分别作为第三BN批归一化层和空间注意力块中第二输入层的输入；第三BN批归一化层的输出连接第三Mish激活层，第三Mish激活层连接第五三维卷积层，第五三维卷积层的输出作为空间注意力块中第二输入层的输入。6.根据权利要求5所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述空间注意力模块的输出连接第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层；具体连接关系为：空间注意力模块中第二输入层的输出分别连接第二十六三维卷积层、第二十七三维卷积层、第二十八三维卷积层；对第二十六三维卷积层输出特征进行变形得到特征a，对特征a进行转置得到特征b；对第二十七三维卷积层输出特征进行变形得到特征c，将特征b和特征c相乘得到特征d，将特征d经过softmax激活层得到特征e；对第二十八三维卷积层输出特征进行变形得到特征f，将特征f和特征e相乘得到特征g，对特征g进行变形得到特征h，将特征h和第二输入层的输出特征相乘得到特征i；特征i输入第八BN批归一化层，第八BN批归一化层的输出连接第八Mish激活层，第八Mish激活层的输出连接第一Dropout层。7.根据权利要求6所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述多尺度光谱金字塔密集连接模块包括第四BN批归一化层、第四Mish激活层、第六三维卷积层、第十四三维卷积层、第十五三维卷积层、第十六三维卷积层、第二十三三维卷积层、第七三维卷积层、第五BN批归一化层、第五Mish激活层、第八三维卷积层、第十七三维卷积层、第十八三维卷积层、第十九三维卷积层、第二十四三维卷积层、第九三维卷积层、第六BN批归一化层、第六Mish激活层、第十三维卷积层、第二十三维卷积层、第二十一三维卷积层、第二十二三维卷积层、第二十五三维卷积层、第十一三维卷积层。8.根据权利要求7所述基于双分支光谱多尺度注意力网络的高光谱图像分类方法，其特征在于：所述第二三维卷积层的输出连接多尺度光谱金字塔密集连接模块，多尺度光谱金字塔密集连接模块的输出连接第七BN批归一化层，第七BN批归一化层的输出连接第七M...

【专利技术属性】
技术研发人员：石翠萍，廖帝灵，王天毅，
申请(专利权)人：齐齐哈尔大学，
类型：发明
国别省市：