基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法技术

基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法，本发明专利技术涉及高光谱图像分类方法。本发明专利技术的目的是为了解决现有高光谱图像分类由于高光谱图像包含丰富的信息，故光谱及空间特征提取不充分，以及小样本下的过拟合，导致对高光谱图像分类准确率低的问题。过程为：一、采集高光谱图像数据集和相对应的标签向量数据集；二、建立基于光谱空间注意力融合和可变形卷积残差网络SSAF

【技术实现步骤摘要】
基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法


[0001]本专利技术涉及高光谱图像分类方法。

技术介绍

[0002]高光谱图像(Hyperspectral Images，HSIs)是由一些搭载高光谱成像仪的航天飞行器获取的图像。图像的每个像元包含数百种不同波段的反射信息，这使得这类图像适用于许多实际应用，例如军事目标探测、矿产勘查、农业生产
[1
‑
4]等。在高光谱图像分析与处理领域，包括在高光谱图像分类方面，已经得到了许多研究成果。然而，高光谱图像分类仍存在三个问题：1)理论上，网络层越深，分类精度越高。但是，对于数据量巨大的高光谱数据来说，太深、太复杂的网络分类效果并不理想；2)相比于自然图像，高光谱数据集通常较小，基于小样本的训练很容易导致过拟合，不利于模型的泛化；3)高光谱图像包含丰富的空间和光谱信息，空谱特征提取不足的问题仍然存在。HSI分类的目的是根据每个像元的空间和光谱特征，将其划分至一个特定类别。故充分利用高光谱图像所包含的空间和光谱信息，是提高高光谱图像分类精度的重要手段。
[0003]在高光谱图像分类的早期阶段，大多数方法都集中于提取高光谱图像的光谱特征进行分类
[5]。支持向量机(SVM)
[6]和多项逻辑回归
[7]是解决高光谱图像分类任务的有力工具。尽管可以通过光谱特征来区分不同的物质，但仅基于光谱信息的提取方式限制了高光谱图像的分类性能。在此基础上，后来提出了一些光谱与空间信息相结合的分类方法(如基于超像素的稀疏表示
[8
‑
9]、多核学习
[10]等)，以提高高光谱图像的分类性能。尽管这种空谱信息融合的方式可以提高对高光谱图像的分类精度，但有效的空间特征提取、光谱特征提取以及空间光谱信息融合仍然存在很大的挑战。
[0004]与低效率的手工特征提取不同，卷积神经网络(Convolutional Neural Networks,CNN)可以自动提取图像特征。近年来，CNN被广泛应用于高光谱图像分类。一些方法是将3D
‑
CNN作为一个整体直接提取光谱
‑
空间特征。例如，陈等人提出了一种基于核采样CNN的深度特征提取架构来提取HSI的光谱空间特征
[11]。一些方法是分别提取空间特征和光谱特征。文献
[12]构建了一个三层结构的CNN，通过光谱特征和双尺度空间特征的级联，从浅层到深层提取空间光谱特征。然后，融合多层空间光谱特征获取互补信息。最后，将融合后的特征和分类器整合到一个统一的网络中，以端到端的方式进行优化。杨等人提出了一种双分支结构的深度卷积神经网络来提取HSIs的联合光谱
‑
空间特征
[13]。
[0005]卷积神经网络(Convolutional neural networks，CNNs)在高光谱图像分类中取得了卓越的性能。然而，网络模型的分类性能通常与计算复杂度密切相关。对于包含大量数据的高光谱图像来说，过于复杂的网络并不适用。此外，尽管许多深度学习技术已用于高光谱图像分类，但由于高光谱图像具有较高的空间和光谱分辨率，故空谱特征提取不充分的问题仍然存在。

技术实现思路

[0006]本专利技术的目的是为了解决现有高光谱图像分类由于高光谱图像包含丰富的信息，故光谱及空间特征提取不充分，以及小样本下的过拟合，导致对高光谱图像分类准确率低的问题，而提出基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法。
[0007]基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法具体过程为：
[0008]步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：
[0009]步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9
×9×
L大小的立方体，其中L是光谱维数；9
×
9代表长
×
宽；
[0010]步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；
[0011]同理，Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x3的对应标签向量数据，Y3是x3的对应标签向量数据；
[0012]步骤二、建立基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR；
[0013]步骤三、将x1,x2和Y1,Y2输入到建立的基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR中，采用Adam算法进行迭代优化，得到最优网络SSAF
‑
DCR；
[0014]步骤四、向最优网络SSAF
‑
DCR中输入x3进行分类结果预测。
[0015]本专利技术的有益效果为：
[0016]针对上述问题，本专利技术提出了一种轻量级的基于光谱空间注意融合和可变形卷积残差(SSAF
‑
DCR)网络的高光谱图像分类算法。该网络由三部分组成，每个部分顺序连接以提取特征。在第一部分中，利用光谱密集块尽可能多地复用光谱特征，然后采用光谱注意力块进行光谱特征的细化和优化；第二部分分别通过空间密集块和空间注意力块提取及选择空间特征；然后，将前两部分的结果融合后发送到第三部分，通过DCR块深度提取空间特征；最后通过linear层实现分类。在四种常用的高光谱数据集上进行测试，实验结果表明，在训练样本较少的情况下，提出的SSAF
‑
DCR方法优于一些最新的分类方法。
[0017]本专利技术分别提取光谱特征和空间特征的方法可以实现有效的特征提取，但并未充分考虑光谱与空间上下文的相关性。因此，结合两者的优点，并弥补其不足，提出了一种可变形卷积残差(DCR)和光谱空间注意力融合算法。具体创新点如下：
[0018]1)提出了一种端到端的深度特征提取和分类网络。与其他的多分支结构不同，该方法增加了网络的深度，能够实现各部分特征的有效提取和融合，从而提升分类性能。
[0019]2)提出了一种从高光谱图像中提取光谱空间特征的新方法。先利用三维CNN提取高光谱图像的光谱特征和低层空间特征，再用二维CNN提取高光谱图像的高层空间特征。
[0020]3)针对注意力块，设计了一种类似残差的融合方法。能够增强对高光谱图像的空谱特征表示能力，从而有助于准确分类。
[0021]4)为了突破传统卷积核固定感受野用于特征提取的局限性，引入了可变形卷积，并设计了DCR模块以进一步提取空间特征。该方法不仅调整了感受野，同时也进一步提高了分类性能，增强了泛化能力。
[0022]本专利技术提出了一种新的基于轻量级SSAF
‑
DCR的高光谱图像分类方法。提出的SSAF
‑
DCR方法首先利用光谱密集块进行有效的光谱特征提取；然后，使用光谱注意块来关
注更感兴趣的特征，忽略不重要的信息。同样，空间密集块可以在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：步骤一、采集高光谱图像数据集X和相对应的标签向量数据集Y；具体过程为：步骤一一、从高光谱图像数据集X中以目标像素为中心分别提取9
×9×
L大小的立方体，其中L是光谱维数；9
×
9代表长
×
宽；步骤一二、将高光谱图像数据集X随机分配成x1,x2,x3,分别表示训练数据、验证数据和测试数据；Y包括Y1、Y2、Y3；Y1是x1的对应标签向量数据，Y2是x3的对应标签向量数据，Y3是x3的对应标签向量数据；步骤二、建立基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR；步骤三、将x1,x2和Y1,Y2输入到建立的基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR中，采用Adam算法进行迭代优化，得到最优网络SSAF
‑
DCR；步骤四、向最优网络SSAF
‑
DCR中输入x3进行分类结果预测。2.根据权利要求1所述基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法，其特征在于：所述步骤二中基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR包括：第一输入层、第一单元、第二输出层、第六批归一化层、第一隐层Dropout、第三输入层、第二单元、第十三三维卷积、第十三批归一化层、第二隐层Dropout、第五输入层、第三单元、全局平均池化层、全连接层；所述第一单元包括：第一三维卷积层、光谱密集块、第五批归一化层、第五PReLU激活层、第六三维卷积层、光谱注意力块；所述光谱密集块包括：第一批归一化层、第一PReLU激活层、第二三维卷积层、第二批归一化层、第二PReLU激活层、第三三维卷积层、第三批归一化层、第三PReLU激活层、第四三维卷积层、第四批归一化层、第四PReLU激活层、第五三维卷积层；所述光谱注意力块包括：第二输入层、第一softmax激活层、第一输出层；所述第二单元包括：第七批归一化层、第六PReLU激活层、第七三维卷积层、空间密集块、第十二批归一化层、空间注意力块；所述空间密集块包括：第八批归一化层、第七PReLU激活层、第八三维卷积层、第九批归一化层、第八PReLU激活层、第九三维卷积层、第十批归一化层、第九PReLU激活层、第十三维卷积层、第十一批归一化层、第十PReLU激活层、第十一三维卷积层；所述空间注意力块包括：第四输入层、第十二三维卷积层、第二softmax激活层、第三输出层；所述第三单元为DCR模块，DCR模块包括：第十四二维卷积层、第十四批归一化层、第一ReLU激活层、第十五二维可变形卷积层、第十五批归一化层、第二ReLU激活层、第十六二维卷积层、第十六批归一化层、第三ReLU激活层。3.根据权利要求2所述基于光谱空间注意力融合和可变形卷积残差网络的高光谱图像分类方法，其特征在于：所述基于光谱空间注意力融合和可变形卷积残差网络SSAF
‑
DCR连接关系为：第一输入层的输出层连接第一单元中的第一三维卷积层的输入，第一三维卷积层的输
出分别作为光谱密集块中的第一批归一化层的输入、第二批归一化层的输入、第三批归一化层的输入和第五批归一化层的输入；第一批归一化层的输出连接第一PReLU激活层的输入，第一PReLU激活层的输出连接第二三维卷积层的输入，第二三维卷积层的输出分别作为第二批归一化层的输入、第三批归一化层的输入和第四批归一化层的输入；第二批归一化层的输出连接第二PReLU激活层的输入，第二PReLU激活层的输出连接第三三维卷积层的输入，第三三维卷积层的输出分别作为第三批归一化层的输入、第四批归一化层的输入和第五批归一化层的输入；第三批归一化层的输出连接第三PReLU激活层的输入，第三PReLU激活层的输出连接第四三维卷积层的输入，第四三维卷积层的输出分别作为第四批归一化层的输入和第五批归一化层的输入；第四批归一化层的输出连接第四PReLU激活层的输入，第四PReLU激活层的输出连接第五三维卷积层的输入，第五三维卷积层的输出作为第五批归一化层的输入；第五批归一化层的输出连接第五PReLU激活层的输入，第五PReLU激活层的输出连接第六三维卷积层的输入，第六三维卷积层的输出作为光谱注意力块中第二输入层的输入，对第二输入层的输出进行变形得到特征a，对特征a进行转置得到特征b，将特征a和特征b相乘得到特征c，将特征c作为第一softmax激活层的输入，将第一softmax激活层的输出特征与特...

【专利技术属性】
技术研发人员：石翠萍，张甜雨，王天毅，
申请(专利权)人：齐齐哈尔大学，
类型：发明
国别省市：