基于深度光谱空间倒残差网络的高光谱图像分类方法技术

基于深度光谱空间倒残差网络的高光谱图像分类方法，本发明专利技术涉及高光谱图像分类方法。本发明专利技术的目的是为了解决现有高光谱图像数据集中标记样本有限，并实现光谱空间特征的有效提取的问题。过程为：步骤一、获取高光谱图像步骤二、建立DSSIR模型；步骤三、将训练集输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集验证不断更新参数，直到获得最优参数；步骤四、将测试集输入最优模型得到最终预测结果。本发明专利技术用于高光谱图像分类领域。光谱图像分类领域。光谱图像分类领域。

【技术实现步骤摘要】
基于深度光谱空间倒残差网络的高光谱图像分类方法


[0001]本专利技术涉及高光谱图像分类方法。

技术介绍

[0002]高光谱图像(HSI)可以看作一个具有数百个光谱通道的三维立方体。HSI的每个像元均包含数百种不同波段的反射信息，这使得这类图像适用于许多实际应用，例如军事侦察
[1]，环境监测
[2]以及地质勘探
[3],[4]等领域。近十年来，得益于成像技术的发展与成熟，高光谱图像处理技术变得越来越成熟。然而，在HSI分类领域，仍然面临着一些挑战：1)HSI数据中标记的可用样本较少，模型训练过程中存在过拟合现象；2)由于HSI蕴含丰富的光谱空间信息，因此光谱空间信息不充分提取的问题仍然存在。另外，还存在同一类别地物呈现不同光谱曲线，不同类别地物呈现相同光谱曲线的现象。
[0003]传统机器学习的HSI分类方法使用手工制作的特征来训练分类器。显然，特征提取与分类器的训练是分开的。手工制作特征的代表性方法如：局部二值模式(LBPs)
[5]、定向梯度直方图(HOG)
[6]、全局不变可伸缩变换(GIST)
[7]和随机森林
[8]等。代表性分类器有logistic回归
[9]、极限学习机
[10]和支持向量机(SVM)
[11]。手工制作特征的方法可以有效地表示图像的各种属性，然而不同数据之间的最佳特征集差异很大，再加上人工参与设计特征，对最终分类效果会有较大的影响。由于手工制作特征存在上述局限性，越来越多的研究者将深度学习模型应用于HSI分类任务中，并取得了很大的成功。
[0004]基于深度学习框架的HSI分类方法可分为监督分类方法和非监督分类方法。非监督分类方法仅依靠HSI上不同类地物光谱或纹理信息进行特征提取，再统计特征的差别来达到分类的目的。例如，Chen等人首次提出了一个堆叠式自动编码器(SAE)来获取有用的高级特性
[12]。还有一些SAE的变体也被提出
[13],[14],[15]。文献
[16]提出了另外一种基于深度置信网络(DBN)的HSI数据特征提取和图像分类框架，还结合了主成分分析法(PCA)和logistic回归。然而，尽管以上两种分类器可以达到比大多数传统方法更高的准确率，但是会造成信息的丢失。后来，生成对抗网络(GAN)的提出给非监督分类方法带来更广阔的前景
[17]。例如，Zhu等人提出一种基于生成对抗网络(GAN)的HSI分类方法，生成器生成尽可能真实的假输入，判别器对真实输入和假输入进行判别分类，得到了较高的分类精度
[18]。监督分类则是用被确认类别的样本像元去识别其他未知类别像元的过程。例如，Mou等人提出了一种循环神经网络(RNN)模型，该模型可以有效地将高光谱像素分析为序列数据，然后通过网络推理确定信息类别
[19]。
[0005]基于CNN的HSI分类方法也是一种典型的监督分类方法，而且CNN作为一种强大的神经网络，关键就在于其自动提取特征的能力。目前，大多数基于CNN的HSI分类方法研究的是联合光谱空间特征提取用于实现HSI分类。根据特征提取方式，联合光谱空间特征提取方法分为以下两种：1)分别提取光谱和空间特征，融合后进行分类。2)直接提取光谱空间特征进行分类。分别进行特征提取的方法有很多，例如：Zhang等人提出了一种双通道CNN(DCCNN)模型，采用一维CNN和二维CNN分别实现频谱和空间特征提取
[20]。文献
[21]提出了一
种双流架构，其中一个流通过堆叠降噪自动编码器对光谱特征进行编码，另一个流通过深度CNN提取空间特征。在文献
[22]中，通过将光谱特征和双尺度空间特征从浅层到深层级联，构建了一个三层结构的CNN来提取光谱
‑
空间特征。然后，融合多层空间光谱特征，提供互补信息。最后，将融合后的特征和分类器集成到一个统一的网络中，以端到端的方式进行优化。Yang等人提出了一种具有双分支结构的深度卷积神经网络来提取HSIs的联合光谱
‑
空间特征
[23]。上述提出的方法能够结合空间信息，但忽略了HSI的完整性。在这种情况下，在有效结合光谱空间上下文关系和保留HSI信息的完整性方面，直接提取特征的方法展现了它的优越性。例如，Chen等人提出了一种基于核采样的3D
‑
CNN架构来提取HSI的光谱空间特征
[24]。文献
[25]引入了一种具有密集连通性的快速光谱空间模型，用于HSI分类。Zhong等人提出了一种光谱空间残差网络，光谱和空间残差块不断地从HSI丰富的光谱特征和空间背景中学习鉴别特征，以提高分类性能
[26]。Wang等人提出了一种使用具有循环反馈结构的端到端交替更新光谱空间卷积网络来学习HSI的光谱和空间特征
[27]。Fang等人提出了一个密集连接与光谱注意机制相结合的3D
‑
CNN模型，得到了很好的分类结果
[28]。深度学习中的注意力思想
[29],[30],[31]本质上与人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出更关键的信息。如今，注意力机制也被广泛应用于HSI分类任务中。例如，Xi等人受SE块
[29]的启发，设计了一种3DSERes块来探索丰富的光谱和空间上下文信息。还有在文献
[32]中，使用两个具有不同压缩策略的双线性SENet来提升HSI分类的性能。
[0006]然而，深度学习模型通常需要大量的训练样本来获得最优性能。为了解决HSI有限的标记样本问题，避免过拟合现象，研究者们进行了大量的研究。前期比较常用的有几何变换方法和像素变换方法。后来，还有一些特殊的方法被提出。例如，GAN能够生成与真实数据相似的样本
[33]，Wu等人提出的CRNN模型首先预训练所有训练数据及其伪标签，然后通过有限的标记数据进行微调
[34]。除了上述两种模型，CNN也能用来缓解HSI的小样本问题。例如，Li等人提出了一种像素对(PPF)方法，由训练好的1D
‑
CNN对测试中心像素和周围像素组合而成的像素对进行分类，并通过投票策略确定最终标签
[35]。后来，文献
[36]提出了一种像素块对(PBP)方法，利用深度CNN模型提取PBP特征。Haut等人引入了一种随机擦除方法来增加标记数据的数量
[37]。在文献
[38]中，Zhang等人提出了一种数据平衡增强方法，可以解决标记数据有限和类别不平衡的问题。

技术实现思路

[0007]本专利技术的目的是为了解决现有高光谱图像数据集中标记样本有限，并实现光谱空间特征的有效提取的问题，而提出基于深度光谱空间倒残差网络的高光谱图像分类方法。
[0008]基于深度光谱空间倒残差网络的高光谱图像分类方法具体过程为：
[0009]步骤一、获取高光谱图像其中为高为H，宽为W，光谱通道为B的三维高光谱图像(HSI)立方体，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述方法具体过程为：步骤一、获取高光谱图像其中为高为H，宽为W，光谱通道为B的三维高光谱图像立方体，Y是高光谱图像数据中的标签向量；具体过程为：步骤一一、将进行随机分块，分成若干3D立方体块，把3D立方体块作为新的样本集其中h，w，B分别代表3D立方体块的高度，宽度和光谱维度，h，w被设置为相同的值；步骤一二、按照一定的比例从新的样本集P中随机抽样得到训练集X
train
，再按照相同的比例从其余部分中随机抽样得到验证集X
valid
，剩余比例作为测试集X
test
；步骤二、建立DSSIR模型；步骤三、将训练集X
train
输入DSSIR模型对DSSIR模型进行训练，得到DSSIR模型的初始参数，经过验证集X
valid
验证不断更新参数，直到获得最优参数；步骤四、将测试集X
test
输入最优模型得到最终预测结果Y'。2.根据权利要求1所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述建立的DSSIR模型；具体过程为：DSSIR模型分为三个阶段：基于分块随机擦除的数据增强阶段、具有双输入融合和DIR模块的深度特征提取阶段以及分类阶段；所述具有双输入融合和DIR模块的深度特征提取阶段包括双输入融合部分和DIR密集连接部分；所述DIR密集连接部分包括第一DIR模块、第二DIR模块和第三DIR模块；训练集X
train
输入DSSIR模型的基于分块随机擦除的数据增强阶段，输出结果输入具有双输入融合和DIR模块的深度特征提取阶段中的双输入融合部分；双输入融合部分的输出作为第一DIR模块的输入，双输入融合部分的输出和第一DIR模块的输出的级联作为第二DIR模块的输入，双输入融合部分的输出、第一DIR模块的输出和第二DIR模块的输出的作为第三DIR模块的输入；双输入融合部分的输出、第一DIR模块的输出、第二DIR模块的输出、第三DIR模块的输出级联后输入分类阶段进行分类。3.根据权利要求2所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述基于随机擦除的数据增强阶段的具体处理过程为：a)、对于训练样本集X
train
，S为原始输入三维立方体的空间维面积，W为此立方体的宽，H为此立方体的高，擦除概率设置为p，随机初始化擦除区域的面积设置为S
e
，随机初始化的擦除区域的面积S
e
与输入三维立方体的空间维面积S的比率设置在p
l
和p
h
之间，S
e
的高宽比r
e
设置在r1和r2之间；其中，p
l
为比率的下界，p
h
为比率的上界，r1为高宽比r
e
的下界，r2为高宽比r
e
的上界；随机获得概率p1＝Rand(0,1)，如果满足p1＜p，则执行b)；否则结束；
b)、根据随机得到的擦除区域比例计算得到初始擦除区域S
e
＝rand(p
l
,p
h
)*S；其中，rand(p
l
,p
h
)为随机得到的擦除区域比例，S为原始输入三维立方体的空间维面积；c)、再根据随机得到的高宽比计算得到擦除区域的长宽：其中，H
e
为擦除区域的长，W
e
为擦除区域的宽，*为乘法运算，rand(r1,r2)为随机得到的高宽比；d)、再根据随机得到的高宽值得到擦除的左上角的坐标(x
e
,y
e
)；分别加上公式(1)得到的长宽，得到擦除区域的位置坐标(x
e
+W
e
,y
e
+H
e
)，即得到变化的三维立方体；其中，x
e
＝rand(0,W)，y
e
＝rand(0,H)；e)、若所求擦除区域的位置坐标(x
e
+W
e
,y
e
+H
e
)超出了原始输入空间S的边界，则重复上述b)
‑
d)过程，继续求擦除区域的位置，否则得到擦除区域的位置坐标(x
e
+W
e
,y
e
+H
e
)。4.根据权利要求3所述基于深度光谱空间倒残差网络的高光谱图像分类方法，其特征在于：所述双输入融合部分的具体处理过程为：设x∈X
trainh
×
h
×
l
为经过随机擦除处理的数据，将x分别经过谱处理f(
·...

【专利技术属性】
技术研发人员：石翠萍，张甜雨，张鑫磊，
申请(专利权)人：齐齐哈尔大学，
类型：发明
国别省市：