基于残差增强空谱融合超图神经网络的高光谱图像分类方法技术

一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法，包括以下步骤：S1：通过不同的特征提取策略分别提取高光谱图像的光谱

【技术实现步骤摘要】
基于残差增强空谱融合超图神经网络的高光谱图像分类方法


[0001]本专利技术涉及计算机视觉、遥感图像数据处理等
，具体涉及一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法。
技术背景
[0002]高光谱遥感图像与传统的全色图像或多光谱图像相比具有大量的光谱信息。因此，在经典的土地覆盖分类任务中具有令人满意的性能和更大的研究价值，但大量光谱信息同时带来信息冗余问题。如何精准有效的提取高光谱数据信息并发掘潜在特征已成为高光谱图像分类任务的关键。
[0003]传统依赖光谱特征的机器学习分类方法(如支持向量机、神经网络、核方法、多项式逻辑回归等及其变种)存在Hughes现象且对噪声比较敏感，导致分类精度较低。由于深度学习已经在计算机视觉方面取得了很好的效果，我们想以深度模型分布式特征表达替代传统人工设计的特征提取方式，解决高光谱数据结构多样化及复杂噪声影响所带来的多种问题。空谱融合策略能充分挖掘和利用高光谱图像内局部像元依赖关系，通过利用地物邻域聚集属性提升高光谱图像监督分类性能。超图结构可以表示更多复杂信息，但传统超图神经网络存在过度平滑问题，即当层堆叠时，其性能显著下降。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法，能够精准有效的提取高光谱图像信息并挖掘高光谱数据的潜在特征，以解决传统超图神经网络随着深度增加带来的性能显著下降问题，具有较好的实用性和鲁棒性。
[0005]为了解决上述技术问题本专利技术提供如下的技术方案：
[0006]一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法，包括以下步骤：
[0007]步骤S1：通过不同的特征提取策略分别提取高光谱图像的光谱
‑
空间特征，即将原始图像展平成矩阵计算光谱特征，由像素的水平和垂直坐标生成空间特征；
[0008]步骤S2：将不同模态的特征分别生成超图并进行融合，生成多模态超图关联矩阵；并且根据超图结构计算出超边和顶点；
[0009]步骤S3：将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练，通过反向传播动态更新超图，得到每个像素的预测分类标签。
[0010]进一步，所述步骤S1包含以下步骤：
[0011]步骤S11：高光谱图像数据集读取：读取预处理后的训练集和带有标注信息的测试集，对每个分类类别选取5
‑
15个测试样本；
[0012]步骤S12：光谱特征提取：将原始图像展平计算得到光谱特征X
spe
，具体细节是读取图像N表示图像像素个数，d表示光谱通道数，选取最后两个通道前
的所有通道，计算其距离矩阵得到光谱特征X
spe
；
[0013]步骤S13：空间特征提取：通过像素坐标获得空间特征参照公式(1):
[0014]X
spa
[i]＝[x(i),y(j)]ꢀꢀꢀ
(1)
[0015]其中，x(i)和y(i)分别表示像素i的水平和垂直坐标。
[0016]再一步，所述步骤S2包含以下步骤：
[0017]步骤S21：生成超图关联矩阵：对步骤S1得到的光谱特征X
spe
和空间特征X
spa
通过公式(2)分别构造超图H
spe
和H
spa
：
[0018][0019]其中，X
i
∈Ν
k
(X
j
)表示顶点X
i
是顶点X
j
的k个最近邻，mean表示所有k最近邻顶点之间的平均欧氏距离，σ为可调节超参数，e为超边；
[0020]步骤S22：由超图计算超边和顶点，参照公式(3)：
[0021][0022]其中，d(v)表示顶边度的对角矩阵，w(e)是超边权重参数，δ(e)表示边度的对角矩阵。
[0023]更进一步，所述步骤S3中，构建残差增强的超图神经网络包括以下步骤：
[0024]步骤S31：超图拉普拉斯矩阵生成：拉普拉斯矩阵是图的一种矩阵表示，传统图的拉普拉斯矩阵定义为：
[0025]L＝D
‑
A
ꢀꢀꢀ
(4)
[0026]其中，D为图的度矩阵，A为图的邻接矩阵，超图的邻接矩阵可定义为：
[0027][0028]超图拉普拉斯矩阵有如下变换：
[0029][0030]因此，经过推导对给定图像特征X，超图上的卷积操作可以定义为：
[0031][0032]其中，D
v
表示超边度矩阵，D
e
表示顶点度矩阵，H为原始超图的关联矩阵，W表示超边的权重矩阵，其对角线上的元素表示每条超边的权值，Θ表示超参数；
[0033]步骤S32：残差增强的超图神经网络构造：整个网络的开头和结尾都分别增加一个线性层，将处理好的数据先通过一个线性层实现数据的线性组合，采用非线性激活函数，在激活函数前后分别使用一次归一化操作；操作是将超图和高光谱图像同时输入到网络中，首先是对高光谱原始特征进行归一化和Dropout处理，防止过拟合；随后传入残差增强的超图卷积层中，在第l层的传播过程定义为：
[0034]X
(l+1)
＝σ(((1
‑
α
l
)YX
l
+α
l
X
(0)
)((1
‑
β
l
)I+βW
(l)
))
ꢀꢀꢀ
(8)
[0035]其中，α
l
、β
l
是超参数，分别设置为0.5和0.1，I是单位矩阵。
[0036]本专利技术中，残差的引入可以有效避免传统超图神经网络引起的过度平滑问题，同
时基于残差增强的超图神经网络可以有效融合多个超图信息。因此本专利技术在计算机视觉领域和遥感领域具有重要意义。
[0037]本专利技术的有益效果表现在：能够精准有效的提取高光谱图像信息并挖掘高光谱数据的潜在特征，以解决传统超图神经网络随着深度增加带来的性能显著下降问题，具有较好的实用性和鲁棒性。
附图说明
[0038]图1为一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法的流程示意图；
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。
[0040]参照图1，一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法，所述方法一共包含三个模块，分别为高光谱空谱特征提取、超图生成、超图动态更新和特征图像分类，所述方法包括以下步骤：
[0041]步骤S1：通过不同的特征提取策略分别提取高光谱图像的光谱
‑
空间特征，即将原始图像展平成矩阵计算光本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于残差增强空谱融合超图神经网络的高光谱图像分类方法，其特征在于，所述方法包括以下步骤：步骤S1：通过不同的特征提取策略分别提取高光谱图像的光谱
‑
空间特征，即将原始图像展平成矩阵计算光谱特征，由像素的水平和垂直坐标生成空间特征；步骤S2：将不同模态的特征分别生成超图并进行融合，生成多模态超图关联矩阵；并且根据超图结构计算出超边和顶点；步骤S3：将超图和高光谱原始特征输入到残差增强的超图神经网络进行训练，通过反向传播动态更新超图，得到每个像素的预测分类标签。2.根据权利要求1所述的基于残差增强空谱融合超图神经网络的高光谱图像分类方法，其特征在于，所述步骤S1包括以下步骤：步骤S11：高光谱图像数据集读取：读取预处理后的训练集和带有标注信息的测试集，对每个分类类别选取5
‑
15个测试样本；步骤S12：光谱特征提取：将原始图像展平计算得到光谱特征X
spe
，具体细节是读取图像N表示图像像素个数，d表示光谱通道数，选取最后两个通道前的所有通道，计算其距离矩阵得到光谱特征X
spe
；步骤S13：空间特征提取：通过像素坐标获得空间特征参照公式(1):X
spa
[i]＝[x(i),y(j)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，x(i)和y(i)分别表示像素i的水平和垂直坐标。3.根据权利要求1或2所述的基于残差增强空谱融合超图神经网络的高光谱图像分类方法，其特征在于，所述步骤S2包括以下步骤：步骤S21：生成超图关联矩阵：对步骤S1得到的光谱特征X
spe
和空间特征X
spa
通过公式(2)分别构造超图H
spe
和H
spa
：其中，X
i
∈Ν
k
(X
j
)表示顶点X
i
是顶点X
j
的k...

【专利技术属性】
技术研发人员：杨延红，李丹阳，颜磊，陈胜勇，
申请(专利权)人：天津泰美科科技有限公司，
类型：发明
国别省市：