基于语义图注意力网络的不同混乱度高光谱图像分类方法技术

本发明专利技术公开了一种基于语义图注意力网络的不同混乱度高光谱图像分类方法，用于解决在少样本训练网络的情况下不同混乱度高光谱图像分类精度不高，以及谱

【技术实现步骤摘要】
基于语义图注意力网络的不同混乱度高光谱图像分类方法


[0001]本专利技术属于图像处理
，更进一步涉及一种高光谱图像分类
中的一种基于语义图注意力网络的不同混乱度高光谱图像分类方法。本专利技术可用于土地资源评估、灾害监测中对不同混乱度高光谱图像进行分类。

技术介绍

[0002]高光谱以其丰富的波段信息记录了地物目标的连续光谱特征，具备了能够进行更多种类地物目标识别和更高精度地目标分类可能性。根据高光谱图像中地物目标类别聚集程度，可将高光谱图像分为低混乱度的高光谱图像以及高混乱度的高光谱图像。常用的低混乱度高光谱图像分类技术的关键在于利用高光谱图像的空间特征和谱间特征对样本类别进行分类，而常用的高混乱度高光谱图像分类技术的关键在于利用高光谱图像的图结构特征对样本类别进行分类。在土地资源评估、灾害监测方面具有重要意义。然而现有的分类方法还是主要依赖大量的训练样本，由于样本标注难以获取，因此在少样本情况下很容易导致过拟合问题，进而影响了样本分类准确率。
[0003]北京师范大学在其申请的专利文献“一种基于图神经网络的高光谱图像分类方法”(申请号:202010543653.X申请公布号:CN 111695636 A)中公开了一种基于图神经网络的高光谱图像分类方法。该方法的具体步骤为，首先，对待处理区域的高光谱图像数据进行预处理，对经过预处理的高光谱图像数据进行超像素分割，从而得到分割的超像素。然后，将相邻的所述超像素点组成边，构建图数据。最后，HSGACN图神经网络模型对所述图数据进行训练，得到分类结果。该方法采用基于图神经网络的半监督高光谱图像分类算法，利用少量的标签数据和减少不良边界轮廓的出现，从而提高分类精度。但是，该方法仍然存在的不足之处是，HASGACN图神经网络模型只采用图数据对样本进行分类，因此不适用于低混乱度的高光谱图像进行分类，并且HSGACN图神经网络模型在训练构建后的图数据时，提取到图数据里的许多的冗余信息，无法高效提取到图数据里具有区分性的特征，导致HSGACN整个图神经网络模型在不同混乱度高光谱图像分类中的评价结果的平均精度不高。
[0004]华南理工大学在其申请的专利文献“一种基于多图结构的图卷积网络的高光谱图像分类方法”(申请号:201911239364.4申请公布号:CN 111160396 A)中公开了一种基于多图结构的图卷积网络的高光谱图像分类方法。该方法的具体步骤为，(1)读入高光谱图像立方体和训练集；(2)光谱数据重排列得到像素数据矩阵，将得到的像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；(3)利用图卷积神经网络分别对强制最近邻矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；(4)将特征矩阵进行拼接，利用softmax分类器对拼接的特征矩阵进行分类。该方法基于多图结构的图卷积网络的高光谱图像分类方法，使用多种近邻方式构造图结构，提取高光谱图像的不同特征，从而在训练样本少的情况下得到更高的分类准确率，该方法采用谱
‑
空语义特征与图语义特征对样本进行分类，所以适用于不同混乱度的高光谱图像进行分类。但是，该方法仍然存在的不足之处是，经过图卷积神经网络得到两个特征矩阵进行拼接送入softmax分类器时，只是单
纯将这两个特征矩阵进行拼接后送入softmax分类器，割裂了谱
‑
空语义特征与图语义特征之间的联系，没有有效利用谱
‑
空语义特征与图语义特征之间的关联性，导致softmax分类器在不同混乱度高光谱图像分类中的谱
‑
空
‑
图语义特征丢失。
[0005]除此上述列举的高光谱图像分类方法之外，目前基于深度卷积神经网络的高光谱图像分类方法都与上述两个方法类似，这些方法都有一定的使用局限性，例如深度卷积神经网络更适用于低混乱度的高光谱图像，而深度图卷积神经网络更适合于高混乱度的高光谱图像，并且这些方法在图语义特征提取时，对图语义特征利用率不足所造成信息丢失，或者保留过多无关信息造成信息冗余，没有获得更具有可分辨性的图语义特征，导致现有技术在不同混乱度高光谱图像分类中的评价结果的平均精度不高，在谱
‑
空语义特征与图语义特征融合时，割裂了谱
‑
空语义特征与图语义特征之间的联系，没有有效利用谱
‑
空语义特征与图语义特征之间的关联性，导致现有技术在不同混乱度高光谱图像分类中存在谱
‑
空
‑
图语义特征丢失。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出一种基于语义图注意力网络的不同混乱度高光谱图像分类方法，用于解决在少样本训练网络的情况下不同混乱度高光谱图像分类精度不高，以及谱
‑
空
‑
图语义特征丢失的问题。
[0007]本专利技术的实现上述目的的思路是，本专利技术构建了一个含有4个子网络的语义图注意力网络，其中第1个子网络为图语义特征提取网络，该子网络中的多路图注意力提取模块，可以从高光谱图像中提取到图语义特征的关键拓扑信息，同时通过降低图卷积中的权重系数，可以有效抑制高光谱图像中提取到图语义特征的无关拓扑信息，得到高光谱图像中有效的图语义特征；因此在少样本情况下将高光谱图像输入语义图注意力网络时，利用第1个子网络的多路图注意力提取模块，可以提取到高光谱图像里更多具有区分性的图语义特征的特点，解决了在少样本训练网络的情况下不同混乱度高光谱图像分类的平均精度不高的问题。本专利技术构建的语义图注意力网络中第4个子网络功能为将谱
‑
空语义特征与图语义特征融合并且输出高光谱图像的分类结果，该子网络中的平行注意力提取模块，利用卷积中的权重系数将谱
‑
空语义特征与图语义特征进行关联，并且该权重系数会根据高光谱图像高或者低的混乱度来自动调节其关联性，得到更多有效的谱
‑
空
‑
图语义特征。因此，在少样本情况下将高光谱图像输入语义图注意力网络时，利用第4个子网络的平行注意力模块，在谱
‑
空语义特征与图语义特征融合时没有割裂谱
‑
空语义特征与图语义特征之间的关联性的特点。同时，第4个子网络的平行注意力模块还可以根据高光谱图像的高或者低混乱度来增强谱
‑
空语义特征与图语义特征之间的关联性，从而保留更多的谱
‑
空
‑
图语义特征，解决了在少样本训练网络的情况下不同混乱度高光谱图像分类中谱
‑
空
‑
图语义特征丢失的问题。
[0008]本专利技术的实现方案包括如下：
[0009]步骤1，构建语义图注意力网络：
[0010](1a)构建语义图注意力网络的第一个子网络，其结构依次为：第1图卷积层，第1归一化层，第2图卷积层，第2归一化层，第3图卷积层，第3归一化层，多路图注意力提取模块；将第1至第3图卷积层的权重系数均设置为128；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义图注意力网络的不同混乱度高光谱图像分类方法，其特征在于，利用构建并训练好的多路图注意力提取模块提取待分类高光谱图像的图语义特征，利用构建并训练好的平行注意力提取模块融合谱
‑
空语义特征与图语义特征；该方法具体步骤包括如下：步骤1，构建语义图注意力网络：(1a)构建语义图注意力网络的第一个子网络，其结构依次为：第1图卷积层，第1归一化层，第2图卷积层，第2归一化层，第3图卷积层，第3归一化层，多路图注意力提取模块；将第1至第3图卷积层的权重系数均设置为128；所述多路图注意力提取模块，其结构依次为：第1单路图注意力提取模块，第2单路图注意力提取模块，第3单路图注意力提取模块，第1拼接层；所述单路图注意力提取模块，其结构依次为：第1图卷积层，第2图卷积层，第1相乘层，第1softmax层，第3图卷积层，第1相加层；将第1至第3图卷积层的权重系数的初始值均设置为0；(1b)构建语义图注意力网络的第二个子网络，其结构依次为：第1卷积层，第1归一化层，第2卷积层，第2归一化层，第3卷积层，第3归一化层，谱间注意力提取模块；将第1卷积核个数设置为24，卷积核大小设置为1
×1×
7，长和宽的步长均设置为1，谱步长设置为2，长和宽填充像素均设置为0，谱填充像素设置为3，第2卷积层的卷积个数设置为12，卷积核的大小设置为1
×1×
7，长、宽和谱步长均设置为1，长和宽的填充像素均设置为0，谱填充像素设置为3，第3卷积层的卷积个数设置为60，卷积核的大小设置为1
×1×
85，长、宽和谱的步长均设置为1，长、宽和谱的填充像素均设置为0；所述谱间注意力提取模块，其结构依次为：第1reshape层，第1转置层，第2reshape层，第1相乘层，第1softmax层，第3reshape层，第2相乘层，第4reshape层，第1相加层；将第1reshape至第3reshape层的输入数据的长和宽为3
×
3拼接成长度为9的输出数据；将第4reshape层的输入数据的长度为9拼接成长和宽为3
×
3的输出数据；(1c)构建语义图注意力网络的第三个子网络，其结构依次为：第1尺度操作层，第1卷积层，第1归一化层，第2尺度操作层，第2卷积层，第2归一化层，第3尺度操作层，第3卷积层，第3归一化层，第4拼接层，空间注意力提取模块；将第1至第3卷积层的卷积核的个数均设置为20，卷积核的大小分别设置为5
×5×
176和3
×3×
176和1
×1×
176，长、宽和谱的步长均设置为1，长、宽和谱的填充像素均设置为0；将第1尺度操作层的输入数据大小从7
×7×
176双线性插值成大小为7
×7×
176的输出数据；将第2尺度操作层的输入数据大小从7
×7×
176双线性插值成大小为5
×5×
176的输出数据；将第3尺度操作层的输入数据大小从7
×7×
176双线性插值成大小为3
×3×
176的输出数据；所述空间注意力提取模块，其结构依次为：第1reshape层，第1转置层，第2reshape层，第1相乘层，第1softmax层，第3reshape层，第2相乘层，第4reshape层，第1相加层；将第1reshape至第3reshape层的输入数据的长和宽为3
×
3拼接成长度为9的输出数据；将第4reshape层的输入数据的长度为9拼接成长和宽为3
×
3的输出数据；(1d)构建语义图注意力网络的第四个子网络，其结构依次为：第1拼接层，平行注意力提取模块，第1全连接层，第1softmax层；将全连接层的节点个数设置为待分类高光谱图像的类别数；
所述平行注意力提取模块，其结构依次为：第1卷积层，第2卷积层，第1相乘层，第3卷积层，第2相乘层，第1拼接层；将第1至第3卷积层的卷积核个数均设置为120，卷积核的大小均设置为1
×
...

【专利技术属性】
技术研发人员：刘丹华，陈乐文，张中强，高大化，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：