基于图卷积网络的多模态遥感数据分类方法技术

本发明专利技术提出的一种基于图卷积网络的多模态数据图像融合分类方法，主要解决现有高光谱图像分类精度低的问题。其实现方案是：获取高光谱图像数据集；通过GS融合方式将原始HSI和LiDAR图像进行多源数据融合得到高光谱图像GS融合图；分别提取HSI和LiDAR图像的不变属性特征并通过基于加权融合图的特征融合方式得到不变属性特征融合图；将高光谱图像GS融合图和不变属性特征融合结果输入到miniGCN和2DCNN支路进一步提取光谱特征和空间特征；通过乘性融合策略对提取的光谱特征和空间特征进行特征融合；通过分类网络对乘性特征融合结果进行分类。本发明专利技术减小了特征信息损失，提高了分类性能，可用于高光谱图像分类。可用于高光谱图像分类。可用于高光谱图像分类。

【技术实现步骤摘要】
基于图卷积网络的多模态遥感数据分类方法


[0001]本专利技术属于图像处理
，更进一步涉及一种多模态遥感数据分类方法，可用于高光谱图像分类。

技术介绍

[0002]随着图像分类技术的不断发展，遥感图像分类发挥着越来越重要的作用。城市规划、土地检测、植被分类等均依赖于特定区域的物质分类结果。高光谱图像HSI包含丰富的光谱信息，可用来观测地物信息并进行分类，但HSI对由相同物质构成的物质类别无法区分。由此说明在某些特定场景，单一源图像不利于进行分类，而遥感多源图像分类逐渐应用于物质分类工作中。激光雷达图像LiDAR包含场景的空间结构信息，所提供的高程信息与HSI提供的光谱信息结合，可提高物质分类结果的准确性,多源图像的应用有利于对物质进行更加全面的观测。
[0003]在将多源图像应用于物质分类工作的过程中，多源数据的融合工作显得尤为重要。HSI和LiDAR的融合技术在不断革新并成功应用于不同的分类任务中。特征级融合可结合HSI和LiDAR图像特征，最终通过分类器生成类别标签，Wenzhi Liao等人提出通过提取HSI和LiDAR图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积网络的多模态遥感数据分类方法，其特征在于，包括如下步骤：(1)从公开数据集中获取Houston2012高光谱数据集，其包含有144个波段的高光谱图像HSI和单个波段的激光雷达LiDAR图像的多源图像，像素值大小均为349*1905，图像共包含有15个物质类别；(2)通过GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进行数据融合，得到高光谱GS融合图像；(3)分别从空间域、频率域两方面提取HSI图像和LiDAR图像的不变属性特征f
IAPs
：3a)空间域特征提取：通过各向同性滤波，从HSI图像中提取鲁棒卷积特征RCF，并进行超像素分割，获取空间不变特征SIF，再将空间不变特征SIF进行堆叠获得全部的空间不变特征再用相同的方法从LiDAR图像中提取全部的空间不变特征3b)频率域特征提取：首先通过像素级特征提取方式，将傅里叶变换应用于HSI和LiDAR图像的每个像素，分别提取HSI图像和LiDAR图像的像素傅里叶特征，再通过多尺度卷积核将像素傅里叶特征聚合为基于区域的特征描述子，从HSI和LiDAR图像中分别获取频率不变特征和3c)根据3a)和3b)最终从HSI中获取的不变属性特征为从LiDAR图像中获取的不变属性特征为：(4)将分别从HSI和LiDAR图像中提取的不变属性特征和采用广义的基于加权图的方式进行多源数据特征融合，得到不变属性特征融合图；(5)将高光谱GS融合图像和不变属性特征融合图分别输入到现有的微型图卷积网络miniGCN和二维卷积神经网络2DCNN支路进一步提取特征：5a)获取适用于高光谱GS融合图像的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵及表示样本点间相互关系的邻接矩阵；获取适用于不变属性特征融合图的训练样本矩阵、测试样本矩阵、训练标签矩阵、测试标签矩阵；5b)将高光谱GS融合图像对应的训练样本矩阵、标签矩阵及邻接矩阵输入微型图卷积网络miniGCN支路，提取出高光谱GS融合图像包含的光谱特征；将不变属性特征融合图对应的训练样本矩阵、标签矩阵输入到二维卷积神经网络2DCNN支路，提取出不变属性特征融合图包含的空间特征；(6)选用乘性融合策略对来自2DCNN和miniGCN两条支路的空间、光谱特征进行融合，得到乘性融合后的特征融合结果H
M
；(7)选用由完全连接层FCN和softmax函数构成的分类网络，将乘性融合后的特征融合结果H
M
输入到该分类网络中，得到最终的目标分类结果。2.根据权利要求1所述的方法，其特征在于，步骤(2)通过施密特正交GS融合方法将高空间分辨率的LiDAR图像和低空间分辨率的高光谱图像HSI进行数据融合，实现如下：(2a)计算LiDAR图像和高光谱图像HSI重叠区域，并对其进行裁剪，得到裁剪后的LiDAR图像和高光谱图像HSI；(2b)模拟产生低分辨率的LiDAR图像作为施密特正交GS变换的第一分量：将低分辨率的高光谱图像HSI根据光谱响应函数按设定权重进行模拟，得到模拟的LiDAR图像灰度值，
或对LiDAR图像进行模糊操作，将其缩小到与高光谱图像HSI的大小相同；(2c)以模拟LiDAR图像灰度值的波段为第一波段，将高光谱图像HSI的所有波段为后续波段，做施密特正交GS变换；(2d)根据施密特正交GS变换的第一分量均值和方差，对LiDAR图像波段进行修改；(2e)将修改后的LiDAR图像波段作为第一分量，进行施密特正交逆变换，去除输出波段中的第一个波段后，得到最终的GS融合图像。3.根据权利要求1所述的方法，其特征在于，步骤(3a)中从空间域提取HSI图像和LiDAR图像的不变属性特征，实现如下：(3a1)通过各向同性滤波，从多源图像中提取鲁棒卷积特征RCF，并将其通过特征集形式表示为：f
RCF
＝[f1,
…
f
k
,
…
f
D
]其中，I表示多源图像，I
k
表示多源图像的第k个波段，K
conv
表示卷积核；(3a2)将像素值大小为W
×
H，波段数为D的多源图像与卷积核K
conv
进行卷积运算，以各向同性地聚合局部空间信息，再运用线性迭代聚类SLIC方法进行超像素分割，获取多源图像所包含的各个像素的空间不变特征f
SIFs
：其中，表示第i个像素的空间不变特征，i∈[1,N]，N＝W
×
H表示多源图像场景中的像素个数，其中，N
q
表示第q个超像素的像素个数；表示由第q个超像素组成，且包含第i个目标像素的像素集，表示第j个鲁棒卷积特征RCF。4.根据权利要求1所述的方法，其特征在于，步骤(3b)中从频率域提取高光谱图像HSI和LiDAR图像的不变属性特征，实现如下：(3b1)提取多源图像在位置(x,y)处的的旋转不变特征：首先，将傅里叶变换应用于高光谱图像HSI和LiDAR图像的每个像素，对于不同的傅里叶阶数，得到相对应的幅度特征叶阶数，得到相对应的幅度特征其中，||D(x,y)||表示给定像素的幅度信息，m表示傅里叶阶数，m∈N，N表示自然数；其次，根据傅里叶基的自导向性，在极坐标系下将两个具有相同旋转行为的傅里叶基进行相乘或者卷积，并且完全消除相位信息后，得到绝对旋转不变性特征输出进行相乘或者卷积，并且完全消除相位信息后，得到绝对旋转不变性特征输出其中，m1和m2分别表示两个不同的傅里叶阶数，且m1+m2＝0，F
m1
(x,y)和F
m2
(x,y)分别表示在傅里叶阶数为m1和m2时，在位置(x,y)处提取的特征在极坐标系下的傅里叶形式；最后，将获得的绝对旋转不变性特征输出与其在卷积区域上任意两个相邻卷积
核半径进行耦合，得到相对旋转不变特征核半径进行耦合，得到相对旋转不变特征其中，r1和r2分别表示两个不同的卷积核半径，m1和m2分别表示两个不同的傅里叶阶数，且m1≠m2；(3b2)由(3b1)获取到的这三种不同特征，可得到在多源图像位置(x,y)处的像素傅里叶特征f
′
PWFF
(x,y)：最终得到像素值大小为W
×
H的遥感多源图像上所有位置的像素傅里叶特征f
PWFF
：(3b3)通过多尺度卷积核将多源图像上所有位置的像素傅里叶特征f
PWFF
聚合为基于区域的特征描述子，最终从多源图像中获取到的频率不变特征f
FIFs
：其中，表示像素傅里叶特征与第j个卷积核进行运算后的的区域描述符，j∈[1,J]，J表示全部的卷积核个数。5.根据权利要求1所述的方法，其特征在于，步骤(4)中采用广义的基于加权图的方式对分别从HSI...

【专利技术属性】
技术研发人员：谢卫莹，李艳林，张佳青，雷杰，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：