多源遥感图像空间高程光谱特征提取与分类的方法及系统技术方案

本发明专利技术公开了多源遥感图像空间高程光谱特征提取与分类的方法及系统，涉及遥感图像数据处理技术领域，包括以下步骤：获取待融合的HSI图像数据、LiDAR图像数据的多个类内样本矩阵；构建空间高程特征提取模块，用于提取LiDAR图像数据的高程特征，以及HSI图像数据的空间特征，并利用空间注意力机制进行通道间的特征融合；构建多尺度空间特征提取模块提取HSI图像数据的多尺度空间特征；构建光谱特征提取模块获取HSI图像数据的光谱特征；构建特征融合模块，将所获得的高程特征、空间特征的通道权重进行相加融合后，再与光谱特征级联融合。本发明专利技术所提出的方法生成的分类图噪声小、计算效率和分类精度高。率和分类精度高。率和分类精度高。

【技术实现步骤摘要】
多源遥感图像空间高程光谱特征提取与分类的方法及系统


[0001]本专利技术涉及遥感图像数据处理
，具体为多源遥感图像空间高程光谱特征提取与分类的方法及系统。

技术介绍

[0002]随着遥感传感器技术的不断发展，同一区域的多平台、多源传感器遥感数据不断生成，使得利用多传感器数据联合描述土地覆盖信息成为可能。不同的传感器提供的遥感数据具有不同的优势和互补的特点，例如HSI可以同时获取观测目标的空间和光谱信息，目前广泛应用于土地覆盖分类任务。与HSI不同，LiDAR图像通过主动传感技术获取，受大气干扰小，包含丰富的高度和形状信息，可以为HSI图像提供补充信息。因此，结合不同传感器遥感数据，充分利用多源信息互补优势，可以进一步提高土地覆盖分类效果。
[0003]为了从多源遥感数据中提取有效信息并进行分类，学者们提出了许多方法。滤波方法是一种较早且常用的融合多源传感器遥感数据进行分类的方法，该方法通过减少冗余空间信息，有效地从遥感图像中提取出上下文特征和空间特征，并利用这些特征完成分类任务。典型的滤波算法有形态轮廓(MPs)、属性轮廓(APs)和消光轮廓(EPs)。虽然这些传统方法在多源传感器分类中得到了成功应用，但是由于多源传感器遥感数据的成像方式不同，它们之间的内在关系更加复杂，浅层算法难以综合利用这些特征。导致传统的特征级融合分类方法存在一些不足。
[0004]近年来，深度学习技术在计算机视觉领域得到了广泛的应用，并表现出优异的特征提取能力，因此一些研究人员开始将其应用于遥感领域。为了充分利用多源传感器遥感图像的互补信息，许多优秀的深度学习方法被提出，典型的模型包括卷积神经网络(CNN)、递归神经网络和自编码器网络。其中，由于CNN能更好地从二维图像数据中提取特征，许多研究者采用CNN作为多模态遥感数据分类的骨干模型。虽然这些方法与浅层算法相比可以获得更好的分类结果，但仍然存在特征提取有限、互补信息利用不足的问题。为了解决这一问题，人们提出了许多基于注意机制的方法用于增强HSI数据的空间、光谱特征和LiDAR数据的高程信息。
[0005]然而，HSI
‑
LiDAR融合分类还存在一些问题。首先，在复杂场景中，多尺度信息对多模态数据的表示至关重要，而现有研究对多尺度信息关注较少，在遥感图像多尺度特征提取方面存在局限性。其次，如何利用注意机制进一步准确地从HSI和LiDAR数据中提取光谱和空间信息，充分利用LiDAR数据的空间信息配合HSI，仍是有待进一步研究的问题。更重要的是，基于简单特征拼接的特征融合方法由于忽略了多模态数据之间的互补性，往往无法获得更好的分类性能，而且这种方法会进一步增加特征的维数，可能导致维数灾难。

技术实现思路

[0006]本专利技术提出了多源遥感图像空间高程光谱特征提取与分类的方法及系统，用以解决对多源遥感图像不能高效提取包含特征以及不能有效融合的问题。
[0007]本专利技术提供多源遥感图像空间高程光谱特征提取与分类的方法，包括以下步骤：
[0008]获取待融合的HSI图像数据、LiDAR图像数据的多个类内样本矩阵；
[0009]构建空间高程特征提取模块，其包括高程信息提取通道、空间特征提取通道和空间注意力机制；将HSI图像数据、LiDAR图像数据的多个类内样本矩阵分别输入到空间高程特征提取模块中后，利用高程信息提取通道提取LiDAR图像数据的高程特征，利用空间特征提取通道提取HSI图像数据的空间特征，利用空间注意力机制进行通道间的特征融合；
[0010]构建多尺度空间特征提取模块，将空间特征输入到多尺度空间特征提取模块后，将所得到的不同尺度特征通过拼接融合，得到HSI图像数据的多尺度空间特征；
[0011]构建光谱特征提取模块，其包括两个卷积，一个ReLU层和一个Sigmoid层，当HSI图像数据的多个类内样本矩阵输入到光谱特征提取模块后，将所获得的光谱注意力权重与HSI图像数据的多个类内样本矩阵乘积，得到HSI图像数据的光谱特征；
[0012]构建特征融合模块，其包括卷积和Sigmoid层，将高程特征、多尺度空间特征、光谱特征分别输入到特征融合模块后，将所获得的高程特征、空间特征的通道权重进行相加融合后，再与光谱特征级联融合；
[0013]将最终融合所得的特征送入分类器中得到分类结果。
[0014]进一步地，所述获取待融合的HSI图像数据、LiDAR图像数据的多个类内样本矩阵，包括：
[0015]获取HSI图像数据、LiDAR图像数据的原始图像矩阵；
[0016]根据HSI图像数据、LiDAR图像数据中的真实地物标记，确定原始图像矩阵中的多个类别；
[0017]在HSI图像数据、LiDAR图像数据的原始图像矩阵的每个类别中分别选取多个像素点，得到HSI图像数据、LiDAR图像数据的多个类内样本矩阵。
[0018]进一步地，所述空间注意力机制包括两个3
×
3卷积运算和一个Sigmoid函数，并通过跳跃连接实现对模块输入的空间增强，其过程表示为：
[0019][0020]其中其中x
l1
表示空间注意力的输入；
[0021]f1(
·
)和f2(
·
)表示卷积运算；
[0022]δ(
·
)表示Sigmoid函数；
[0023]所获得的权重w同时用于高程信息提取通道的权重和跨通道信息补充。
[0024]进一步地，所述高程信息提取通道和空间特征提取通道均经过两组特征提取网络，每组特征提取网络均包括卷积层、BN层、ReLU层和最大池化层；
[0025]通过跨通道方式获取HSI图像数据的空间特征的权重；
[0026]所得到的所述空间特征和所述高程特征表示为：
[0027][0028][0029][0030][0031]其中，和分别表示经过一次特征提取后的空间特征和高程特征；
[0032]和表示经过空间注意力机制分配权重后的空间特征和高程特征；
[0033]C(
·
)表示卷积运算；B(
·
)表示批标准化；R(
·
)表示ReLU激活函数；
[0034]M(
·
)表示最大池化操作。
[0035]进一步地，所述多尺度空间特征提取模块包括三条平行通道和三个融合阶段，其分别用于提取不同尺度的特征图；
[0036]所述三条平行通道的卷积核大小分别为7
×
7、5
×
5、3
×
3；
[0037]假设表示第l通道，第s融合阶段的特征，则为：
[0038][0039]其中l＝1表示卷积核大小为7
×
7的通道；
[0040]l＝2表示卷积核大小为5
×
5的通道；
[0041]l＝3表示卷积核大小为3
×
3的通道；
...

【技术保护点】

【技术特征摘要】
1.多源遥感图像空间高程光谱特征提取与分类的方法，其特征在于，包括以下步骤：获取待融合的HSI图像数据、LiDAR图像数据的多个类内样本矩阵；构建空间高程特征提取模块，其包括高程信息提取通道、空间特征提取通道和空间注意力机制；将HSI图像数据、LiDAR图像数据的多个类内样本矩阵分别输入到空间高程特征提取模块中后，利用高程信息提取通道提取LiDAR图像数据的高程特征，利用空间特征提取通道提取HSI图像数据的空间特征，利用空间注意力机制进行通道间的特征融合；构建多尺度空间特征提取模块，将空间特征输入到多尺度空间特征提取模块后，将所得到的不同尺度特征通过拼接融合，得到HSI图像数据的多尺度空间特征；构建光谱特征提取模块，其包括两个卷积，一个ReLU层和一个Sigmoid层，当HSI图像数据的多个类内样本矩阵输入到光谱特征提取模块后，将所获得的光谱注意力权重与HSI图像数据的多个类内样本矩阵乘积，得到HSI图像数据的光谱特征；构建特征融合模块，其包括卷积和Sigmoid层，将高程特征、多尺度空间特征、光谱特征分别输入到特征融合模块后，将所获得的高程特征、空间特征的通道权重进行相加融合后，再与光谱特征级联融合；将最终融合所得的特征送入分类器中得到分类结果。2.根据权利要求1所述的多源遥感图像空间高程光谱特征提取与分类的方法，其特征在于：所述获取待融合的HSI图像数据、LiDAR图像数据的多个类内样本矩阵，包括：获取HSI图像数据、LiDAR图像数据的原始图像矩阵；根据HSI图像数据、LiDAR图像数据中的真实地物标记，确定原始图像矩阵中的多个类别；在HSI图像数据、LiDAR图像数据的原始图像矩阵的每个类别中分别选取多个像素点，得到HSI图像数据、LiDAR图像数据的多个类内样本矩阵。3.根据权利要求1所述的多源遥感图像空间高程光谱特征提取与分类的方法，其特征在于：所述空间注意力机制包括两个3
×
3卷积运算和一个Sigmoid函数，并通过跳跃连接实现对模块输入的空间增强，其过程表示为：w＝δ(f1(f2(x
l1
)))
ꢀꢀꢀꢀ
(1)其中其中x
l1
表示空间注意力的输入；f1(
·
)和f2(
·
)表示卷积运算；δ(
·
)表示Sigmoid函数；所获得的权重w同时用于高程信息提取通道的权重和跨通道信息补充。4.根据权利要求3所述的多源遥感图像空间高程光谱特征提取与分类的方法，其特征在于：所述高程信息提取通道和空间特征提取通道均经过两组特征提取网络，每组特征提取网络均包括卷积层、BN层、ReLU层和最大池化层；通过跨通道方式获取HSI图像数据的空间特征的权重；所得到的所述空间特征和所述高程特征表示为：所得到的所述空间特征和所述高程特征表示为：
其中，和分别表示经过一次特征提取后的空间特征和高程特征；和表示经过空间注意力机制分配权重后的空间特征和高程特征；C(v)表示卷积运算；B(v)表示批标准化；R(
·
)表示ReLU激活函数；M(
·
)表示最大池化操作。5.根据权利要求4所述的多源遥感图像空间高程光谱特征提取与分类的方法，其特征在于：所述多尺度空间特征提取模块包括三条平行通道和三个融合阶段，其分别用于提取不同尺度的特征图；所述三条平行通道的卷积核大小分别为7
×
7、5
×
5、3
×
3；假设表示第l通道，第s融合阶段的特征，则为：其中l＝1表示卷积核大小为7
×
7的...

【专利技术属性】
技术研发人员：叶珍，梁毅康，席永强，白璘，
申请(专利权)人：长安大学，
类型：发明
国别省市：