基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法技术

本发明专利技术公开了基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法。以往的方法主要采用先提取后融合的思想进行融合，但这些方法过多地关注网络深层特征而忽略了初级特征。此外，很多方法中相同或类似的特征提取网络无法缓解不同模态间异构性带来的影响且采用的融合方式单一低效。本发明专利技术针对上述问题设计了一个包含通道特征增强模块与空间特征引导模块的融合分类网络。从两个模态中提取出空间特征并引导激光雷达空间

【技术实现步骤摘要】
基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法


[0001]本专利技术属于多模态遥感图像融合分类的方法，涉及计算机视觉


技术介绍

[0002]高光谱图像包括物体的二维空间信息和丰富的光谱信息，借助这些信息高光谱图像在土地覆盖分类任务、精准农业、生物医学成像、视频安全和军事领域展现出了广阔的应用前景。在这些任务中，土地覆盖信息分类受到了广泛关注。然而在一些复杂的地物条件下，仅使用单模态数据难以实现精确的分类。
[0003]随着遥感成像技术的进步，描述同一区域的多模态遥感数据出现的越来越多。高光谱数据旨在利用传感器接收从地面反射的电磁波来表征地面材料的特性。激光雷达使用脉冲激光聚焦地面目标的距离信息，数字表面模型DSM(digital surface model,DSM)是对LiDAR点云数据进行预处理后得到的图像版本，已成功应用于复杂场景中获取物体的高程信息。许多研究表明，综合利用高光谱和激光雷达数据可以发挥两者的优势，实现数据之间的属性互补。
[0004]现有模型的常见做法是将两种数据分别进行特征提取，利用相加或级联操作将两个特征图融合到一起，并利用全局平均池化和线性层得到最终的分类结果。在早期的研究中，研究人员往往借助机器学习方法得到分类结果。Zhang等使用非负矩阵分解对两个数据源进行特征提取和选择，并将得到的特征矩阵进行融合。然后，使用支持向量机对融合后的特征矩阵进行分类，得到每个像素点的分类结果。Liu等使用多层感知器这种传统机器学习方法对高光谱和激光雷达数据进行融合分类，首先对两个数据源进行特征提取和选择，然后将得到的特征向量进行拼接，之后使用多层感知器对拼接后的特征向量进行分类。Li等使用特征选择和支持向量机这两种传统机器学习方法对高光谱和激光雷达数据进行融合分类。
[0005]虽然传统机器学习方法已经比较成熟，但高光谱图像包含的丰富信息以及多模态数据之间的异构性使得传统机器学习方法受到了很大的限制。随着深度学习的进步，CNN等网络被引入遥感图像融合分类任务中来，之后也出现了越来越多的深度学习模型，研究人员开始探索更强大的特征提取方法和更有效的融合方法。
[0006]Y.Peng等设计了一个类似于三维ResNet的深度CNN来提取融合特征的光谱空间信息,将多数表决引入到使用每个融合特征训练的网络的分类结果中，以获得高置信度的最终结果。M.Zhan等为了利用多尺度信息来改进特征表示，提出了一种用于高光谱和激光雷达数据联合分类的多尺度特征融合网络。Y.Hu等提出了一种简单而有效的并联Transformer分类模型，取得了较高的分类准确率。Hong等设计了一种同时使用特征级和决策级融合的分类网络，利用三层卷积提取特征，并对后两个卷积层共享参数，引导卷积层之间的相互学习。最终融合特征由高光谱特征，融合特征以及激光雷达特征三部分相加而成，每一部分都包含一个可学习权重。实验结果表明，同时使用特征级和决策级融合策略可以
提高分类精度。
[0007]尽管目前已经出现了相当多的融合分类模型，但多数模型仍然存在一些问题。相同或类似的特征提取网络不能适应多模态数据之间存在的数据冗余性和异构性。很多方法通常关注网络的深度特征，而忽视了初级特征。传统的相加或级联的融合方法会引入冗余信息，不能促进不同模态数据之间的交互，限制了整体分类性能。

技术实现思路

[0008]本专利技术的目的是为了解决在目前主流的多模态遥感图像融合分类方法中，很少考虑不同的特征提取结构和初级特征以及传统融合方式效果不佳的问题。针对不同模态数据的特点，我们分别设计了特征提取网络，并充分利用提取到的初级融合特征在空间维度对深度激光雷达特征进行引导和增强。为了优化融合过程，我们提出了一种轻量级交叉注意力融合方法，它有助于促进不同模态之间的交互。
[0009]本专利技术为解决上述技术问题采取的技术方案是：
[0010]S1.构建初级特征提取模块，得到初级融合特征和高光谱特征。
[0011]S2.通过深度特征提取模块获取激光雷达的空间
‑
通道特征。通过自注意力和多维注意力机制挖掘激光雷达数据潜在的通道特征。
[0012]S3.利用初级融合特征对激光雷达空间
‑
通道特征进行特征增强，使其包含全局融合信息，并引导激光雷达特征学习高光谱空间特征，减小不同模态之间的差异。
[0013]S4.S1得到的高光谱特征与S3中增强后的激光雷达特征通过轻量级交叉注意力进行融合，并级联激光雷达特征，促进了数据之间的交互。
[0014]S5.结合S1、S2、S3和S4构建基于通道特征增强与空间特征引导的融合分类网络。
[0015]初始高光谱数据的尺寸为C1×
W1×
H1(W0＝11,H0＝11)，C1指初始高光谱数据的波段数，不同的数据集波段数不同。初始激光雷达数据的尺寸为C2×
W2×
H2(C2＝1,W2＝11,H2＝11),激光雷达数据依次通过卷积核数量为8，16，32的的卷积得到浅层激光雷达特征X
l
，高光谱数据由PCA降维得到X
h
。
[0016]为了得到初级融合特征，引导激光雷达数据参与之后的融合过程，高光谱和激光雷达分别进行两次卷积，两次卷积得到的特征图都进行相加操作：
[0017]Y1＝Conv1(X
h
)+Conv2(X
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]其中Conv1,Conv2代表卷积核个数为128的卷积,Y1代表第一层特征相加得到的特征图。对第一层得到的特征分别进行卷积并相加得到新的特征图，由下式给出：
[0019]Y2＝Conv3(Conv1(X
h
))+Conv4(Conv2(X
l
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0020]其中Y2代表第二层融合特征图，之后融合第一层和第二层的信息：
[0021]Y3＝linear(Y1)+Y2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0022]由于Y1和Y2的通道数不同，因此利用线性层对Y1降维并与Y2相加得到64通道特征图Y3，即初级融合特征。本模块还产生了高光谱特征用于最终的特征融合，由下式给出：
[0023]X
′
h
＝Conv5(Conv3(Conv1(X
h
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]其中X
′
h
代表三层卷积特征提取的32通道高光谱特征图。
[0025]激光雷达特征首先通过一个Norm层和MLP层，之后经过Norm层和多维度注意力模块，最后通过Norm层和MLP层得到深度激光雷达特征：
[0026]X
′
l
＝MLP(M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述方法包括以下步骤：S1.构建初级特征提取模块，得到初级融合特征和高光谱特征。S2.通过深度特征提取模块获取激光雷达的空间
‑
通道特征。通过自注意力和多维注意力机制挖掘激光雷达数据潜在的通道特征。S3.利用初级融合特征对激光雷达空间
‑
通道特征进行特征增强，使其包含全局融合信息，并引导激光雷达特征学习高光谱空间特征，减小不同模态之间的差异。S4.S1得到的高光谱特征与S3中增强后的激光雷达特征通过轻量级交叉注意力进行融合，并级联激光雷达特征，促进两种模态之间的交互。S5.结合S1、S2、S3和S4构建基于通道特征增强与空间特征引导的融合分类网络。根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S1的具体过程为：初始高光谱数据的尺寸为C1×
W1×
H1(W0＝11，H0＝11)，C1指初始高光谱数据的波段数，不同的数据集波段数不同。初始激光雷达数据的尺寸为C2×
W2×
H2(C2＝1，W2＝11，H2＝11)，激光雷达数据依次通过卷积核数量为8，16，32的的卷积得到浅层激光雷达特征X
l
，高光谱数据由PCA降维得到X
h
。为了得到初级融合特征，引导激光雷达数据参与之后的融合过程，高光谱和激光雷达分别进行两次卷积，两次卷积得到的特征图都进行相加操作：Y1＝Conv1(X
h
)+Conv2(X
l
)
ꢀꢀꢀꢀꢀ
(1)其中Conv1，Conv2代表卷积核个数为128的卷积，Y1代表第一层特征相加得到的特征图。对第一层得到的特征分别进行卷积并相加得到新的特征图，由下式给出：Y2＝Conv3(Conv1(X
h
))+Conv4(Conv2(X
l
))
ꢀꢀꢀꢀ
(2)其中Y2代表第二层融合特征图，之后融合第一层和第二层的信息：Y3＝linear(Y1)+Y2ꢀꢀꢀꢀ
(3)由于Y1和Y2的通道数不同，因此利用线性层对Y1降维并与Y2相加得到64通道特征图Y3，即初级融合特征。本模块还产生了高光谱特征用于最终的特征融合，由下式给出：X
′
h
＝Conv5(Conv3(Conv1(X
h
)))
ꢀꢀꢀꢀ
(4)其中X
′
h
代表三层卷积特征提取的32通道高光谱特征图。根据权利要求1所述的基于通道特征增强与空间特征引导的高光谱与激光雷达数据融合分类方法，其特征在于，所述S2的具体过程为：激光雷达特征首先通过一个Norm层和MLP层，之后经过Norm层和多维度注意力模块，最后通过Norm层和MLP层得到深度激光雷达特征：X
′
l
＝MLP(MAttn(SA(X
l
)))
ꢀꢀꢀꢀ
(5)SA表示self
‑
attention，MAttn表示多维度注意力，MLP表示多层感知机，这三部分都包含了一个Norm标准化操作。多维注意力机制从空间和通道两个维度对数据进行处理，以得到多维特征：多维注意力机制从空间和通道两个维度对数据进行处理，以得到多维特征：
在空间维度上，Pool1和Pool2代表两个自适应平均池化操作，分别在宽和高维度上进行，得到两个小尺寸的特征图H和W。然后将这两个特征图相乘：X1＝MatMul(H，W)
ꢀꢀꢀꢀ
(8)X1特征图维度为B
×
C
×
H
×
W，这个过程可以使模型更加关注特定的空间区域。在通道维度的操作与空间维度类似，公式如下：在通道维度的操作与空间维度类似，公式如下：首先将特征图X0转换为一个大小为B
×
(H
×
W)
×
C的三维张量。然后将C分解为C
h
和C
w
，此时可以将(H
×
W)看作新特征图的通道数，记为S，C
h
和C
w
看作新特征图的高和宽。Pool3和Pool4代表两个自适应平均池化操作，分别在新特征图的高C
h
和宽C
w
维度上进行，得到两个小尺寸的注意力特征图H
′
和W
′
。在高和宽维度上进行两次自适应平...

【专利技术属性】
技术研发人员：王雷全，魏昂，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：