一种融合遥感图像与点云数据的地理要素识别方法技术

本发明专利技术提供一种融合遥感图像与点云数据的地理要素识别方法，涉及图像数据处理的技术领域，首先采集图像数据和点云数据并进行类别标注，构建为样本数据集，再构建融合图像与点云数据的语义分割模型，提取图像数据的2D特征和点云数据的3D特征并融合得到图像和点云的分割预测值，利用样本数据集训练融合图像与点云数据的语义分割模型，最后将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果，利用不同的色彩对不同类别的点云分割结果进行标记，实现地理要素的识别，充分利用了2D图像信息的有序性以及3D点云数据的空间性，提高了地理要素的分割识别精度。别精度。别精度。

【技术实现步骤摘要】
一种融合遥感图像与点云数据的地理要素识别方法


[0001]本专利技术涉及地理图像信息处理的
，更具体地，涉及一种融合遥感图像与点云数据的地理要素识别方法。

技术介绍

[0002]随着遥感技术、深度学习技术的快速发展，对地理要素的智能识别一般采用图像的语义分割算法，利用图像分割算法提取图像中的语义信息，对不同的地理要素进行标记分类，达到识别的目的。但由于图像数据缺少3D空间信息，基于图像的语义分割算法，在地理要素识别中无法识别地理要素的高度、坡度等空间信息，导致地理要素分割不完整。
[0003]随着遥感技术、深度学习技术的快速发展，为获得空间距离信息，可采用激光雷达扫描地形地貌，获得3D点云数据，对3D点云数据采用分割算法实现地理要素的识别，常用的点云分割算法有PointNet、PointNet++、PointTransformer等算法。使用点云数据的分割算法能够较好地区分地形高低、坡度，获得丰富的3D空间信息，但3D点云数据是无序的，缺少空间上的联系，使得分割算法收敛困难，分割精度较低。
[0004]现有技术公开了一种地图要素生成方法，结合了图像数据与视觉三维重建技术，通过图像获得地图要素的形状点的坐标，再通过视觉三维重建得到形状点的初始地理坐标，最后通过激光点拟合函数表达式，确定地图要素的位置点地理坐标。然而，该方案虽然结合了图像数据和三维重建技术，但无法充分融合2D图像信息的有序性以及3D信息的空间性的优势，识别精度较低。

技术实现思路

[0005]为解决当前地理要素识别方法无法充分利用2D图像信息的有序性以及3D点云数据的空间性，导致地理要素的分割识别精度较低的问题，本专利技术提供一种融合遥感图像与点云数据的地理要素识别方法，利用二维图像的有序性和三维点云的空间性，训练阶段通过投影方法将三维点云投影到对应的二维图像中，进行知识蒸馏学习，采用了多数据源融合的方式，提高了地理要素的分割识别精度。
[0006]为了达到上述技术效果，本专利技术的技术方案如下：一种融合遥感图像与点云数据的地理要素识别方法，包括：S1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；S2.构建融合图像与点云数据的语义分割模型，融合图像与点云数据的语义分割模型包括用于提取图像数据的2D特征的2D分支2D Branch、用于提取点云数据的3D特征的3D分支3D Branch及融合结构Feature Fusion，2D分支2D Branch的输出端及3D分支3D Branch的输出端均连接融合结构Feature Fusion，融合结构Feature Fusion将2D特征和3D特征融合，利用2D特征优化3D特征，得到图像分割预测值和点云分割预测值；
S3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；S4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；S5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。
[0007]本技术方案使用多数据源融合的方法，将2D图像分割结果用于辅助3D点云分割，提高了地理要素的分割识别精度。
[0008]优选地，所述2D分支2D Branch包括2D图像分割模块Fast SCNN，所述2D图像分割模块FastSCNN包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；所述双分支全局特征提取器包括两个分支：第一个分支由Bottleneck卷积块、SE注意力模块、Pyramid Pooling池化组成，提取图像数据的全局特征；第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2D语义分割特征。
[0009]优选地，所述3D分支3D Branch包括3D点云数据分割模块PFTransformer；所述3D点云数据分割模块PFTransformer包括3D点云特征编码器Encoding和3D点云特征解码器Decoding；所述3D点云特征编码器Encoding包括依次连接的非下采样特征编码块和四层下采样特征编码块，输出编码后的点云特征；所述3D点云特征解码器Decoding包括依次连接的非上采样特征编码块和四层上采样特征编码块，对点云特征解码后得到3D特征。
[0010]优选地，所述2D分支2D Branch还包括2D分类器2D Classfier，用于在融合结构Feature Fusion对2D特征和3D特征融合后进行分类，输出2D点云的图像语义分割预测值；所述3D分支3D Branch还包括3D分类器3D Classfier，用于在融合结构Feature Fusion将2D特征和3D特征融合后进行分类，输出3D点云的点云语义分割预测值。
[0011]优选地，所述的融合结构Feature Fusion将2D特征和3D特征融合，其特征在于，过程如下：3D点云数据分割模块PFTransformer输出的3D特征利用第一共享感知机Shared MLP1输出的3D共享特征，令与2D图像分割模块FastSCNN输出的2D特征通过Concat函数进行拼接，将拼接后的特征通过第二共享感知机Shared MLP2进行特征融合，得到融合特征；将融合特征通过第三共享感知机Shared MLP3后进行Sigmoid函数计算，得到注意力权重，注意力权重与原融合的特征位置进行Hadamard乘积，再以残差的方式与2D特征按位置相加，并通过共享感知机Shared MLP组成的2D分类器2D Classfier，获得2D特征的图像语义分割预测值；
3D点云数据分割模块PFTransformer输出的3D特征与经过第一共享感知机Shared MLP1的得到的3D共享特征进行融合，再通过3D分支3D Branch的3D分类器3D Classfier，获得3D点云的点云语义分割预测值。
[0012]在此，通过知识蒸馏的方法，令3D点云数据分割模块PFTransformer学习2D图像分割模块FastSCNN的预测分布，间接使用图像数据的2D特征来优化点云数据的3D特征，让3D点云数据分割模块PFTransformer学习到图像中的更多信息。
[0013]优选地，所述非下采样特征编码块包括共享感知机Shared MLP和特征自注意力块PFTransformer Block，每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合遥感图像与点云数据的地理要素识别方法，其特征在于，包括：S1.采集图像数据和点云数据，对图像数据和点云数据分别进行类别标注，分别作为图像数据和点云数据的真实标签，将带有类别标注的图像数据和点云数据构建为样本数据集，将样本数据集划分为训练集、验证集、测试集；S2.构建融合图像与点云数据的语义分割模型，融合图像与点云数据的语义分割模型包括用于提取图像数据的2D特征的2D分支2D Branch、用于提取点云数据的3D特征的3D分支3D Branch及融合结构Feature Fusion，融合结构Feature Fusion连接2D分支和3D分支，将2D特征和3D特征融合，利用2D特征优化3D特征，得到图像分割预测值和点云分割预测值；S3.利用训练集对融合图像与点云数据的语义分割模型进行训练，训练过程中分别计算图像分割预测值和点云分割预测值与真实标签图之间的损失值，根据损失值调整融合图像与点云数据的语义分割模型的参数，直到融合图像与点云数据的语义分割模型收敛，然后利用验证集对训练过程中的融合图像与点云数据的语义分割模型进行评估，得出训练好的融合图像与点云数据的语义分割模型，并利用测试集测试融合图像与点云数据的语义分割模型的预测准确度；S4.将待识别遥感图像、待识别遥感图像对应的点云数据输入训练好的融合图像与点云数据的语义分割模型，输出图像分割结果和点云分割结果；S5.利用不同的色彩对不同类别的点云分割结果进行标记，展示分割结果，实现地理要素的识别。2.根据权利要求1所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述2D分支2D Branch包括2D图像分割模块Fast SCNN，所述2D图像分割模块FastSCNN包括依次连接的主干网络特征编码器、双分支全局特征提取器、特征融合器；所述双分支全局特征提取器包括两个分支：第一个分支由Bottleneck卷积块、SE注意力模块、Pyramid Pooling池化组成，提取图像数据的全局特征；第二个分支保留图像数据的原始特征信息，两个分支分别与特征融合器连接；特征融合器将全局特征提取器的两个分支的输出特征相加融合并调整通道数量，输出2D语义分割特征。3.根据权利要求2所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述3D分支3D Branch包括3D点云数据分割模块PFTransformer；所述3D点云数据分割模块PFTransformer包括3D点云特征编码器Encoding和3D点云特征解码器Decoding；所述3D点云特征编码器Encoding包括依次连接的非下采样特征编码块和四层下采样特征编码块，输出编码后的点云特征；所述3D点云特征解码器Decoding包括依次连接的非上采样特征编码块和四层上采样特征编码块，对点云特征解码后得到3D特征。4.根据权利要求3所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述2D分支2D Branch还包括2D分类器2D Classfier，用于在融合结构Feature Fusion对2D特征和3D特征融合后进行分类，输出2D点云的图像语义分割预测值；所述3D分支3D Branch还包括3D分类器3D Classfier，用于在融合结构Feature Fusion将2D特征和3D特征融合后进行分类，输出3D点云的点云语义分割预测值。5.根据权利要求4所述的融合遥感图像与点云数据的地理要素识别方法，其特征在于，所述的融合结构Feature Fusion将2D特征和3D特征融合，过程如下：
3D点云数据分割模块PFTransformer输出的3D特征利用第一共享感知机Shared MLP1输出的3D共享特征，令与2D图像分割模块FastSCNN输出的2D特征通过Concat函数进行拼接，将拼接后的特征通过第二共享感知机Shared MLP2进行特征融合，得到融合特征；将融合特征通过第三共享感知机Shared MLP3后进行Sigmoid函数计算，得到注意力权重，注意力权重与原融合的特征位置进行Hadamard乘积，再以残差的方式与2D特征按位置相加，并通过共享感知机Shared MLP组成的2D分类器2D Classfier，获得2D特征的图像语义分割预测值；3D点云数据分割模块PFTransformer输出的3D特征与经过第一共享感知机Shared MLP1的得到的3D共享特征进行融合，再通过3D分支3D Branch的3D分类器3D Classfier，获得3D点云的点云语义分割预测值。6.根据权利要求3所述的融合遥感图像与点云数据的地理要素识别方法，其特...

【专利技术属性】
技术研发人员：赵薛强，陈洋波，刘俊，孙怀张，
申请(专利权)人：中山大学，
类型：发明
国别省市：