机载liDAR点云语义分割方法、电子设备及存储介质技术

本发明专利技术公开一种机载liDAR点云语义分割方法，包括将LiDAR点云和高光谱图像进行融合，得到高光谱点云；每组LiDAR点云数据进行特征提取，得到第一特征向量；每组LiDAR点云数据、高光谱点云数据进行编码，得到每个编码阶段的LiDAR点云特征向量、高光谱特征向量；采用A

【技术实现步骤摘要】
机载liDAR点云语义分割方法、电子设备及存储介质


[0001]本专利技术属于遥感影像处理
，尤其涉及一种基于高光谱
‑
空间增强的机载liDAR点云语义分割方法、电子设备及存储介质。

技术介绍

[0002]随着无人机、激光雷达、光谱技术的广泛应用，采用低空遥感技术直接获取三维空间、高光谱信息逐渐成为测绘、农业领域的研究热点。机载LiDAR技术已广泛应用于提取数字高程模型(DEM)、数字表面模型(DSM)和森林植被统计等领域。点云（三维空间）语义分割是点云处理技术的基础，对机载LiDAR点云中的地物进行高准确率分割和分类是生成后续测绘产品的关键步骤，在机载LiDAR点云处理领域占有重要的地位。机载LiDAR点云具有以下三个特点：（1）机载LiDAR点云中具有大量的地面点、地物如树木、建筑物等，点云的几何特性错综复杂；（2）机载LiDAR点云具有较大的覆盖范围，其包含的地物类别丰富且复杂，既有尺度大的建筑物，又有小尺度的树木、汽车和电线杆等，多尺度特征明显；（3）机载LiDAR点云的高程不仅包含了地表的地形变化，还包含了地物的高程特征，高程维度的特征具有较强的区分性。
[0003]由于机载LiDAR点云目标具有上述错综复杂的空间几何结构与多尺度变化显著等特点，导致目前的点云语义分割算法准确率低、鲁棒性差。目前一般语义分割算法中仅包含点云的三维坐标和RGB信息，缺乏点云的局部几何结构信息以及地物精细种类感知能力。面对机载LiDAR点云复杂的几何结构，单一属性的模型输入会导致算法的分类准确率降低，如何提高网络对点云几何结构、地物精细种类的感知能力是进一步提高分类准确率的关键。同时，机载LiDAR点云中不同类别的地物尺度不一，如果忽略了多尺度特征的差异的深度学习网络，导致小尺度目标的分类准确率较低，其整体分类准确率也难以提高。

技术实现思路

[0004]针对现有技术中的上述技术问题，本专利技术提供一种机载liDAR点云语义分割方法、电子设备及存储介质，采用机载LiDAR点云与高光谱图像融合技术，扩大机载LiDAR点云的维数，将高光谱属性融入在点云中，极大地提高LiDAR点云中语义内涵，使通道注意力模块中辅助信息量增强，提高分类准确率。
[0005]本专利技术是通过如下的技术方案来解决上述技术问题的：一种机载liDAR点云语义分割方法，包括以下步骤：将获取的LiDAR点云和高光谱图像进行融合，得到与所述LiDAR点云对齐的高光谱点云；将所述LiDAR点云、所述高光谱点云均分成F组，每组LiDAR点云数据为（N，b），每组高光谱点云数据为（N，q），其中N为每组点云数据中的点数量，b为每组LiDAR点云数据中每
个点的特征维度，q为每组高光谱点云数据中每个点的光谱特征维度；采用GAM模型对每组LiDAR点云数据进行特征提取，得到第一特征向量；采用PointSIFT网络分别对每组LiDAR点云数据、每组高光谱点云数据进行编码，分别得到每个编码阶段的LiDAR点云特征向量、高光谱特征向量；在解码过程中，对当前编码阶段的LiDAR点云特征向量和高光谱特征向量与上一解码阶段的融合特征向量进行融合后输入到下一个解码阶段解码，解码完成后得到第二特征向量；将对应的所述第一特征向量与所述第二特征向量进行拼接后再经过全连接层计算，得到第三特征向量，根据所述第三特征向量对每个点进行分割标注。
[0006]进一步地，将获取的LiDAR点云和高光谱图像进行融合的具体实现过程为：将所述LiDAR点云在高程方向上做正射投影，形成正射投影图像；将所述正射投影图像与所述高光谱图像进行匹配，得到坐标变换参数；根据所述坐标变换参数对所述高光谱图像进行修正，得到修正后的高光谱图像；根据所述LiDAR点云的水平坐标寻找修正后的高光谱图像的光谱反射信息，采用所述光谱反射信息替代所述LiDAR点云中每个点的激光反射信息，形成与所述LiDAR点云对齐的高光谱点云。
[0007]进一步地，采用GAM模型对每组LiDAR点云数据进行特征提取的具体实现过程为：对每组LiDAR点云数据中的每个点搜索其k个最近邻点，根据点及其k个最近邻点构建协方差矩阵，并求解协方差矩阵的特征值和特征向量；根据协方差矩阵的特征值构造几何特征，根据点及其k个最近邻点的高程值构造高程特征，由所述几何特征和高程特征构成点的特征向量；采用MLPs层对点的特征向量进行高维映射，然后在特征维度上采用激活函数进行归一化处理，得到每个点的深层特征，进而得到该组LiDAR点云数据对应的第一特征向量。
[0008]进一步地，采用PointSIFT网络对LiDAR点云数据或高光谱点云数据进行编码的具体实现过程为：采用全连接层对每组点云数据进行计算，得到特征向量（N，32），其中每组点云数据为LiDAR点云数据或高光谱点云数据；对所述特征向量（N，32）进行下采样和特征提取，得到第一个编码阶段的特征向量（N/4，64）；对所述特征向量（N/4，64）进行下采样和特征提取，得到第二个编码阶段的特征向量（N/16，128）；对所述特征向量（N/16，128）进行下采样和特征提取，得到第三个编码阶段的特征向量（N/64，256）；对所述特征向量（N/64，256）进行下采样和特征提取，得到第四个编码阶段的特征向量（N/128，512）。
[0009]进一步地，所述解码的具体实现过程为：
将LiDAR点云数据在第四个编码阶段的特征向量（N/128，512）与高光谱点云数据在第四个编码阶段的特征向量（N/128，512）进行拼接后经过MLP层处理，得到第一融合特征向量；将LiDAR点云数据在第三个编码阶段的特征向量（N/64，256）与高光谱点云数据在第三个编码阶段的特征向量（N/64，256）进行拼接，再采用A
‑
MLP层对拼接后的特征向量与对所述第一融合特征向量进行上采样后的特征向量进行融合，得到第一个解码阶段的第二融合特征向量；将LiDAR点云数据在第二个编码阶段的特征向量（N/16，128）与高光谱点云数据在第二个编码阶段的特征向量（N/16，128）进行拼接，再采用A
‑
MLP层对拼接后的特征向量与对所述第二融合特征向量进行上采样后的特征向量进行融合，得到第二个解码阶段的第三融合特征向量；将LiDAR点云数据在第一个编码阶段的特征向量（N/4，64）与高光谱点云数据在第一个编码阶段的特征向量（N/4，64）进行拼接，再采用A
‑
MLP层对拼接后的特征向量与对所述第三融合特征向量进行上采样后的特征向量进行融合，得到第三个解码阶段的第四融合特征向量，所述第四融合特征向量即为第二特征向量。
[0010]进一步地，对当前编码阶段的LiDAR点云特征向量和高光谱特征向量与上一解码阶段的融合特征向量进行融合的具体实现过程为：将当前编码阶段的LiDAR点云特征向量和高光谱特征向量进行拼接，得到拼接后的特征向量X；对上一解码阶段的融合特征向量进行上采样，得到特征向量Y；采用CAM模块分别求解出特征向量X、特征向量Y的权重系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机载liDAR点云语义分割方法，其特征在于，包括以下步骤：将获取的LiDAR点云和高光谱图像进行融合，得到与所述LiDAR点云对齐的高光谱点云；将所述LiDAR点云、所述高光谱点云均分成F组，每组LiDAR点云数据为（N，b），每组高光谱点云数据为（N，q），其中N为每组点云数据中的点数量，b为每组LiDAR点云数据中每个点的特征维度，q为每组高光谱点云数据中每个点的光谱特征维度；采用GAM模型对每组LiDAR点云数据进行特征提取，得到第一特征向量；采用PointSIFT网络分别对每组LiDAR点云数据、每组高光谱点云数据进行编码，分别得到每个编码阶段的LiDAR点云特征向量、高光谱特征向量；在解码过程中，对当前编码阶段的LiDAR点云特征向量和高光谱特征向量与上一解码阶段的融合特征向量进行融合后输入到下一个解码阶段解码，解码完成后得到第二特征向量；将对应的所述第一特征向量与所述第二特征向量进行拼接后再经过全连接层计算，得到第三特征向量，根据所述第三特征向量对每个点进行分割标注。2.如权利要求1所述的机载liDAR点云语义分割方法，其特征在于，将获取的LiDAR点云和高光谱图像进行融合的具体实现过程为：将所述LiDAR点云在高程方向上做正射投影，形成正射投影图像；将所述正射投影图像与所述高光谱图像进行匹配，得到坐标变换参数；根据所述坐标变换参数对所述高光谱图像进行修正，得到修正后的高光谱图像；根据所述LiDAR点云的水平坐标寻找修正后的高光谱图像的光谱反射信息，采用所述光谱反射信息替代所述LiDAR点云中每个点的激光反射信息，形成与所述LiDAR点云对齐的高光谱点云。3.如权利要求1所述的机载liDAR点云语义分割方法，其特征在于，采用GAM模型对每组LiDAR点云数据进行特征提取的具体实现过程为：对每组LiDAR点云数据中的每个点搜索其k个最近邻点，根据点及其k个最近邻点构建协方差矩阵，并求解协方差矩阵的特征值和特征向量；根据协方差矩阵的特征值构造几何特征，根据点及其k个最近邻点的高程值构造高程特征，由所述几何特征和高程特征构成点的特征向量；采用MLPs层对点的特征向量进行高维映射，然后在特征维度上采用激活函数进行归一化处理，得到每个点的深层特征，进而得到该组LiDAR点云数据对应的第一特征向量。4.如权利要求1所述的机载liDAR点云语义分割方法，其特征在于，采用PointSIFT网络对LiDAR点云数据或高光谱点云数据进行编码的具体实现过程为：采用全连接层对每组点云数据进行计算，得到特征向量（N，32），其中每组点云数据为LiDAR点云数据或高光谱点云数据；对所述特征向量（N，32）进行下采样和特征提取，得到第一个编码阶段的特征向量（N/4，64）；对所述特征向量（N/4，64）进行下采样和特征提取，得到第二个编码阶段的特征向量（N/16，128）；
对所述特征向量（N/16，128）进行下采样和特征提取，得到第三个编码阶段的特征向量（N/64，256）；对所述特征向量（N/64，256）进行下采样和特征提取，得到第四个编码阶段的特征向量（N/128，5...

【专利技术属性】
技术研发人员：李修庆，赵健康，王怀採，蔡晓程，谢才望，孔令威，赵丽芝，
申请(专利权)人：湖南盛鼎科技发展有限责任公司，
类型：发明
国别省市：