基于制造技术

本公开提供了一种基于

【技术实现步骤摘要】
基于MEMS激光雷达点云数据的语义分割装置和方法


[0001]本专利技术涉及机器学习
，具体涉及一种基于
MEMS
激光雷达点云的语义分割装置和方法
。

技术介绍

[0002]汽车工业标准下的传感器
3D
感知是自动驾驶的刚需
。MEMS
激光雷达
(LiDAR)
因其成本更低
、
可靠性更强
、
符合量产标准的特点，发展势不可挡
。
但是，
MEMS
激光雷达的视野
(FoV)
较小，减缓了其盛行的步伐
。

技术实现思路

[0003]本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种基于
MEMS
激光雷达点云数据的语义分割装置和方法
、
以及计算机可读介质
。
[0004]为实现上述目的，第一方面，本公开实施例提供了一种基于
MEMS
激光雷达点云数据的语义分割装置，包括：
[0005]三维特征提取模块，其构造为从三维点云数据提取三维特征；
[0006]二维特征提取模块，其构造为从二维深度图提取二维特征；
[0007]融合模块，其构造为融合所述三维特征提取模块输出的三维特征和所述二维特征提取模块输出的二维特征，以及
[0008]平面拟合头模块，其构造为根据所述融合模块提供的融合后的三维特征和二维特征输出语义分割结果
。/>[0009]在本公开的实施例中，所述三维特征提取模块包括多个第一下采样模块和多个第一上采样模块，每个第一下采样模块包括：最远点下采样层
、K
最近点聚类层
、
一维卷积块组和一维最大池化层，每个第一上采样模块包括：3‑
NN
插值层和一维卷积块组
。
[0010]在本公开的实施例中，所述一维卷积块组由多个卷积块组成，每个卷积块依次包括一维卷积层
、
批量归一化层和
ReLU
激活层
。
[0011]在本公开的实施例中，所述多个第一下采样模块中的靠近所述三维特征提取模块的输入端的第一下采样模块的下采样比率小于其他第一下采样模块的采样比率
。
[0012]在本公开的实施例中，所述二维特征提取模块包括初始二维卷积块
、
多个第二下采样模块和多个第二上采样模块，每个第二下采样模块包括二维最大池化层和二维卷积块组，每个第二上采样模块包括双线性上采样层和二维卷积块组
。
[0013]在本公开的实施例中，所述初始二维卷积块依次包括二维卷积层
、
批量归一化层和
ReLU
激活层
。
[0014]在本公开的实施例中，所述平面拟合头模块包括二维卷积块和全连接层
。
[0015]在本公开的实施例中，所述语义分割装置还包括预处理模块，其构造为：对所述
MEMS
激光雷达点云数据进行预处理，获得二维深度图；根据所述二维深度图获得有序点云数据，所述有序点云数据包括具有一一对应关系的所述三维点云数据和所述二维深度图；
LiDAR
；基于深度分布和
3D
点云的多级传播策略，显示出有效的传播能力；使用
2D
特征提取器从深度图中提取
2D
特征，使用
3D
特征提取器从
3D
点云中提取
3D
特征，并融合
2D
特征和
3D
特征以在
MEMS
点云数据中获得更好的性能
。
[0033]本公开提供了一种新型深度神经网络架构，用于大规模
MEMS
激光雷达点云数据的逐点语义分割
。
图1示出了根据本公开实施例的基于
MEMS
激光雷达点云数据的语义分割系统的总体架构，其采用下采样
‑
上采样和编码器
‑
解码器结构
。
[0034]如图1所示，根据本公开实施例的基于
MEMS
激光雷达点云数据的语义分割系统包括：针对
3D
点云的
3D
特征提取模块
10、
针对
2D
深度图的
2D
特征提取模块
20
以及生成语义分割类的平面拟合头模块
30。
[0035]首先，根据原始点云数据获得深度图，然后根据深度图获得有序点云数据，接着将有序点云数据分别提供至
3D
特征提取模块和
2D
特征提取模块进行处理
。
在本公开的实施例中，可以通过预处理模块实现对原始点云数据的上述预处理
。
[0036]在点云框架中，激光雷达中心被用作欧几里得空间的原点
。
本公开聚焦
MEMS
激光雷达，这意味着激光束从原点发射
。
在固定的激光发射角下，可以从
2D
深度图获得有序点云
。3D
特征提取模块可以从
3D
点云提取
3D
特征，并且
2D
特征提取模块从
2D
深度图提取
2D
特征
。
例如，
2D
特征提取模块可以采用现有的
2D
骨干网络
。
在重新整形点云数据之后，可以获得点云与深度图之间的对应关系
。
在本公开的实施例中，对点云数据进行重新整形具体包括：在通过对点云里每个点的射线的横向角度和纵向角度计算得到相应
2D
深度图里的像素横纵坐标位置，以对点云数据整理排序，可以获得
3D
点云与
2D
深度图之间的对应关系，得到有序点云
。
由于深度图像素与点之间的对应关系，可以通过直接连接特征来融合
3D
特征和
2D
特征
。
平面拟合头模块利用融合的
2D
特征和
3D
特征以生成逐点语义分割
。
[0037]在本公开的实施例中，
3D
特征提取模块中可以使用
PointNet++
主干
。
如图1所示，
3D
特征提取模块
10
包括多个第一下采样模块
101
和多个第一上采样模块
102。
每个第一下采样模块
101
包括：最远点下采样层
(FPS)1011、K
最近点聚类层
1012、
一维
(1D)
卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
MEMS
激光雷达点云数据的语义分割装置，包括：三维特征提取模块，其构造为从三维点云数据提取三维特征；二维特征提取模块，其构造为从二维深度图提取二维特征；融合模块，其构造为融合所述三维特征提取模块输出的三维特征和所述二维特征提取模块输出的二维特征，以及平面拟合头模块，其构造为根据所述融合模块提供的融合后的三维特征和二维特征输出语义分割结果
。2.
根据权利要求1所述的语义分割装置，其中，所述三维特征提取模块包括多个第一下采样模块和多个第一上采样模块，每个第一下采样模块包括：最远点下采样层
、K
最近点聚类层
、
一维卷积块组和一维最大池化层，每个第一上采样模块包括：3‑
NN
插值层和一维卷积块组
。3.
根据权利要求2所述的语义分割装置，其中，所述一维卷积块组由多个卷积块组成，每个卷积块依次包括一维卷积层
、
批量归一化层和
ReLU
激活层
。4.
根据权利要求2所述的语义分割装置，其中，所述多个第一下采样模块中的靠近所述三维特征提取模块的输入端的第一下采样模块的下采样比率小于其他第一下采样模块的采样比率
。5.
根据权利要求1所述的语义分割装置，其中，所述二维特征提取模块包括初始二维卷积块
、
多个第二下采样模块和多个第二上采样模块，每个第二下采样模块包括二维最大池化层和二维卷积块组，每个第二上采样模块包括双线性上采样层和二维卷积块组
。6.
根据权利要...

【专利技术属性】
技术研发人员：王溯恺，黄淮扬，王恒立，孙宇翔，孙学斌，刘明，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：