一种基于路侧RSU的点云语义分割与理解方法技术

本发明专利技术公开了一种基于路侧RSU的点云语义分割与理解方法；该方法包括以下步骤：步骤一、获取道路场景点云数据，基于球映射的方法，将3D点云转换为2D距离图像；步骤二、对2D距离图像进行2D全卷积语义分割，获得2D图片语义分割的结果；步骤三、将2D图片语义分割的结果用距离信息、像素坐标和传感器参数映射到3D空间中，2D距离图像与对应于每个点的图像坐标进行配对和索引；步骤四、基于3D后处理清除一些错误的离散化点，获取最终3D点云的语义分割结果。本发明专利技术方法能够准确、快速的、实时的实现移动小目标的点云语义分割，使自主机器能够及时做出决策。做出决策。做出决策。

【技术实现步骤摘要】
一种基于路侧RSU的点云语义分割与理解方法


[0001]本专利技术涉及自动驾驶
，具体的说，涉及一种基于路侧RSU的点云语义分割与理解方法。

技术介绍

[0002]语义分割与理解是自动驾驶系统领域中一个核心的技术，通过对3D点云的语义理解将道路环境点云数据进行分割，识别出汽车、行人、路牌、电线杆等物体以及道路施工、路面坑洼、交通事故等路面情况，帮助车辆更好的理解所处的驾驶道路环境。通过对汽车周围环境的准确理解，保证行驶的安全性。
[0003]自动驾驶场景中基于3D点云的语义理解系统一般分为五个步骤：点云采集、点云预处理、点云分割、点云重建、点云后处理。传统的点云分割方法一般可分为基于边缘、区域增长、属性聚类、模型拟合以及基于图的算法。但这些算法分割精度低且受点云分布密度影响大，现有的技术通常采用各种深度学习网络模型，将拍摄到的路面图像输入到神经网络中，通过计算机对图像中的物体进行像素级别的分割归类，以实现避让行人和车辆等障碍。
[0004]近年来，语义分割领域典型的Deeplabv3和PSPNet架构计算成本太高，无法在自主系统上实时运行。多数深度学习网络如PointNet及PointNet++多用于静态点云，在动态连续的自动驾驶场景中较少使用，实时性不高。随后的VGG、ReNet和ResNet等经典模型对于图像分割效果较好，但对于无序的3D点云数据效果不佳。同时，多数深度学习方法对于大类点云分割效果好，但由于数据城市景观数据集上具有多尺度变化的挑战，在城市道路场景中需要分割算法具有很高的准确度，尤其是在物体的边界处，比如在城市道路中有很多尺度大小不一的目标，不同尺度的目标尤其是小尺度目标会给精细化分割带来很多困难，道路场景中会出现小目标(如行人等)，这些小目标占比少，且易与背景混淆，对这些小目标不能进行很准确的语义分割。
[0005]综上所述，现有技术存在以下缺点：
①
使用复杂的网络架构，计算复杂度高，实时性较差；
②
对于移动小目标(行人等)、以及多目标重叠现象难以得到准确分割；
③
点云存储量大，不适用于大场景语义分割。

技术实现思路

[0006]针对现有技术的不足，本专利技术的目的在于提供一种新的基于路侧RSU的点云语义分割与理解方法；本专利技术利用投影方法，基于图形处理器GPU的最近邻KNN快速搜索，以传感器帧率(约10Hz)或更快的速度准确分割整个雷达扫描点云，使用每个激光扫描的距离图像和2D CNN处理，对离散化错误数据消除，将结果重新投影到3D点云，实现对无人驾驶环境中的语义分割，其具有准确、快速和实时等优点，能解决自动驾驶道路场景中小目标语义分割效果不佳且实时性不好的问题，使自主机器能够及时做出决策。本专利技术的技术方案具体介绍如下。
[0007]一种基于路侧RSU的点云语义分割与理解方法，具体步骤如下：
[0008]步骤一、获取道路场景点云数据，基于球映射的方法，将3D点云转换为2D距离图像；
[0009]步骤二、对2D距离图像进行2D全卷积语义分割，获得2D图片语义分割的结果；
[0010]步骤三、将2D图片语义分割的结果用距离信息、像素坐标和传感器参数映射到3D空间中，2D距离图像与对应于每个点的图像坐标进行配对和索引；
[0011]步骤四、基于3D后处理清除一些错误的离散化点，获取最终3D点云的语义分割结果。
[0012]本专利技术中，步骤一中，采用RSU整合高清摄像头和微波雷达装置，将信息实时上传给云端，获取道路场景点云数据，得到道路、车辆、行人和障碍物的准确位置信息；其中，雷达以类似距离图像的方式表示原始输入数据，每一列代表一组激光测距仪在某一点上测量的距离，每一行代表每个激光测距仪不同的角度位置，这些激光测距仪以恒定的速率发射。
[0013]本专利技术中，步骤一中，基于球映射的方法将3D点云转换为2D距离图像时，将每一个点云通过映射转换为球坐标，然后转换为2D图像坐标；
[0014]将(x,y,z)映射为(u,v)的球映射公式如下：
[0015][0016]其中：
[0017]w,h是2D距离图像的宽和高；
[0018]f
up
是雷达垂直方向上的上视角；
[0019]r＝||P
i
||2表示一个点到雷达的3D距离，i代表第i个点云，P
i
代表偏斜点云的坐标；
[0020]将以上得到的所有(u,v)坐标组成一个队列保存起来，得到这一范围内的图像表示的点云。
[0021]本专利技术中，步骤二中，对二维语义分割CNN网络进行修改，采用编码器
‑
解码器的沙漏型架构，以Darknet21作为骨干网络，来提取输入图像的多层次特征；将转换后的数据输入带有显著下采样编码器的2D语义分割CNN网络，获得较好的特征提取能力；利用不同规模的池化操作提取丰富的语义信息，在最后一个卷积层和全连接层中间，在卷积层和全连接层加一个空间金字塔池化层，改进不同尺度目标边缘分割的精确性，在距离图像上进行2D全卷积语义分割。
[0022]本专利技术中，步骤二中，经过水平方向的下采样，距离图像中每个像素的概率分布为：
[0023][0024]M
Logit
表示Logit模型；
[0025]FL损失函数优化训练，重点学习和提取困难样本特征，具体公式为：
[0026]FL(P
i
)＝
‑
α
t
(1
‑
P
i
)
γ
1b(P
i
)
[0027]其中γ表示注意力参数，p是类别预测概率，α
t
为类别权重，P
i
代表偏斜点云的坐
标。
[0028]本专利技术中，步骤四中，3D后处理时采用KNN搜索算法，将语义点云中的每一个点进行与它最接近的k个点进行一致投票，对2D转换到3D过程中出现的一些物体边缘部分的错误结果进行修正。
[0029]和现有技术相比，本专利技术的有益效果在于：
[0030]①
本专利技术通过对点云的球形投影，将输入点云转换为距离图像，使输入语义分割网络架构的点数大大减少，例如将130000个点投影到[64*512]范围图像后将只代表32768个点，这可以在GPU中以极快的速度进行，可以实现对整个点云的快速搜索，适用于大场景的点云分割；
[0031]②
针对点云小目标分割效果不佳问题进行改进，采用空间金字塔池化算法，实现多尺度的目标检测，对移动小目标的语义分割达到了更高的准确率。
[0032]③
利用距离图像和2D卷积以及GPU加速的后处理方法，只需要较小的内存和少量的参数，在准确度和速度之间取得良好的平衡，能够很好的保证系统的实时性。同时后处理方法可以恢复激光扫描中丢失的重要边界信息，改善离散化结果。
[0033]综上，本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路侧RSU的点云语义分割与理解方法，其特征在于，具体步骤如下：步骤一、获取道路场景点云数据，基于球映射的方法，将3D点云转换为2D距离图像；步骤二、对2D距离图像进行2D全卷积语义分割，获得2D图片语义分割的结果；步骤三、将2D图片语义分割的结果用距离信息、像素坐标和传感器参数映射到3D空间中，2D距离图像与对应于每个点的图像坐标进行配对和索引；步骤四、基于3D后处理清除一些错误的离散化点，获取最终3D点云的语义分割结果。2.根据权利要求1所述的点云语义分割与理解方法，其特征在于，步骤一中，采用RSU整合高清摄像头和微波雷达装置，将信息实时上传给云端，获取道路场景点云数据，得到道路、车辆、行人和障碍物的准确位置信息；其中，雷达以类似距离图像的方式表示原始输入数据，每一列代表一组激光测距仪在某一点上测量的距离，每一行代表每个激光测距仪不同的角度位置，这些激光测距仪以恒定的速率发射。3.根据权利要求1所述的点云语义分割与理解方法，其特征在于，步骤一中，基于球映射的方法将3D点云转换为2D距离图像时，将每一个点云通过映射转换为球坐标，然后转换为2D图像坐标；将(x,y,z)映射为(u,v)的球映射公式如下：其中：w,h是2D距离图像的宽和高；f
up
是雷达垂直方向上的上视角；r＝||P
i
||2表示一个点到雷达的3D距离，其中i代表第i个点云，P
i
代表偏斜点云的坐标；将以上得到的所有(u,v)坐标组成一个队列保存起来，得到这一范围内的图像表示的点云。4....

【专利技术属性】
技术研发人员：曾新华，应雨希，宋梁，商慧亮，张冠华，蒋林华，
申请(专利权)人：复旦大学，
类型：发明
国别省市：