一种结合点云形状特征的自动驾驶实时三维目标检测方法技术

本发明专利技术公开了一种结合点云形状特征的自动驾驶实时三维目标检测方法，使用计算机图形学中的三角形网络对局部特征进行表示，从而灵活的呈现复杂的局部体素特征。本发明专利技术对体素内部的每一个点使用K近邻算法寻找距离最近的K个点，使用这些点构建以该点为中心的伞状曲面，使用曲面的法向量方向、曲面中心坐标等信息构建每个点的曲面特征，用全连接神经网络以及最大池化层生成一个曲面特征，从而使用该曲面特征表示点云周围的局部形状。本发明专利技术使用伞状曲面构造为每个点云周围的点云形状进行建模，从而补充了缺失的局部形状学习特征，减少了自动驾驶感知任务中误检与漏检的现象。本发明专利技术在完成点云局部形状建模的同时保证了算法的实时性。的实时性。的实时性。

【技术实现步骤摘要】
一种结合点云形状特征的自动驾驶实时三维目标检测方法


[0001]本专利技术涉及自动驾驶汽车领域的三维目标检测方法，特别是一种结合点云形状特征的自动驾驶实时三维目标检测方法。

技术介绍

[0002]环境感知作为自动驾驶中最重要的一个模块，对于保障车辆安全有着至关重要的作用。其中，三维目标检测通过各类传感器(激光雷达、毫米波雷达、摄像头等)获取目标的位置、尺寸以及类别信息。激光雷达通过对四周物体进行高速的扫描采样，获取到大规模无序点云，从而获得简单并精准的三维场景表征，是对自动驾驶感知方案最重要的传感器之一。随着深度神经网络的发展，目前主流的基于激光雷达点云的三维目标检测算法主要分为基于原始点云的检测方法和基于体素的检测方法。
[0003]其中，基于原始点云的检测方法通常将激光雷达扫描得到的全部点云进行最远点采样和特征聚合：采样部分从全部点云中抽取部分点云，而特征聚合则对这些抽取出来的点云及其周围的点云进行特征聚合，从而使得每个点云聚合周围点云的特征信息。然而，基于原始点云的方法会造成较大的内存和计算开销，并不适应自动驾驶场景下的对检测算法实时性的要求。随着深度神经网络的发展和三维稀疏卷积的提出，目前基于体素的检测方法能够较为高效的从点云生成的体素中直接提取出点云的特征，例如VoxelNet、PointPillar等方法。这些方法通常使用各个体素内点云的坐标、强度、相对体素中心的偏移等信息作为体素特征，然后再使用三维稀疏卷积进行体素特征的下采样，最终得到三维目标框的分类信息和回归信息。这种方法十分高效的从体素而不是原始点云中进行点云的特征提取，大大减少了算法的内存和计算开销，使其部署在自动驾驶车辆的车载平台上进行实时的算法检测成为了现实。然而，这种方法虽然比较简洁直观，但是只使用局部坐标不能很好的表示点云局部形状的信息，忽略了点云之间的相互作用以及相邻点云构成的局部形状信息，从而限制了自动驾驶中三维检测算法精度的进一步提升。
[0004]为了使得自动驾驶中三维目标检测算法既能获得基于原始点云算法的检测精度和基于体素算法的检测效率，本专利技术提出了一种点云局部形状特征提取方案，该方法可以与任意基于体素的检测方案进行结合，从而使得点云的体素特征中可以融合点云的局部形状信息，帮助算法进一步提升检测精度。

技术实现思路

[0005]为解决现有技术存在的上述问题，本专利技术要设计一种能避免点云特征损失并提升检测准确性的结合点云形状特征的自动驾驶实时三维目标检测方法。
[0006]为了实现上述目的，本专利技术的基本思路如下：
[0007]为解决现有技术存在的问题，本专利技术使用计算机图形学中的三角形网络对局部特征进行表示，从而灵活的呈现复杂的局部体素特征。这种方法对体素内部的每一个点使用K近邻算法寻找距离最近的K个点，使用这些点构建以该点为中心的伞状曲面，使用曲面的法
向量方向、曲面中心坐标等信息构建每个点的曲面特征，用全连接神经网络以及最大池化层生成一个曲面特征，从而使用该曲面特征表示点云周围的局部形状。
[0008]本专利技术的技术方案如下：一种结合点云形状特征的自动驾驶实时三维目标检测方法，包含以下步骤：
[0009]A、为3D场景中的任意体素进行点云分配
[0010]将车载激光雷达采集到的全部点云P分配给各个体素，当体素内的点云数量超过预设最大点云数量N时随机采样N个点云，当点云数量少于N时使用0将点云数量补齐到N个，从而使每个非空体素中都有相同数量的点云数量N，每个点云包含三维位置坐标信息c及点云反射强度信息i。
[0011]B、为体素内的任一点云寻找邻接点并构建代表性曲面
[0012]以体素内任意一个点云作为原点，使用K近邻算法为其找到几何距离最近的K个邻接点云。将这K个邻接点云按照极坐标系下相对当前点云的角度顺时针排序，并依次两两与当前点云构建三角形网格，使得每个点云对应K个三角形网格，计算体素内每个点云对应网格的法向量方向v
norm
及网格中心坐标c
center
，最终为每个点云生成K个法向量及网格中心坐标，具体公式如下：
[0013]v
norm
＝(c
k
‑
c
current
)
×
(c
k
‑1‑
c
current
)0≤k≤K
[0014][0015]式中：c
current
表示当前点云的坐标，c
k
表示第k个邻近点的坐标
[0016]C、对体素内部的代表性曲面进行特征提取
[0017]将每个点生成网格的法向量方向v
norm
、网格中心坐标c
center
以及网格中心的极坐标c
sphere
使用全连接神经网络以及最大池化，为每个点云生成一个表征局部形状的伞状曲面特征向量f
umbella
。
[0018]c
sphere
＝xyz2sphere(c
center
)
[0019]f
umbella
＝pooling{MLPs(v
norm
,c
center
,c
sphere
)}
[0020]式中：xyz2sphere是极坐标转换函数，pooling是最大池化函数，MLPs表示全连接神经网络。
[0021]D、计算包含点云局部形状的体素特征
[0022]使用体素内每个点的全局坐标c、反射强度i、相对聚类中心的坐标c
cluster
、相对体素中心的坐标c
voxel
构建体素内部的点云坐标特征f
coordinate
，结合局部形状特征f
umbella
进一步进行特征集合抽象，得到每个点的特征，并通过最大池化层将N个点云的特征压缩为体素特征，得到包含点云局部形状的体素特征F
voxel
，表示如下：
[0023]f
coordinate
＝(c,i,c
cluster
,c
voxel
)
[0024]F
voxel
＝pooling{MLPs(f
coordinate
,f
umbella
)}
[0025]E、检测三维目标
[0026]将得到的体素特征投影到鸟瞰图视角下，使用深度卷积神经网络对体素特征进行进一步下采样及特征提取，并直接在下采样后的鸟瞰图特征上预测三维目标的位置、尺寸以及类别，所述三维目标包括汽车、行人和骑行者，从而完成自动驾驶车辆对周围环境的理解，为后续自动驾驶提供精准的检测结果。
[0027]与现有技术相比，本专利技术具有以下优势：
[0028]1、由于点云的无序性和不规则性，之前基于体素的三维目标检测方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合点云形状特征的自动驾驶实时三维目标检测方法，其特征在于：包含以下步骤：A、为3D场景中的任意体素进行点云分配将车载激光雷达采集到的全部点云P分配给各个体素，当体素内的点云数量超过预设最大点云数量N时随机采样N个点云，当点云数量少于N时使用0将点云数量补齐到N个，从而使每个非空体素中都有相同数量的点云数量N，每个点云包含三维位置坐标信息c及点云反射强度信息i；B、为体素内的任一点云寻找邻接点并构建代表性曲面以体素内任意一个点云作为原点，使用K近邻算法为其找到几何距离最近的K个邻接点云；将这K个邻接点云按照极坐标系下相对当前点云的角度顺时针排序，并依次两两与当前点云构建三角形网格，使得每个点云对应K个三角形网格，计算体素内每个点云对应网格的法向量方向v
norm
及网格中心坐标c
center
，最终为每个点云生成K个法向量及网格中心坐标，具体公式如下：v
norm
＝(c
k
‑
c
current
)
×
(c
k
‑1‑
c
current
)0≤k≤K式中：c
current
表示当前点云的坐标，c
k
表示第k个邻近点的坐标C、对体素内部的代表性曲面进行特征提取将每个点生成网格的法向量方向v
nom
、网格中心坐标c
center
以及网格中心的极坐标c
sphere
使用全连接神经网络以及最大池化，为每个点云生成一个表征局部形状的伞状曲面特征向量f
umbella...

【专利技术属性】
技术研发人员：郭烈，黄亮，余旭东，殷广，赵剑，李刚，
申请(专利权)人：大连理工大学宁波研究院，
类型：发明
国别省市：