一种基于点云体柱化的三维目标检测方法技术

本发明专利技术公开了一种基于点云体柱化的三维目标检测方法，首先将所取范围内的点云数据进行体柱化，将每个体柱内的点云按照高度方向划分为4个单元，按照不同的高度，对4个单元内的点云数据进行特征提取并经过全连接网络进行升维，最后将升维后的特征并联的拼接在一起进行特征的融合以减小其在高度方向上压缩时造成的信息损失。本发明专利技术在体柱的不同高度上分别进行了特征的提取与融合，使其能够在生成二维的伪图像过程中保留不同高度物体的特征，有利于对于不同高度物体的检测。本发明专利技术是局部采用体素化进行特征的升维与聚合，随后对聚合的特征进行伪图像生成，使其可以采用现有的处理二维图像的成熟架构，减少了运算速度的同时也可以提高检测的精度。以提高检测的精度。以提高检测的精度。

【技术实现步骤摘要】
一种基于点云体柱化的三维目标检测方法


[0001]本专利技术涉及汽车自动驾驶技术，特别是一种基于点云体柱化的三维目标检测方法。

技术介绍

[0002]车辆的自动驾驶系统是一个包括环境感知模块、决策模块和控制模块在内的复杂系统，其中环境感知模块通过车载传感器提供的多模态信息对汽车所处的环境中的感兴趣目标、障碍物、可行区域等关键信息进行识别和检测；紧接着决策模块则根据环境感知结果对行车路径、速度进行规划，并向控制模块发出车辆路径规划指令。最后，控制模块则根据指令控制汽车的方向盘、刹车和油门，使车辆在道路上安全行驶。其中环境感知模块作为自动驾驶系统中的关键模块，是自动驾驶的第一步。环境感知的准确性、鲁棒性和计算速度将直接影响决策模块发出控制车辆指令的合理性，与自动驾驶的安全性直接相关。
[0003]环境感知对于自动驾驶汽车最重要的功能是对环境中的感兴趣目标等进行三维理解，而三维目标检测是三维场景感知和理解的核心。三维目标检测是指从三维传感器数据中检测物理对象，估计三维边界盒，并指定特定的类别。当前的三维目标检测主要是综合利用单目相机、双目相机、多线激光雷达来进行。其中激光雷达扫描得到的点云数据包含了物体的空间坐标和相应的属性信息，是目标在现实世界的表征，因而能够提供准确的深度信息，实现对环境中的目标进行识别、定位和姿态估计从而获得目标位置、尺寸以及行驶方向等信息，可从根本上提升感知的准确率，提升自动驾驶安全性。
[0004]随着深度学习理论的飞速发展，并在许多研究方向上已经取得了重大突破，如计算机视觉、语音识别和自然语音处理等研究领域。基于深度学习的激光雷达点云目标检测算法也越来越受到人们关注。特征提取是深度学习网络模型中一个非常重要的步骤，可以理解为一个数据降维的过程，当需要在不丢失重要信息的情况下减少处理所需的资源数量时，特征提取非常有用。特征提取本质上是将原始数据转换为可以处理的数字特征的过程，在这个过程中会保留原始数据集中的关键信息。特征提取还可以减少给定分析的冗余数据量，这可以提高深度学习和泛化步骤的速度。
[0005]点云作为激光雷达输出的一种基本数据格式，保留了三维空间中的原始几何状态，可以提供丰富的形状和比例信息，因此它是无人驾驶场景感知理解的重要表示。目前基于深度学习的激光雷达点云数据的检测算法可以分为三个子类：基于投影的方法、基于体素表示的方法和基于原始点云的方法。其中，基于体素表示的方法，通过等分点云空间来生成规则的点云体素网格，然后利用卷积神经网络进行特征提取，该方法可以增加数据运算效率，高效的使用空间卷积因而为大多数网络所采用，但是该方法会导致很大的计算复杂度，对算法和硬件设备的要求都很高。为了解决这种问题，有学者提出了将点云预处理成体柱的处理方法，因为体柱的高度和整个点云空间相同，所以通过对整个体柱在高度方向上进行点云特征压缩，就可以将三维的点云数据转换成二维的伪特征图，来完成点云的特征提取，这种方法虽然实现了非常高效的处理效率，但是由于点云具有无序、稀疏、非结构化
以及信息量有限的特性，导致在对整个点云体柱进行压缩时会不可避免的造成信息的损失，尤其是高度方向上的信息丢失。

技术实现思路

[0006]为解决点云体柱压缩过程中在高度方向上信息损失的问题，本专利技术要设计一种能减小在高度压缩时信息损失的基于点云体柱化的三维目标检测方法。
[0007]为了实现上述目的，本专利技术的基本思路如下：首先将所取范围内的点云数据进行体柱化，将每个体柱内的点云按照高度方向划分为4个单元，按照不同的高度，对4个单元内的点云数据进行特征提取并经过全连接网络进行升维，最后将升维后的特征并联的拼接在一起进行特征的融合以减小其在高度压缩时造成的信息损失。
[0008]本专利技术的技术方案如下：一种基于点云体柱化的三维目标检测方法，包括以下步骤：
[0009]A、体柱划分
[0010]设点云空间的坐标系为x
‑
y
‑
z，其中坐标系的原点为传感器所在位置，x轴方向为平行于地面的水平方向，y方向为传感器在水平面内的前方探测方向且与x轴方向垂直，z轴方向为竖直方向。在x
‑
y
‑
z方向上取一定范围内的点云构成所需的点云空间。
[0011]将整个点云空间在x
‑
y平面上均匀切分成正方形网格，每个网格的边长设为a，在z轴方向取高度h，使高度h与点云空间高度保持相等，在设定好的x、y、z轴方向上把整个点云空间划分为一定数量的体柱。对于得到的体柱，在z轴方向每隔1/4取样，将体柱划分为4个体积相同的体素网格，随后将获取的体素网格从上往下分别按照4个体素网格、3个体素网格、2个体素网格、1个体素网格的方式组合获得4个不同高度的体柱；
[0012]B、特征提取与伪图像生成
[0013]对体柱中的每个数据点进行升维并提取特征。对于体柱内的每个数据点其本身是包含坐标信息x、y、z以及反射率信息r所组成的4维特征；在升维过程中，为了增强数据点的信息表示，让先其特征维度扩充为9维，随后让体柱每个数据点经过全连接层生成一个尺寸为A＝(C,P,N)的张量，其中C为通道数，P为体柱个数，N为体柱内数据点的数量。随后在通道方向上施加最大池化操作获得B＝(C,P)的张量。最后按照体柱的切分位置将输出张量堆积起来，即按照切分的高度坐标生成四张拥有不同高度点云信息的伪图像。每张伪图像的尺寸为其中P
i
∈R
H
×
W
×
C
表示深度图像，i表示图像标号，H和W表示图像的高度和宽度。
[0014]C、注意力机制特征融合
[0015]因为在不同高度的点云环境中，其对应伪图像包含的特征信息也不同，所以为了更好的提取特征，采取注意力机制进行特征融合。它利用网络去关注不同高度上最重要的特征信息，以此增强特征的表示能力。对于生成的4张不同高度的伪图像首先在通道C方向堆叠在一起组合成特征图F∈R
4C
×
H
×
W
。将特征图送入两个分支，一个分支不做任何处理，另一个分支经过3个卷积核大小为1的卷积层。在第一个分支中，经过第一个卷积层后特征图的尺寸不发生改变依旧为F'∈R
4C
×
H
×
W
；经过第二个卷
积层后特征图的尺寸发生改变为最后经过一个卷积层进行特征的升维变为F'∈R
4C
×
H
×
W
。第二个分支中特征图的尺寸不发生改变为F”∈R
4C
×
H
×
W
。最后将两个分支特征图进行元素级相加得到新一个的特征图F＝F'+F”∈R
4C
×
H
×
W
。
[0016]D、物体检测
[0017]将经过注意力机制后生成的特征图送入主干网络中。所述主干网络由两个子网络构成。第一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云体柱化的三维目标检测方法，包括以下步骤：A、体柱划分设点云空间的坐标系为x
‑
y
‑
z，其中坐标系的原点为传感器所在位置，x轴方向为平行于地面的水平方向，y方向为传感器在水平面内的前方探测方向且与x轴方向垂直，z轴方向为竖直方向；在x
‑
y
‑
z方向上取一定范围内的点云构成所需的点云空间；将整个点云空间在x
‑
y平面上均匀切分成正方形网格，每个网格的边长设为a，在z轴方向取高度h，使高度h与点云空间高度保持相等，在设定好的x、y、z轴方向上把整个点云空间划分为一定数量的体柱；对于得到的体柱，在z轴方向每隔1/4取样，将体柱划分为4个体积相同的体素网格，随后将获取的体素网格从上往下分别按照4个体素网格、3个体素网格、2个体素网格、1个体素网格的方式组合获得4个不同高度的体柱；B、特征提取与伪图像生成对体柱中的每个数据点进行升维并提取特征；对于体柱内的每个数据点其本身是包含坐标信息x、y、z以及反射率信息r所组成的4维特征；在升维过程中，为了增强数据点的信息表示，让先其特征维度扩充为9维，随后让体柱每个数据点经过全连接层生成一个尺寸为A＝(C,P,N)的张量，其中C为通道数，P为体柱个数，N为体柱内数据点的数量；随后在通道方向上施加最大池化操作获得B＝(C,P)的张量；最后按照体柱的切分位置将输出张量堆积起来，即按照切分的高度坐标生成四张拥有不同高度点云信息的伪图像；每张伪图像的尺寸为其中P
i
∈R
H
×
W
×
C
表示深度图像，i表示图像标号，H和W表示图像的高度和宽度；C、注意力机制特征融合因为在不同高度的点云环境中，其对应伪图像包含的特征信息也不同，所以为了更好的提取特征，采取注意力机制进行特征融合；它利用网络去关注不同高度上最重要的特征信息，以此增强特征的表...

【专利技术属性】
技术研发人员：郭烈，路珂，赵剑，余旭东，殷广，李刚，
申请(专利权)人：大连理工大学宁波研究院，
类型：发明
国别省市：