一种激光雷达3D目标检测方法技术

本发明专利技术公开了一种激光雷达3D目标检测方法，包括：获取待检测点云图像；待检测点云图像中的每个点具有多维特征；根据待检测点云图像确定多个点云柱；根据每个点云柱的参数信息，确定该点云柱内的点的扩展特征；根据每个点云柱内的点的扩展特征，确定该点云柱内的每个点的高维特征和该点云柱的全局特征；根据该点云柱的全局特征与高维特征，得到该点云柱的拼接特征；根据该点云柱的拼接特征，确定该点云柱的融合特征；根据多个点云柱的融合特征，确定待检测点云图像的伪图像；将伪图像输入预训练的检测网络，得到待检测点云图像中包含的目标的类别和位置；检测网络包括：下采样网络、多路特征提取网络、反卷积网络和检测头。反卷积网络和检测头。反卷积网络和检测头。

【技术实现步骤摘要】
一种激光雷达3D目标检测方法


[0001]本专利技术属于计算机视觉
，具体涉及一种激光雷达3D目标检测方法。

技术介绍

[0002]深度学习算法的发展渗透在自动驾驶的每个领域，尤以环境感知领域最为突出。环境感知技术在自动驾驶领域有着十分重要的作用，实现车辆自动驾驶的前提条件是车辆能够精准的感知到周围环境信息，并根据道路交通情况进行路线预测，对自动驾驶车辆进行精准控制。环境感知是自动驾驶中最基础的组成部分，只有当车辆能够实现对周围环境的精准感知时，才能够在此基础上实现正确的路径规划和运动控制等功能。激光雷达具有极高的检测准确率，覆盖面极广，而且不受光照的影响，能够在夜间或恶劣的环境中正常运行，比传统的相机和毫米波雷达更加安全、实用。基于激光雷达的3D目标检测算法被广泛应用在自动驾驶环境感知领域。激光雷达的3D目标检测算法基于点云的处理形式一般可以分为三类，二维投影法、三维体素法和三维原始点云卷积法。其中，三维体素法将点云数据离散化为规则的体素网格形式，计算简单高效、鲁棒性强、可视化效果好、适用性广泛。
[0003]已有的VoxelNet网络模型中，将原始点云空间里的数据按照体素方法划分成若干体素，再对划分的体素使用3D卷积核进行特征提取，最后使用3D检测头对提取到的特征进行回归预测并生成对应的检测框。因为其使用3D卷积计算量庞大，从而导致整个网络参数较多，检测速度受到一定的限制。已有的一种名为PointPillars的三维物体检测方法，在划分体素网格时不考虑高度值，仅通过平面坐标的方式将点云划分成若干点云柱，利用PointNet来学习垂直点柱体中包含的点云特征，将学习到的特征编码成伪图像，然后使用比较成熟的2D目标检测技术来预测目标的3D检测框，因该方法使用的是2D卷积，所以其在检测速度上取得了巨大的优势，推理时其速度可达到62FPS。
[0004]PointPillar模型作为一种基于二维卷积神经网络的3D目标检测模型，虽然具有多种优点，但仍然存在一些缺点，比如，对目标的尺度敏感，具体体现在对于小目标的检测效果不如对于大目标的检测效果；空间分布信息不足，具体体现在对点云数据进行稠密化处理时可能会损失一定的空间分布信息(例如，将特征转化到伪图像时会损失原始点云的空间特征)，对于一些具有复杂几何形状的目标，可能会导致检测精度下降。

技术实现思路

[0005]为了解决相关技术中存在的上述问题，本专利技术提供了一种激光雷达3D目标检测方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供一种激光雷达3D目标检测方法，包括：
[0007]获取待检测点云图像；所述待检测点云图像中的每个点具有多维特征；
[0008]根据所述待检测点云图像确定多个点云柱；每个点云柱内包含多个点；
[0009]根据每个点云柱的参数信息，确定该点云柱内的点的扩展特征；
[0010]根据每个点云柱内的点的扩展特征，确定该点云柱内的每个点的高维特征和该点
云柱的全局特征；
[0011]根据该点云柱的全局特征与高维特征，得到该点云柱的拼接特征；
[0012]根据该点云柱的拼接特征，确定该点云柱的融合特征；
[0013]根据所述多个点云柱的融合特征，确定所述待检测点云图像的伪图像；
[0014]将所述伪图像输入预训练的检测网络，得到所述待检测点云图像中包含的目标的类别和位置；所述检测网络包括：下采样网络、多路特征提取网络、反卷积网络和检测头；所述多路特征提取网络用于对输入特征的一部分通道的特征进行特征提取，将提取的特征与另一部分通道的的特征进行合并，对合并后的特征进行通道和空间维度的特征提取。
[0015]在一些实施例中，所述多维特征包括：三维坐标和反射强度；每个点云柱的参数信息包括：每个点云柱的质心的三维坐标和几何中心的二维坐标；所述根据每个点云柱的参数信息，确定该点云柱内的点的扩展特征，包括：
[0016]根据每个点云柱的质心的三维坐标，以及该点云柱内的每个点的三维坐标，确定该点与所述质心之间的三维距离；
[0017]根据该点云柱的几何中心的二维坐标，以及该点的三维坐标，确定该点与所述几何中心之间的二维距离；
[0018]将该点的三维坐标、该点与所述质心之间的三维距离、该点与所述几何中心之间的二维距离和所述反射强度构成的参数，作为该点的扩展特征。
[0019]在一些实施例中，所述根据每个点云柱内的点的扩展特征，确定该点云柱内的每个点的高维特征和该点云柱的全局特征，包括：
[0020]采用预训练的单层感知机网络对每个点的扩展特征进行特征映射，得到该点的高维特征；
[0021]对每个点云柱内的所有点的所述高维特征进行最大池化处理，得到该点云柱的全局特征。
[0022]在一些实施例中，所述根据该点云柱的拼接特征，确定该点云柱的融合特征，包括：
[0023]采用预训练的单层感知机网络对该点云柱的拼接特征进行特征映射，得到该点云柱的融合特征。
[0024]在一些实施例中，所述多个点云柱对应有排布索引；所述根据所述多个点云柱的融合特征，确定所述待检测点云图像的伪图像，包括：
[0025]对每个点云柱的所述融合特征进行最大池化操作，得到该点云柱的柱内特征；
[0026]将所述多个点云柱的柱内特征按照所述排布索引进行映射，得到所述待检测点云图像的伪图像。
[0027]在一些实施例中，所述多路特征提取网络包括：特征分组模块、特征提取模块、通道注意力模块、空间注意力模块和卷积神经网络；
[0028]所述特征分组模块用于通过卷积的方式将输入的特征划分为两组子特征；每组子特征的通道数为所述输入的特征的通道数的一半；
[0029]所述特征提取模块包括：多个叠加的ResNet网络；
[0030]所述通道注意力模块包括：最大池化层、平均池化层、两个卷积神经网络、相加运算层、激活层和点乘运算层；
[0031]所述空间注意力模块包括：所述最大池化层、所述平均池化层、特征拼接层、一个卷积神经网络和所述点乘运算层。
[0032]在一些实施例中，所述将所述伪图像输入预训练的检测网络，得到所述待检测点云图像中包含的目标的类别和位置，包括：
[0033]将所述伪图像输入预训练的检测网络，所述预训练的检测网络依次对所述伪图像进行多次下采样，对应得到多个不同分辨率的伪图像；
[0034]对每种分辨率的伪图像的图像特征进行分组，得到至少两组子特征；
[0035]对所述至少两组子特征中的一组子特征进行特征提取，得到提取特征；
[0036]将所述提取特征与所述至少两组子特征中未进行特征提取的子特征进行合并，得到合并特征；
[0037]对所述合并特征进行通道维度的特征提取，得到通道特征图；
[0038]对所述通道特征图进行空间维度的特征提取，得到空间特征图；
[0039]对所述空间特征图进行卷积处理，得到卷积特征；...

【技术保护点】

【技术特征摘要】
1.一种激光雷达3D目标检测方法，其特征在于，包括：获取待检测点云图像；所述待检测点云图像中的每个点具有多维特征；根据所述待检测点云图像确定多个点云柱；每个点云柱内包含多个点；根据每个点云柱的参数信息，确定该点云柱内的点的扩展特征；根据每个点云柱内的点的扩展特征，确定该点云柱内的每个点的高维特征和该点云柱的全局特征；根据该点云柱的全局特征与高维特征，得到该点云柱的拼接特征；根据该点云柱的拼接特征，确定该点云柱的融合特征；根据所述多个点云柱的融合特征，确定所述待检测点云图像的伪图像；将所述伪图像输入预训练的检测网络，得到所述待检测点云图像中包含的目标的类别和位置；所述检测网络包括：下采样网络、多路特征提取网络、反卷积网络和检测头；所述多路特征提取网络用于对输入特征的一部分通道的特征进行特征提取，将提取的特征与另一部分通道的特征进行合并，对合并后的特征进行通道和空间维度的特征提取。2.根据权利要求1所述的激光雷达3D目标检测方法，其特征在于，所述多维特征包括：三维坐标和反射强度；每个点云柱的参数信息包括：每个点云柱的质心的三维坐标和几何中心的二维坐标；所述根据每个点云柱的参数信息，确定该点云柱内的点的扩展特征，包括：根据每个点云柱的质心的三维坐标，以及该点云柱内的每个点的三维坐标，确定该点与所述质心之间的三维距离；根据该点云柱的几何中心的二维坐标，以及该点的三维坐标，确定该点与所述几何中心之间的二维距离；将该点的三维坐标、该点与所述质心之间的三维距离、该点与所述几何中心之间的二维距离和所述反射强度构成的参数，作为该点的扩展特征。3.根据权利要求1所述的激光雷达3D目标检测方法，其特征在于，所述根据每个点云柱内的点的扩展特征，确定该点云柱内的每个点的高维特征和该点云柱的全局特征，包括：采用预训练的单层感知机网络对每个点的扩展特征进行特征映射，得到该点的高维特征；对每个点云柱内的所有点的所述高维特征进行最大池化处理，得到该点云柱的全局特征。4.根据权利要求1所述的激光雷达3D目标检测方法，其特征在于，所述根据该点云柱的拼接特征，确定该点云柱的融合特征，包括：采用预训练的单层感知机网络对该点云柱的拼接特征进行特征映射，得到该点云柱的融合特征。5.根据权利要求1所述的激光雷达3D目标检测方法，其特征在于，所述多个点云柱对应有排布索引；所述根据所述多个点云柱的融合特征，确定所述待检测点云图像的伪图像，包括：对每个点云柱的所述融合特征进行最大池化操作，得到该点云柱的柱内特征；将所述多个点云柱的柱内特征按照所述排布索引进行映射，得到所述待检测点云图像的伪图像。
6.根据权利要求1所述的激光雷达3D目标检测方法，其特征在于，所述多路特征提取网络包括：特征分组模块、特征提取模块、通道注意力模块、空间注意力模块和卷积神经网络；所述特征分组模块用于通过卷积的方式将输入的特征划分为两组子特征；每组子特征的通道数为所述输入的特征的通道数的一半；...

【专利技术属性】
技术研发人员：公茂果，武越，熊光磊，张明阳，王善峰，李豪，范晓龙，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：