一种基于激光雷达与双目摄像头融合的3D目标检测方法及装置制造方法及图纸

本发明专利技术公开一种基于激光雷达与双目摄像头融合的3D目标检测方法，包括以下步骤：步骤A：对激光雷达与双目摄像头进行参数标定；步骤B：对激光雷达点云数据进行预处理；步骤C：对激光雷达点云进行地面分割、聚类；步骤D：建立目标分类预测模型；步骤E：进行3D目标匹配与检测。该基于激光雷达与双目摄像头融合的3D目标检测方法可实现对行驶环境中的障碍物的快速、准确检测，并具备很强的通用性。本申请还公开了一种基于激光雷达与双目摄像头融合的3D目标检测装置，同具有上述有益效果。同具有上述有益效果。同具有上述有益效果。

【技术实现步骤摘要】
一种基于激光雷达与双目摄像头融合的3D目标检测方法及装置


[0001]本专利技术涉及无人驾驶汽车感知
，尤其涉及基于激光雷达与双目摄像头融合的3D目标检测方法及装置。

技术介绍

[0002]为缓解交通拥堵、减少能源消耗、提高驾驶安全，无人驾驶汽车已经成为近年来的研究热点。在无人驾驶汽车的研究中，使用合理的 3D目标检测方法快速而精确地检测出车辆行驶环境中的障碍物，可以为后续规划、决策和控制算法提供有力支持，是保证车辆安全行驶的前提。
[0003]目前，无人驾驶汽车上主要采用激光雷达、摄像头、毫米波雷达等作为环境感知传感器，车辆行驶场景越复杂，越需要采用在车上布置多个传感器的技术方案。通过对多个传感器的输出信息进行融合，来获得更加丰富准确的车辆行驶场景信息。比如，将激光雷达与摄像头的信息进行融合，不仅可以得到360
°
范围内的环境信息，还可以检测识别出目标的具体类型。基于深度学习的目标检测方法，是当前目标检测的研究热点，在视觉方面得到了很好的应用，并实现了大量落地。但由于激光雷达点云数据量大，具有无序性和无结构性，并不适合采用该方法进行3D目标检测。因此，需要提供一种合理的3D 目标检测方法，对激光雷达与摄像头融合后的信息进行目标检测。

技术实现思路

[0004]本专利技术针对现有3D目标检测技术存在的缺陷，提出一种基于激光雷达与双目摄像头融合的3D目标检测方法及装置，用于快速准确地检测出环境中的3D目标。
[0005]为实现上述目的，本专利技术提供的技术方案如下：
[0006]步骤A：对激光雷达与双目摄像头进行参数标定；
[0007]步骤B：对激光雷达点云数据进行预处理；
[0008]步骤C：对激光雷达点云进行地面分割、聚类；
[0009]步骤D：建立目标分类预测模型；
[0010]步骤E：进行3D目标匹配与检测。
[0011]进一步的，所述步骤A具体包括以下步骤：
[0012]步骤A1：获取激光雷达原始点云数据和双目摄像头原始RGB图像数据，并进行解析；
[0013]步骤A2：对双目摄像头进行内参标定，同时对激光雷达、双目摄像头进行外参联合标定，实现二者输出的数据在空间上和时间上的同步。并将标定后的点云数据转换成ROS消息格式进行发布。
[0014]进一步的，所述步骤B具体包括以下步骤：
[0015]步骤B1：将ROS消息格式的点云数据装换成PCL格式的点云数据；
[0016]步骤B2：采用ROI方法对激光雷达点云进行筛选，提取出车辆行驶时的感兴趣区域；
[0017]步骤B3：采用VoxelGrid方法对感兴趣区域的点云进行降采样处理，降低点云后续处理的计算量。
[0018]进一步的，所述步骤C具体包括以下步骤：
[0019]步骤C1：采用基于LPR的地平面拟合分割方法对点云数据进行地平面拟合，将点云分割成地面点云和非地面点云，避免地面点对位于地面上物体点集造成干扰。
[0020]步骤C2：采用欧几里得聚类方法对非地面点云进行聚类处理，分割出车辆、行人等单个障碍物点云簇，并将点云簇转换成ROS消息格式进行发布。
[0021]进一步的，所述步骤D具体包括：采用YOLOv3网络来建立分类预测模型，可以快速地识别出障碍物目标的具体类别。
[0022]进一步的，所述步骤E具体包括以下步骤：
[0023]步骤E1：计算聚类得到的障碍物点云簇的位置坐标，然后将坐标值映射到2D像素中进行Label匹配，并将正确匹配到的Label标注到每个点云簇的属性中；
[0024]步骤E2：根据每个障碍物点云簇的Label，选择不同的3D BOX 框建立方法对点云簇添加合适的边界框，边界框代表不可碰撞区域，后续路径规划和决策时，需考虑该区域，避免发生碰撞。
[0025]本专利技术提供一种基于激光雷达与双目摄像头融合的3D目标检测装置，该装置包括：
[0026]信息采集模块：包括1个32线激光雷达和1个双目摄像头，用于采集车辆行驶场景信息，包括车辆、行人、交通设施等信息。
[0027]传感器标定模块：对激光雷达和双目摄像头进行内参和外参标定，使二者输出的场景数据信息在时间和空间上同步，有利于后续的信息匹配，提高感知精度。
[0028]点云数据处理模块：对激光雷达原始点云数据进行ROI提取和 VoxelGrid滤波处理，去除噪声、降低点云后续处理的计算量；然后对点云进行地面分割处理，得到非地面点云，并对非地面点云进行聚类处理，得到分割后的障碍物点云簇。
[0029]分类预测模型建立模块：采用YOLOv3网络来建立分类预测模型，通过训练，可以快速对障碍物目标进行分类。
[0030]3D目标匹配与检测模块：计算障碍物点云簇的位置坐标，并将其映射到2D像素中进行Label匹配，对每个点云簇标注相应的Label 属性；根据每个点云簇标注的Label，选择不同的3D BOX框建立方法对点云簇添加边界框，计算边界框的属性(包括坐标、长宽高或半径、航向等)，并将边界框进行输出。
[0031]本专利技术提供了一种基于激光雷达与双目摄像头融合的3D目标检测方法及装置，该方法具有如下优点：
[0032](1)本专利技术提出的3D目标检测方法充分考虑了点云和RGB图像的数据特征，根据深度学习与传统算法对数据处理的特征，采取传统算法对点云进行处理，处理的速度快、效率高，采取深度学习算法对RGB图像进行处理，目标识别精度高。
[0033](2)本专利技术提出的3D目标检测方法结合了激光雷达和双目摄像头对行驶场景感知的优点，利用双目摄像头识别出目标类别，并将类别Label标记给对应的障碍物点云簇，使
得障碍物点云簇不仅具有三维、距离等信息，也具有种类信息，为后续决策提供了有力的信息支持。
[0034](3)本专利技术提出的3D目标检测方法在研究了几种3D BOX建立方法的优缺点和适用对象之后，根据Label选择不同的3D BOX建立的方法，使建立的3D BOX的边框更加接近实际目标对象、更加精确，对后续目标跟踪具有明显优势。
附图说明
[0035]图1为本专利技术中一种基于激光雷达与双目摄像头融合的3D目标检测方法的流程示意图；
[0036]图2为本专利技术中传感器标定的流程图；
[0037]图3为本专利技术中激光雷达点云数据处理的流程图；
[0038]图4为本专利技术中目标分类模型建立示意图；
[0039]图5为本专利技术中3D目标匹配与检测的示意图；
[0040]图6为一种具有激光雷达与双目摄像头融合的3D目标检测装置的车辆。
具体实施方式
[0041]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0042]在本专利技术中，一台32线激光雷达安装在小型巴士纵向对称平面正前方，离地高度1.2米；该32线激光雷达的采集频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达与双目摄像头融合的3D目标检测方法，其特征在于，所述方法包括以下步骤：步骤A：对激光雷达与双目摄像头进行参数标定；步骤B：对激光雷达点云数据进行预处理；步骤C：对激光雷达点云进行地面分割、聚类；步骤D：建立目标分类预测模型；步骤E：进行3D目标匹配与检测。2.根据权利要求1所述的基于激光雷达与双目摄像头融合的3D目标检测方法，其特征在于，所述步骤A具体包括以下步骤：步骤A1：获取激光雷达原始点云数据和双目摄像头原始RGB图像数据，并进行解析；步骤A2：对双目摄像头进行内参标定，同时对激光雷达、双目摄像头进行外参联合标定，实现二者输出的数据在空间上和时间上的同步，并将标定后的点云数据转换成ROS消息格式进行发布。3.根据权利要求2所述的基于激光雷达与双目摄像头融合的3D目标检测方法，其特征在于，所述步骤A2选择平面标定法，采用MATLAB工具箱stereoCalibrator进行双目摄像头的内参重新标定，标定完成后会得到CameraParameters1、CameraParameters2、TranslationOfCamera2等参数，然后在驱动包里更改这些参数，即可获得较为准确的三维坐标点和二维像素点之间的矩阵转换关系。4.根据权利要求1所述的基于激光雷达与双目摄像头融合的3D目标检测方法，其特征在于，所述步骤B具体包括以下步骤：步骤B1：将ROS消息格式的点云数据装换成PCL格式的点云数据；步骤B2：采用ROI方法对激光雷达点云进行筛选，提取出车辆行驶时的感兴趣区域；步骤B3：采用VoxelGrid方法对感兴趣区域的点云进行降采样处理，降低点云后续处理的计算量。5.根据权利要求1所述的基于激光雷达与双目摄像头融合的3D目标检测方法，其特征在于，所述步骤C具体包括以下步骤：步骤C1：采用基于LPR的地平面拟合分割方法对点云数据进行地平面拟合，将点云分割成地面点云和非地面点云，避免地面点对位于地面上物体点集造成干扰。步骤C2：采用欧几里...

【专利技术属性】
技术研发人员：郑平平，刘一霏，任甜，张倩，
申请(专利权)人：陕西汽车集团股份有限公司，
类型：发明
国别省市：