一种基于相机与激光雷达数据融合的3D目标检测算法制造技术

本公开的基于相机与激光雷达数据融合的3D目标检测算法，通过选择YOLOv5模型作为2D目标检测器，在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框；根据相机和激光雷达的标定原理构建相机采集的图像数据和激光雷达采集的点云数据的映射关系，同步相机采集的图像数据和激光雷达采集的点云数据；以激光雷达采集的点云数据作为输入，采用地面分割算法和点云裁剪技术对点云数据中的背景点云和前景点云进行分割；根据图像数据和点云数据的映射关系，将分割后的前景点云投影到相机成像平面，以目标的2D边界框内的前景点云作为目标的点云候选区域，通过欧式聚类提取目标的3D边界框，实现目标的3D检测。能够在不依赖引导人员的位置的前提下实现动态场景下的3D目标检测。的位置的前提下实现动态场景下的3D目标检测。的位置的前提下实现动态场景下的3D目标检测。

【技术实现步骤摘要】
一种基于相机与激光雷达数据融合的3D目标检测算法


[0001]本专利技术属于地面无人平台环境感知
，具体涉及一种基于相机与激光雷达数据融合的3D目标检测算法。

技术介绍

[0002]地面无人平台在实际应用场景中，需要跟随引导人员行驶，期间能够根据引导人员的位置实时规划局部任务路径和躲避障碍，而车载感知算法能否准确输出引导人员的位置决定了地面无人平台的跟随能力。当前基于图像的目标检测算法只能提供二维信息，无法用于地面无人平台的自主导航行驶，采用双目立体视觉虽然能够感知深度信息，但是感知距离受限且精度较低。激光雷达作为地面无人平台的另一种典型传感器，提供了场景轮廓和位置信息，可以对激光雷达原始点云或先转化为规则的表征方式后进行一系列三维卷积处理提取目标特征，但计算实时性较差，达不到地面无人平台的高实时性需求。此外，基于激光雷达的人员检测主要存在两个问题：1)引导人员的尺度较小，特别是远距离区域点云较稀疏；2)引导人员的行动具有不可预测性，且易受到背景中花草树木的影响。

技术实现思路

[0003]本专利技术克服了现有技术的不足之一，提供了一种基于相机与激光雷达数据融合的3D目标检测算法，实现动态场景下的3D目标检测。
[0004]根据本公开的一方面，本专利技术提供一种基于相机与激光雷达数据融合的3D目标检测算法，所述算法包括：
[0005]选择YOLOv5模型作为2D目标检测器，在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框；
[0006]根据相机和激光雷达的标定原理构建相机采集的图像数据和激光雷达采集的点云数据的映射关系，同步所述相机采集的图像数据和激光雷达采集的点云数据；
[0007]以所述激光雷达采集的点云数据作为输入，采用地面分割算法和点云裁剪技术对所述点云数据中的背景点云和前景点云进行分割；
[0008]根据图像数据和点云数据的映射关系，将分割后的前景点云投影到相机成像平面，以所述目标的2D边界框内的前景点云作为目标的点云候选区域，通过欧式聚类提取目标的3D边界框，实现目标的3D检测。
[0009]在一种可能的实现方式中，所述在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框，包括：
[0010]构建目标恒速运动模型；
[0011]根据所述目标恒速运动模型，融合目标当前帧与其相邻下一帧的运动特征和边框特征信息，并计算目标的预测轨迹和检测轨迹的相似度；
[0012]根据所述目标的预测轨迹和检测轨迹的方向相似度，采用匈牙利算法进行目标的关联匹配，实现在2D图像层进行目标的检测与跟踪，并得到目标检测的2D边界框。
[0013]在一种可能的实现方式中，同步所述相机采集的图像数据和激光雷达采集的点云数据，包括：
[0014]以激光雷达的采样时间作为同步时间节点，对基于相机采集的目标检测的2D边界框进行线性插值。
[0015]在一种可能的实现方式中，以所述激光雷达采集的点云数据作为输入，对所述点云数据中的背景点云和前景点云进行分割，包括：
[0016]采用体素滤波算法对所述点云数据进行降维处理；
[0017]计算每个点云数据与激光雷达X轴的夹角和激光雷达中心点的水平距离r，根据激光雷达的水平角分辨率划分为扇形区域；
[0018]每个扇形区域在径向根据水平距离r划分为多个子区域，并对所述点云数据以射线形式进行有序存储；
[0019]对于同一条射线的相邻两点云数据进行直线拟合，如果直线斜率满足所述相邻两点云数据的局部坡度阈值，所述相邻两点云数据为背景点云，否则为前景点云，实现点云数据中的背景点云和前景点云的分割。
[0020]在一种可能的实现方式中，目标的预测轨迹和检测轨迹的相似度，包括：目标的预测轨迹和检测轨迹的方向相似度和位置相似度。
[0021]本公开的基于相机与激光雷达数据融合的3D目标检测算法，通过选择YOLOv5模型作为2D目标检测器，在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框；根据相机和激光雷达的标定原理构建相机采集的图像数据和激光雷达采集的点云数据的映射关系，同步所述相机采集的图像数据和激光雷达采集的点云数据；以所述激光雷达采集的点云数据作为输入，采用地面分割算法和点云裁剪技术对所述点云数据中的背景点云和前景点云进行分割；根据图像数据和点云数据的映射关系，将分割后的前景点云投影到相机成像平面，以所述目标的2D边界框内的前景点云作为目标的点云候选区域，通过欧式聚类提取目标的3D边界框，实现目标的3D检测。能够在不依赖引导人员的位置的前提下实现动态场景下的3D目标检测。
附图说明
[0022]附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
[0023]图1示出了根据本公开一实施例的基于相机与激光雷达数据融合的3D目标检测算法流程图；
[0024]图2示出了根据本公开一实施例的YOLOv5模型的结构示意图；
[0025]图3示出了根据本公开一实施例的步骤S1的进一步限定流程图；
[0026]图4示出了根据本公开一实施例的目标级联匹配的流程示意图；
[0027]图5a示出了根据本公开一实施例的激光雷达和相机同步的示意图；
[0028]图5b示出了根据本公开另一实施例的激光雷达和相机同步的示意图；
[0029]图6示出了根据本公开另一实施例的激光点云的横向和径向切割示意图。
具体实施方式
[0030]以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。
[0031]另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0032]图1示出了根据本公开一实施例的基于相机与激光雷达数据融合的3D目标检测算法流程图。如图1所示，该算法可以包括：
[0033]步骤S1：选择YOLOv5模型作为2D目标检测器，在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框。
[0034]其中，2D图像层可以为利用相机采集的图像数据层。
[0035]图2示出了根据本公开一实施例的YOLOv5模型的结构示意图。
[0036]其中，YOLOv5模型结构如图2所示，可以利用YOLOv5模型含有Focus结构和CSP1结构的主干网络层进行目标特征提取，采用特征金字塔网络(Feature Pyramid Networks，FPN)和感知对抗网络(Perceptual Adversarial Network，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机与激光雷达数据融合的3D目标检测算法，其特征在于，所述算法包括：选择YOLOv5模型作为2D目标检测器，在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框；根据相机和激光雷达的标定原理构建相机采集的图像数据和激光雷达采集的点云数据的映射关系，同步所述相机采集的图像数据和激光雷达采集的点云数据；以所述激光雷达采集的点云数据作为输入，采用地面分割算法和点云裁剪技术对所述点云数据中的背景点云和前景点云进行分割；根据图像数据和点云数据的映射关系，将分割后的前景点云投影到相机成像平面，以所述目标的2D边界框内的前景点云作为目标的点云候选区域，通过欧式聚类提取目标的3D边界框，实现目标的3D检测。2.根据权利要求1所述的3D目标检测算法，其特征在于，所述在2D图像层进行目标的检测和跟踪，得到目标检测的2D边界框，包括：构建目标恒速运动模型；根据所述目标恒速运动模型，利用卡尔曼滤波算法预测目标下一帧轨迹，融合目标当前帧与其相邻下一帧的运动特征和边框特征信息，并计算目标的预测轨迹和检测轨迹的相似度；根据所述目标的预测轨迹和检测轨迹的方向相似度，采用匈牙利算法进行目标的关联匹...

【专利技术属性】
技术研发人员：安旭阳，苏治宝，杜志岐，李兆冬，陈佳琪，宋威龙，余雪玮，李冀川，索旭东，
申请(专利权)人：智能移动机器人中山研究院，
类型：发明
国别省市：