基于雷达和图像数据融合的深度学习车载障碍物检测方法技术

本发明专利技术公开了一种基于智能设备传感器数据融合和深度学习的目标检测算法，通过融合的雷达点云数据和摄像头数据，丰富了检测模型所能够感知的数据特征类型。并通过在不同配置的数据通道融合进行模型训练，选择最佳的通道配置，提高检测准确度的同时降低计算功耗。通过在真实数据上进行测试确定了适合真实情况的通道配置，达到利用Yolo深度卷积神经网络模型处理融合数据，进行道路场景的目标障碍物检测目标。

【技术实现步骤摘要】
基于雷达和图像数据融合的深度学习车载障碍物检测方法
本专利技术涉及一种基于雷达和图像数据融合的深度学习障碍物检测方法，属于传感器融合、人工智能和自动驾驶

技术介绍
自驾驶车辆通过装配在车身周围的多种传感器感知车辆自身运行状况和道路环境，以及周边障碍物等信息；通过目标识别、车道检测、交通信号识别、可行区域检测等算法进行环境认知，从而产生驾驶控制指令，既驱动改装后的转向、加速和制动执行机构以完成自驾驶过程，整个过程包括：“感知-认知-决策”的动态环境交互闭环。自驾驶车辆常见的激光雷达(Lidar)包括iBeo和velodyne的正向雷达(4线和8线)和360度环绕雷达(16线，32线和64线)，激光雷达通过发射激光束和接收障碍物反射回来的激光计算障碍物目标，并通过短时间间隙内的多条激光束对周边环境进行点云建模，得到周边环境的3D点云模型。但由于激光色散和机械结构的动态特性限制，激光雷达获得束感知距离受环境因素影响较大，一般有效感知距离在200m范围内；且激光雷达的点云数据束十分稀疏，且随距离增大而更加稀疏；最后，激光雷达无法获得类人眼的环境语义信息，包括物体和环境的色彩感知，使得激光雷达的单一数据在自动驾驶车辆的感知能力较弱。光学摄像头能够对周边环境成像得到彩色图片，且感知距离和感知范围较远，以类人眼的光学感知方式成像获得束数据不仅像素密集，且包含丰富的语义信息，感知精度和感知距离与光学成像原件(如镜头，COS芯片大小等)相关，一般可达数百至上千米。但光学摄像头成像不具备距离信息，一般需要根据算法对帧间信息进行复杂计算获取，且精度随实际目标距离的增加而快速衰减。缺乏距离信息使得摄像头数据对自动驾驶场景的应用受到限制，相关的数据信息也只有较低的置信度。同时，光学摄像头受环境光影响较大，在天气、光照和环境变化时，成像效果不稳定，难以适应车载场景下的高速运动和颠簸成像需求。在自动驾驶领域，基于单一类型传感器(特别是摄像头)进行环境感知，摄像头和车载激光雷达均存在一定的劣势，通过数据融合的方式分别利用不同车载传感器的感知特性，利用设计的算法消解传感器数据间的冲突，能够充分利用不同传感器的优势，达到辅助自动驾驶对环境的精准、快速感知的目标。
技术实现思路
本专利技术的目的是为了解决上述问题，提出一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，对装备在自动驾驶车辆上的激光雷达和光学摄像头捕获的雷达点云数据和光学图像信息进行数据融合，并训练检测道路路面主要障碍物的目标，属于自动驾驶的感知和认知算法层面，能够为决策提供精准的路面障碍物，包括汽车、卡车、行人和自行车等目标的检测信息。本专利技术提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括：基于已有的雷达点云和摄像头的数据采集模块，利用标定好的车载激光雷达和摄像头传感器对车辆行驶过程中的道路场景进行数据获取；设计原始雷达点云上采样模块，所设计的算法分别对原始点云数据进行处理，得到对应的能够反馈道路场景深度信息和高度信息的深度图和高度图；基于雷达点云深度图、高度图数据和摄像头图片的数据融合策略；基于Yolo深度学习模型的目标检测模型训练，和实时的车载模型部署及道路障碍物检测。相应地，本专利技术提供了基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：步骤1，利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；步骤2，对雷达点云数据进行上采样，获取对应的高度图和深度图数据；步骤3，将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置。步骤4，在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，即可实时获取当前时间帧内的环境目标障碍物位置和距离。本专利技术的优点在于：(1)通过激光雷达点云数据获取的深度图和高度图丰富了道路环境感知信息，也补充了车载环境下传统摄像头受环境光照影响带来的成像不确定性和不稳定性，提高了检测精度的；(2)通过优选的雷达深度图和高度图，以及彩色图像RGB数据的五通道数据融合策略，消除冗余数据，能够进一步降低模型训练和运行过程的计算复杂度，加速自驾驶车载环境的硬件功耗，提高车辆续航能力；(3)利用Yolo模型的目标检测模型对融合数据进行学习，比传统基于RGB数据的模型更为复杂，但是能从丰富的传感器融合数据学习更强的障碍物特性，能够加速网络参数调整趋向更优结果；(4)保留了原始的雷达点云数据对道路场景及相关障碍物目标的实际距离信息，Yolo模型实时目标检测结果，为自驾驶提供了精准的道路目标障碍物信息以及障碍物距离信息。附图说明图1为本专利技术使用的车载激光雷达原始点云数据示意图；图2为本专利技术使用的同一场景下摄像头的彩色RGB图像(灰度图)；图3为本专利技术方法进行雷达和摄像头数据融合训练Yolo模型流程示意图；图4为本专利技术中提取的雷达高度图示意；图5为本专利技术中提取的雷达深度图示意；图6为本专利技术中使用的车辆相对坐标系；图7为本专利技术中使用的Yolo深度卷积网络模型架构；图8为本专利技术中使用RGB标定目标障碍物示意图；图9为本专利技术中通过不同通道数据融合对比结果；图10为本专利技术中三种不同检测标准下模型检测准确度对比；图11为本专利技术中采用的最终融合三通道数据。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术是一种基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要用于自动驾驶领域的车载传感器数据融合和目标感知检测，通过标定后的雷达数据进行预处理，获得对应的深度图和高度图数据，与摄像头捕获的RGB彩图进行融合，用于训练Yolo卷积网络模型。在实时检测时，雷达和摄像头的融合数据直接输入训练好的模型，模型给出图中的目标位置和相关距离信息。本专利技术的基于雷达和图像数据融合的深度学习车载障碍物检测方法，主要步骤如图3所示，下面结合一个实施例具体说明。步骤(1)车载道路场景数据采集：通过固定在车辆顶部的激光雷达和车辆内部的摄像头进行数据采集，同步时间戳后调节采样频率为10Hz。步骤(2)雷达点云数据进行预处理：对步骤(1)获取的如图1雷达原始点云数据通过高度图和深度图生成算法，得到对应高度图和深度图；并与RGB彩图如图2进行标定；本专利技术深度图生成算法：利用公式(1)和公式(2)对原始雷达点云数据进行处理，由于雷达点云的每个点包含4维信息(三维坐标信息和点云强度)。按如图6所示的相对坐标系，深度图主要考虑每个点云数据的三维信息中的Y轴数据据进行稠密化处理。算法首先将所有点云投射到X-Z平面，然后从上向下，从左向右，依次遍历每个点云，将点云的在原雷达数据Y轴的值和周围点云间的坐标值输入公式(1)和(2)。每个单元内利用公式(1)和(2)计算，得到稠密化的像素矩阵，然后映射到0-255范围形成灰度图结果，得到如图4的深度图。本专利技术高度图生成算法，与深度图类似：按如图6所示的相对坐标系，本文档来自技高网...

【技术保护点】
1.基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：步骤一：利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；步骤二：对雷达点云数据进行上采样，获取对应的高度图和深度图；步骤三：将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置；步骤四：在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，实时获取当前时间帧内的环境目标障碍物位置和距离。

【技术特征摘要】
1.基于雷达和图像数据融合的深度学习车载障碍物检测方法，包括以下步骤：步骤一：利用车载激光雷达和摄像头传感器采集车辆行驶过程中的道路场景，获取同步时间戳的雷达点云数据和彩色图；步骤二：对雷达点云数据进行上采样，获取对应的高度图和深度图；步骤三：将雷达点云深度图、高度图和相同时间戳的彩色图RGB三通道作为五通道融合训练数据，利用该数据形成的训练数据集对Yolo网络模型进行训练，输出一个训练好的Yolo深度卷积网络模型，并筛选不同组合融合数据条件下的目标检测准确度，剔除冗余数据作为最终的数据融合配置；步骤四：在实时运行时，自动驾驶车辆通过雷达和摄像头实时捕获道路场景信息，通过预处理得到的深度图和高度图，搭配彩色图像RGB三通道数据进行融合，输入给训练好的Yolo模型，实时获取当前时间帧内的环境目标障碍物位置和距离。2.根据权利要求1所述的基于雷达和图像数据融合的深度学习车载障碍物检测方法，所述的步骤二具体为：对步骤一获取的原始雷达点云数据通过高度图和深度图生成算法，得到对应高度图和深度图；所述的深度图生成算法为：利用公式(1)和公式(2)对原始雷达点云数据进行处理：其中，v为当前遍历计算的点云...

【专利技术属性】
技术研发人员：牛建伟，齐之平，欧阳真超，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11