一种基于C-V2X的多传感器信息融合车辆检测方法技术

本发明专利技术公开了一种基于C

【技术实现步骤摘要】
一种基于C
‑
V2X的多传感器信息融合车辆检测方法


[0001]本专利技术涉及车辆融合检测，涉及多传感器融合信息车辆检测，以车车通信补充现有多传感器融合检测模型。

技术介绍

[0002]21世纪以来，随着人工智能的不断发展与深入，自动驾驶作为人工智能领域的重要分支已经成为国内外的研究热点。而面向辅助驾驶的智能交通系统(Intelligent Transportation System，ITS)是解决目前交通问题的可行方案。
[0003]智能交通系统中，单车智能驾驶与互联自主驾驶技术上，目前自主驾驶有两种不同的实现路径：单车智能驾驶与互联自主驾驶。单车智能主要依靠车辆自身的视觉、毫米波雷达、激光雷达等传感器进行环境感知、计算决策和控制执行。互联自主驾驶是在现有单车驾驶的基础上，连接“人车路云”的交通参与要素，扩展和促进智能驾驶的能力提升，加速自主驾驶应用的成熟。在环境感知方面，它使车辆能够获得比单个车辆更多的信息，如非直瞄感知或解决容易受到恶劣环境影响的问题。单车智能感知一般只有300～500米，在计算和决策过程中，而C
‑
V2X改进了车辆、车辆和道路之间的系统决策，解决了驾驶员超视距感知和视觉盲区等问题。
[0004]当前在车辆检测过程中多传感器融合大多采用摄像头、激光雷达、毫米波雷达中的任意两种传感器融合检测方法，旨在提高融合检测的速度、精度，但是当前的融合检测方法方法仍存在对于视觉盲区(障碍物遮挡，大雨大雪大雾等极端天气)和超视距感知的缺乏。
专利技术内容
[0005]本专利技术为了解决现有问题，提出了一种基于C
‑
V2X的多传感器融合检测车辆的模型，在原本激光雷达和摄像头融合检测基础上通过车车通信来补充，采用YOLOv4算法去对比训练模型，并通过改进的DS证据理论进行多传感器融合以减少检测误差，进一步提升车辆检测的准确率并解决视觉障碍(车辆被障碍物遮挡，视觉死角以及大雨大雪大风等极端天气)问题。
[0006]本专利技术采用如下技术方案：一种基于C
‑
V2X的多传感器融合信息的车辆检测方法。车辆融合检测方法的具体流程为：获取激光雷达和摄像头采集的数据，对获取的图像数据和点云数据进行预处理，YOLOv4在深度图像和去噪图像两个训练集上分别进行训练，得到两个训练好的模型，通过判断深度图像目标边界框和去噪图像目标边界框交并比(IOU)的大小，选择不同的融合策略，通过改进的DS证据理论进行融合，得到车辆检测融合结果，最后通过车车通信补充现有多传感器融合检测，输出准确性实时性较高的车辆检测结果。本专利技术方法的整体流程图如图所示，包括如下步骤：
[0007]步骤1：通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；
[0008]步骤2：对于摄像头获取到的RGB图像和激光点云信息进行预处理；
[0009]步骤2.1：对于摄像头获取的RGB图像采用加权平均法进行去噪处理。
[0010]步骤2.2：将激光雷达和摄像头坐标进行精确校准和联合标定，然后将三维激光雷达点云帧投影到二维去噪图像平面上，形成稀疏的深度图。
[0011]步骤3：对预处理后的激光雷达点云图像进行深度补全，转换为密集深度图；
[0012]步骤4：使用YOLOv4目标检测算法对预处理后的图像进行车辆检测；
[0013]步骤4.1：使用YOLOv4目标检测算法对去噪后图像进行处理得到边界框信息和相应的置信度；
[0014]步骤4.2：使用YOLOv4目标检测算法对深度图像进行处理得到边界框信息和相应的置信度；
[0015]步骤5：对分别使用YOLOv4目标检测算法进行车辆检测的两种图像进行决策级融合，融合置信度机制原理是当感兴趣(IOU)<0.5时，则不进行合并，认为检测不成功，进行丢弃，如若0.5<IOU<0.8，则认为检测成功，将边界框交集作为检测结果，若0.8<IOU<1，则认为检测成功，并将边界框的拓展区域作为新的检测区域，而后融合基于改进的DS证据理论进行融合；
[0016]步骤6：以车车通信补充现有多传感器系统，交互融合后的信息，解决视觉障碍问题。
[0017]本专利技术的创造性主要体现在：
[0018]本专利技术采用多传感器融合优势互补的方法弥补了单一传感器感知信息准确性较低的不足，以V2V通信补充现有多传感器系统，克服自主传感器系统的限制，从而提供更高的精度、更好的可靠性，融合感知到视觉感知范围外的车辆位置信息。将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图，摄像头采集到的彩色图像进行去噪处理。然后将处理后的图像和密集深度图分别通过YOLOv4实时目标检测框架得到各自的车辆检测信息。最后，提出了决策级融合方法(基于改进的DS证据理论)将两者的检测结果进行融合，得到了最终的车辆检测结果，能有效提升车辆检测的实时性、准确性，鲁棒性。
附图说明
[0019]图1是本专利技术提出的方法总体流程图。
[0020]图2是本专利技术提出的车车通信流程图。
具体实施方式
[0021]以下结合说明书附图，对本专利技术的实施实例加以详细说明：
[0022]如图1所示，是本专利技术提出的方法总体流程图。一种基于C
‑
V2X的多传感器信息融合车辆检测方法，该方法的具体实施过程如下：
[0023]步骤1：通过安装在车辆上的摄像头获得车辆的语义信息(即RGB图像)，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息(即激光雷达点云)；
[0024]步骤2：对于摄像头获取到的RGB图像和激光点云信息进行预处理；
[0025]步骤2.1：对于摄像头获取的RGB图像进行去噪处理。
[0026]步骤2.2：将激光雷达和摄像头坐标进行精确校准和联合标定，然后将三维激光雷达点云帧投影到二维去噪图像平面上，形成稀疏的深度图。
[0027]步骤3：对预处理后的激光雷达点云图像进行深度补全，转换为密集深度图；
[0028]步骤4：使用YOLOv4目标检测算法对预处理后的图像进行车辆检测；
[0029]步骤4.1：使用YOLOv4目标检测算法对去噪后图像进行处理得到边界框信息和相应的置信度；
[0030]步骤4.2：使用YOLOv4目标检测算法对深度图像进行处理得到边界框信息和相应的置信度；
[0031]步骤5：对分别使用YOLOv4目标检测算法进行车辆检测的两种图像进行决策级融合，融合基于改进的DS证据理论；
[0032]步骤6：以车车通信补充现有多传感器系统，交互融合后的信息，解决视觉障碍问题。
[0033]进一步地，步骤2的预处理包括图像去噪处理和将激光雷达三维图像转换为二维图像：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于C
‑
V2X的多传感器信息融合车辆检测方法，其特征在于：获取激光雷达和摄像头采集的数据，对获取的图像数据和点云数据进行预处理，YOLOv4在深度图像和去噪图像两个训练集上分别进行训练，得到两个训练好的模型，通过判断深度图像目标边界框和去噪图像目标边界框交并比IOU的大小，选择不同的融合策略，通过改进的DS证据理论进行融合，得到车辆检测融合结果，最后通过车车通信补充现有多传感器融合检测，输出准确性实时性较高的车辆检测结果。2.根据权利要求1所述的一种基于C
‑
V2X的多传感器信息融合车辆检测方法，其特征在于：该方法包括如下步骤：步骤1：通过安装在车辆上的摄像头获得车辆的语义信息即RGB图像，及位于车顶的激光雷达对车辆周围环境进行扫描，获取环境的精确深度信息即激光雷达点云；步骤2：对于摄像头获取到的RGB图像和激光点云信息进行预处理；步骤3：对预处理后的激光雷达点云图像进行深度补全，转换为密集深度图；步骤4：使用YOLOv4目标检测算法对预处理后的图像进行车辆检测；步骤5：对分别使用YOLOv4目标检测算法进行车辆检测的两种图像进行决策级融合，融合置信度机制原...

【专利技术属性】
技术研发人员：李永，李颖，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：