一种基于双目相机和激光雷达融合的道路目标检测方法技术

本发明专利技术提供了一种基于双目相机和激光雷达融合的道路目标检测方法，利用左右两台相机与一台激光雷达采集前方道路目标信息；通过双目立体匹配算法获取双目视差；利用基于单目视觉的神经网络，获取图像目标类别与二维位置信息；结合双目视差与单目视觉检测信息，获取前方目标视觉三维检测结果；通过点云分割与聚类处理，获取前方目标雷达三维检测结果；对两种三维包围框的匹配代价进行匈牙利算法优化求解，基于匹配结果进行分类，并采用不同融合策略，最后输出补充修正后的道路目标信息。本发明专利技术的检测框架实现了传感器的优势互补，使用目标级匹配融合策略，输出更加准确可靠的道路目标信息。标信息。标信息。

【技术实现步骤摘要】
一种基于双目相机和激光雷达融合的道路目标检测方法


[0001]本专利技术属于智能车辆环境感知领域，具体涉及一种基于双目相机和激光雷 达融合的道路目标检测方法。

技术介绍

[0002]现阶段智能驾驶成为主流趋势，而其中智能车辆准确高效的环境感知是实 现高级辅助驾驶乃至自动驾驶的首要任务。当前，智能车辆环境感知技术主要 依赖于视觉、雷达等车载传感器。其中，通过视觉图像可以获得道路目标类别 信息，但是单目视觉系统并不能准确获得物体距离信息；而激光雷达能够提供 道路目标三维信息，但是无法准确判断目标类别。
[0003]现有解决方案为了实现各传感器的优势互补，出现了基于传感器融合的目 标检测方法，但是在具体实施设计上，仅仅是利用多传感器检测信息的简单扩 展，融合方案准确性和可靠性有待提高。目前尚未见到对上述问题所进行解决 或改进的更优方法或技术。

技术实现思路

[0004]针对现有方法的以上缺陷或改进需求，本专利技术的目的在于提供一种基于双 目相机和激光雷达融合的道路目标检测方法，将视觉传感与激光雷达技术相结 合，并融合了YOLO本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机和激光雷达融合的道路目标检测方法，其特征在于，包含以下步骤：步骤1、利用左右两台相机与一台激光雷达采集前方道路目标信息；步骤2、通过双目立体匹配算法获取双目视差信息；步骤3、利用基于YOLOv4的视觉目标检测神经网络，获取左相机图像中目标的类别与二维位置信息，作为左相机视觉检测信息；步骤4、结合双目视差信息与左相机视觉检测信息，获取前方目标三维视觉检测结果；步骤5、对激光雷达获取的原始点云，进行点云分割与聚类，获取前方目标雷达检测结果；步骤6、对上述视觉检测结果与雷达检测结果进行时间与空间配准，将两者获取的前方目标检测结果进行匹配融合，输出融合后的前方目标信息。2.如权利要求1所述的方法，其特征在于，所述步骤1包括：通过左右两台相互平行放置的相机，构成双目相机系统，分别采集前方道路目标的左右图像信息；通过一台激光雷达采集前方道路区域点云信息；相机与雷达相对位置保持不变，且利用相机与激光雷达采集道路信息之前，首先对左右两台相机进行双目标定，对左相机和激光雷达进行联合标定。3.如权利要求2所述的方法，其特征在于，所述标定步骤具体为：根据左右相机采集的图像，利用张正友标定法及MABTLAB标定工具，获取左右相机内参M
L1
,M
R1
,畸变系数D
L
,D
R
；选取4对以上激光雷达点云中的3D点及其相对应的图像像素点，利用其3D空间点位置P
Lidar_i
及该点的2D图像投影位置p
img_i
，采用PnP算法，获取左相机与激光雷达之间的外参M
LR
＝[R
LR
|T
LR
]，完成联合标定。4.如权利要求1所述的方法，其特征在于，所述步骤2包括：利用双目相机标定的内外参数，对左右相机采集的图像进行立体校正；通过SGBM算法，寻找左右图像同一目标物对应的像素点，基于左相机图像像素点生成视差；利用双目视差，基于Bouguet算法，获取图像像素二维点[u
i
,v
i
]
T
到相机坐标系三维点[x
i
,y
i
,z
i
]
T
的重投影矩阵Q
reprojection
。5.如权利要求1所述的方法，其特征在于，所述步骤3包括：预先采集目标图像数据集，对图像中道路目标类别与位置进行标注，将标注好的数据集作为训练集输入YOLOv4视觉目标检测神经网络，训练出网络预测权重；将左相机获取图像输入到YOLOv4视觉目标检测神经网络中，得到图像中第i个目标的类别信息class
i
及其最小二维包围框2d_bbox
img_i
(u
i
,v
i
,w
i
,h
i
)，其中u
i
是图像中第i个目标二维最小包围框2d_bbox
img_i
的左上角点横坐标，v
i
是左上角点纵坐标，w
i
是最小包围框的宽...

【专利技术属性】
技术研发人员：张炳力，潘泽昊，姜俊昭，刘文涛，张成标，程进，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：