一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法技术

本发明专利技术适用于车辆传感器和图像识别领域，提供了一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：步骤一、目标检测；步骤二、目标追踪；步骤三、速度估计；步骤四、雷达数据坐标变换；步骤五、雷达数据处理；步骤六、融合和区分。本发明专利技术针对深度视觉采用独立的处理算法，在目标识别算法（YOLOV5s）基础上增加追踪算法，能够通过摄像头采集到的信息图像对目标进行快速的识别和追踪，能够起到模拟人的双眼做到可视化识别，同时也避免了因外界环境干扰因素降低系统的鲁棒性和安全性；毫米波雷达使用独立的算法对目标进行检测识别和追踪并对结果融合；算法的快速性，能够满足汽车在高速行驶下的目标识别。足汽车在高速行驶下的目标识别。

【技术实现步骤摘要】
一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法


[0001]本专利技术属于车辆传感器和图像识别领域，尤其涉及一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法。

技术介绍

[0002]在传统的汽车驾驶中，对行驶路上的汽车、行人、障碍物等目标都是通过驾驶员的眼睛观察到，然后做出相应的判断和决策。但由于复杂的交通环境和驾驶员的各种驾驶问题，仅仅驾驶员眼睛观察存在安全风险，为了减少事故的发生，智能汽车的研究逐渐的深入，目的是为了代替人类驾驶汽车在复杂的交通环境中行驶，减少人为因素而发生的交通事故，同时能够提高车辆的通行率。智能汽车的设计包括感知、决策、控制和输出这四大部分，而感知就相当于智能汽车的“眼睛”，获取外界的各种信息，包括目标的位置、速度和加速度等信息，因此感知是智能汽车设计当中的关键环节。
[0003]在构成交通事故的人、车、道路环境三要素中，人为因素占的比例最大(占55％～90％)，人的影响主要体现在交通直接参加者的性格体力上的弱点，经验不足或状态不良等。如果通过汽车的传感器获取外部的信息，利用相应的决策帮助驾驶员或者代替驾驶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，包括以下步骤：步骤一、目标检测深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；步骤二、目标追踪利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；所述目标ID具体位置当前目标计数序号，即第几个出现的目标；步骤三、速度估计对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；步骤四、雷达数据坐标变换利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；步骤五、雷达数据处理利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；步骤六、融合和区分融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。2.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。3.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤二中所述目标追踪的具体步骤为：a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别L...

【专利技术属性】
技术研发人员：赵海艳，徐成成，卢星昊，陈虹，
申请(专利权)人：吉林大学，
类型：发明
国别省市：