一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法技术

本发明专利技术适用于车辆传感器和图像识别领域，提供了一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：步骤一、目标检测；步骤二、目标追踪；步骤三、速度估计；步骤四、雷达数据坐标变换；步骤五、雷达数据处理；步骤六、融合和区分。本发明专利技术针对深度视觉采用独立的处理算法，在目标识别算法（YOLOV5s）基础上增加追踪算法，能够通过摄像头采集到的信息图像对目标进行快速的识别和追踪，能够起到模拟人的双眼做到可视化识别，同时也避免了因外界环境干扰因素降低系统的鲁棒性和安全性；毫米波雷达使用独立的算法对目标进行检测识别和追踪并对结果融合；算法的快速性，能够满足汽车在高速行驶下的目标识别。足汽车在高速行驶下的目标识别。

【技术实现步骤摘要】
一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法


[0001]本专利技术属于车辆传感器和图像识别领域，尤其涉及一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法。

技术介绍

[0002]在传统的汽车驾驶中，对行驶路上的汽车、行人、障碍物等目标都是通过驾驶员的眼睛观察到，然后做出相应的判断和决策。但由于复杂的交通环境和驾驶员的各种驾驶问题，仅仅驾驶员眼睛观察存在安全风险，为了减少事故的发生，智能汽车的研究逐渐的深入，目的是为了代替人类驾驶汽车在复杂的交通环境中行驶，减少人为因素而发生的交通事故，同时能够提高车辆的通行率。智能汽车的设计包括感知、决策、控制和输出这四大部分，而感知就相当于智能汽车的“眼睛”，获取外界的各种信息，包括目标的位置、速度和加速度等信息，因此感知是智能汽车设计当中的关键环节。
[0003]在构成交通事故的人、车、道路环境三要素中，人为因素占的比例最大(占55％～90％)，人的影响主要体现在交通直接参加者的性格体力上的弱点，经验不足或状态不良等。如果通过汽车的传感器获取外部的信息，利用相应的决策帮助驾驶员或者代替驾驶员做出相应的判断和决策，可以大大的提高驾驶安全性和高效性。
[0004]在传统的汽车感知当中，通常都是使用单一的传感器获得外部的相关数据信息，但由于外部环境的复杂和各种干扰的影响，导致单一传感器获得的信息的准确性和精确性不是足够的高，因此很有必要采用多传感器对同一目标进行观测，从而提高数据信息的准确性和精确性。
[0005]多传感器信息融合包括同一传感器之间的信息融合、不同传感器之间的信息融合。不同传感器的干扰因素是不同的，由于外界的环境的复杂性，这就导致如果采用同一传感器进行信息融合系统的鲁棒性就大大降低，反而起不到多传感器信息融合的优势，因此多传感器信息融合常采用不同传感器之间的信息融合。对于不同传感器之间的信息融合，通常对信息融合的方法主要有三种：1、数据级信息融合，对各个传感器之间的原始数据直接进行融合，得到新的原始数据；2、特征信息融合，各个传感器分别对目标进行相应的数据处理，得到相应的特征信息，然后对特征信息进行融合；3、决策级信息融合，各个传感器对目标进行相应的算法处理，将处理的结果进行信息融合。
[0006]上述方法中，由于数据级信息融合会丢失相应的关键原始数据和特征信息融合会丢失关键的特征信息，因此主要的信息融合方法是目标信息融合。目标信息融合的优点是各个传感器获得的数据信息和特征信息能够通过相应的算法独立的判断出目标信息，然后通过融合方法进行相应的融合。对于高速行驶的汽车，选择合适的传感器处理算法和信息融合方法尤为的重要，不但要实现准确识别，而且要满足快速性。
[0007]在现有技术当中，对于多传感器的信息融合大多数设计都是主辅关系，这对整个系统的冗余率和准确率都是不高的，而且对于传感器而言，以现在的技术和能力无法做到对物体百分百的连续识别和追踪，因此为了极大程度解决这种问题，本文提出了一种多传
感器目标检测与跟踪技术的信息融合方法，各传感器采用独立的算法对物体进行检测和追踪，信息融合方法采用决策级信息融合。

技术实现思路

[0008]本专利技术实施例的目的在于提供一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，旨在解决传统单一传感器目标识别的低可靠性和低效率性的问题。
[0009]本专利技术是这样实现的，一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，包括以下步骤：
[0010]步骤一、目标检测
[0011]深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；
[0012]步骤二、目标追踪
[0013]利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；
[0014]所述目标ID具体位置当前目标计数序号，即第几个出现的目标；
[0015]步骤三、速度估计
[0016]对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；
[0017]步骤四、雷达数据坐标变换
[0018]利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；
[0019]步骤五、雷达数据处理
[0020]利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；
[0021]步骤六、融合和区分
[0022]融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。
[0023]进一步的技术方案，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。
[0024]进一步的技术方案，步骤二中所述目标追踪的具体步骤为：
[0025]a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；
[0026]b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；
[0027]c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别Label和目标ID；
[0028]d、在某一帧图像中有新先验框出现时，在检测的当前帧图像中先给上一帧已经确
定是目标的物体更新中心点坐标，再给剩余的先验框中的目标在图像上画出标记框、目标类别Label和目标ID；
[0029]e、对所有图像或者视频中所有帧数重复循环两帧图像计算法，直至结束。
[0030]进一步的技术方案，步骤三中所述速度估计的公式如下：
[0031][0032]其中，V
f
是实际物理估算速度，S
p
是两帧图像上物体位移的像素距离，T
t
是两帧之间的时间间隔，θ像素距离和实际距离映射估计值。
[0033]进一步的技术方案，步骤四中所述雷达数据坐标变换具体为：将毫米波雷达获得原始点云数据的极坐标系转换成三维坐标系；再将点云信息进行相应的坐标变换，即将毫米波雷达的二维坐标变换到图像坐标中。
[0034]进一步的技术方案，步骤六中所述融合和区分的具体步骤为：
[0035]a、对同一时刻，基于深度视觉识别出的标记框和基于毫米波雷达映射到对应时刻图像上的聚类框进行面积重合度计算δ；
[0036]b、对同一时刻，基于估算出的深度视觉图像上所有目标速度估计值和基于毫米波雷达得到各聚类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，包括以下步骤：步骤一、目标检测深度视觉获取摄像头拍摄的视觉图像，并对图像进行处理得到目标先验框；步骤二、目标追踪利用两帧间欧式距离追踪算法对目标先验框进行连续的追踪，从而获得识别目标的标记框、目标类别Label以及目标ID；所述目标ID具体位置当前目标计数序号，即第几个出现的目标；步骤三、速度估计对识别后的目标进行两帧图像上的位移计算，从而计算得出图像中识别目标的速度估算；步骤四、雷达数据坐标变换利用坐标系变换转变将毫米波雷达探测物体获取的极坐标系与深度视觉获取的图像坐标系变为统一的坐标系；步骤五、雷达数据处理利用动静分层对毫米波雷达原始数据进行处理，得到点云数据，再利用密度聚类算法DBSCAN对有效数据进行聚类，得到先验聚类框，对其中速度异常的数据进行滤除；根据聚类之后的信息中选取靠近聚类框中心点的合理代表数据，采用卡尔曼滤波器对目标进行连续追踪，去除无效聚类信息，从而得到被检测物体有效的量测数据包括纵向距离、纵向速度、侧向距离和侧向速度，并在对应时刻的图像上记录各聚类框；步骤六、融合和区分融合后利用速度偏差和面积重合度对深度视觉和毫米波雷达识别的结果进行融合和区分，并将识别结果呈现在图像上，从而实现决策级融合的决策得到准确识别结果。2.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤一中所述深度视觉基于卷积神经网络的YOLOV5s算法。3.根据权利要求1所述的融合毫米波雷达与深度视觉的多目标检测与跟踪方法，其特征在于，步骤二中所述目标追踪的具体步骤为：a、利用先验框中目标标记结果Boxes并计算出先验框的中心点，再给这个先验框加上目标ID；b、比较前后两帧图像的先验框中心点之间的欧氏距离，如果小于指定的阈值就认为是相同的目标，标记目标ID不变，并对所有识别目标在图像上画出标记框、目标类别Label和目标ID；c、如果目标的先验框在图像上消失，删除目标在图像上画出标记框、目标类别L...

【专利技术属性】
技术研发人员：赵海艳，徐成成，卢星昊，陈虹，
申请(专利权)人：吉林大学，
类型：发明
国别省市：