本发明专利技术公开了一种多传感器融合车辆目标跟踪方法、系统及存储介质，该方法包括：S100：获取车辆行驶环境的毫米波雷达数据和图像数据；S200：根据雷达数据获得当前周期雷达有效目标的局部航迹；S300：根据图像数据获得当前时刻相机目标的局部航迹；S400：将雷达和相机进行时空对准，之后对雷达有效目标和相机目标进行匹配，将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹，采用融合全局轨迹对上一时刻全局航迹进行更新。本申请可提升车辆跟踪的稳定性，可获得更为准确的全局航迹。局航迹。局航迹。
【技术实现步骤摘要】
一种多传感器融合车辆目标跟踪方法、系统及存储介质
[0001]本申请属于智能驾驶辅助
，具体涉及一种多传感器融合车辆目标跟踪方法、系统及存储介质。
技术介绍
[0002]目前拥有智能驾驶辅助功能的汽车逐步进入交通环境，当车载传感器确认行驶环境存在危险时，会在必要时刻进入避险状态，通过其自身的环境感知
‑
决策规划
‑
控制系统避免事故发生。环境感知是智能驾驶的基础前提，良好的环境感知系统能为后续的工作提供可靠信息。
[0003]在环境感知方面，起主要作用的是激光雷达、毫米波雷达、相机等传感器。激光雷达分辨率高可成像，其丰富的点云信息能进行目标分类与检测，获取目标的3D信息，但易受雨雪天气干扰且造价昂贵，尚未大规模匹配在车辆上。毫米波雷达穿透性强且稳定，能在恶劣环境下工作，成本低，尽管其不具备目标分辨能力以及角分辨较差，但是较准的距离探测使其成为智能驾驶汽车功能领域开发必不可少的传感器之一。相机可获得丰富的图像信息，能辨别目标类别，是可靠的车辆感知传感器之一，但在位置信息的测量上存在较大误差。单传感器都有明显短板，多传感器融合则可优势互补，是环境感知的趋势。
[0004]在车辆检测与跟踪技术中，多传感器融合是研究重心，在已有的LKA(车道保持辅助系统)、ACC(自适应巡航系统)等智能驾驶辅助系统中，相机和毫米波雷达是不可或缺的传感器。如何有效的融合多传感器，互补各自的优缺点，并进一步提高跟踪的稳定性和精度是车辆跟踪目前面临的研究关键。
技术实现思路
[0005]本申请的目的是提供一种多传感器融合车辆目标跟踪方法、系统及存储介质，该方法和系统可进一步提高跟踪的稳定性和精度。
[0006]为达到上述目的，本申请第一方面提供一种多传感器融合车辆目标跟踪方法，包括：
[0007]S100：获取车辆行驶环境的毫米波雷达数据和图像数据；
[0008]S200：从雷达数据提取雷达有效目标及其位置、速度信息，对所提取雷达有效目标赋予唯一ID；之后预测并更新雷达有效目标状态，获得当前周期雷达有效目标的局部航迹；
[0009]S300：从图像数据中检测相机目标，对相机目标进行跟踪并赋予唯一ID，估算相机目标的位置、速度信息，获得当前时刻相机目标的局部航迹；
[0010]S400：将雷达和相机进行时空对准，之后对雷达有效目标和相机目标进行匈牙利匹配，将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹，采用融合全局轨迹对上一时刻全局航迹进行更新。
[0011]在一些具体实施方式中，步骤S200中，采用卡尔曼滤波法预测并更新雷达有效目标状态。
[0012]在一些具体实施方式中，步骤S300中，采用DeepSORT法对相机目标进行跟踪。
[0013]在一些具体实施方式中，步骤S300进一步包括：
[0014]S310：从图像数据中检测相机目标获取检测框；
[0015]S320：以检测框状态为输入，预测检测框在下一时刻的跟踪框；所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率；
[0016]S330：对当前时刻的跟踪框与检测框进行匹配，对匹配后得到的相机目标赋予唯一ID，估算相机目标的位置信息和速度信息，形成相机目标局部航迹。
[0017]在一些具体实施方式中，检测框位置特征包括检测框中心位置；形状特征包括检测框宽高比及高度；位置特征和形状特征在图像中的变化率指相对上一时刻检测框中心位置、检测框宽高比及高度的变化率。
[0018]在一些具体实施方式中，步骤S330再进一步包括：
[0019]S331：计算检测框和跟踪框的交并比IOU，以1
‑
IOU作为代价矩阵的值进行匈牙利匹配，获得匹配成功的跟踪框和检测框；
[0020]S332：重复子步骤S331进行连续跟踪，当跟踪次数达到预设次数N，跟踪框为确认状态，此后执行子步骤S333；
[0021]S333：对确认状态的跟踪框进行级联匹配，计算跟踪框和检测框的距离度量，以距离度量生成代价矩阵，基于代价矩阵进行匹配，进行匹配时优先匹配丢失次数最少的跟踪框和未匹配的检测框；之后，执行子步骤S334；所述距离度量指跟踪框和检测框间的马氏距离和余弦距离的线性加权和；
[0022]S334：计算未匹配的跟踪框和检测框的交并比IOU，以1
‑
IOU作为代价矩阵的值进行匈牙利匹配，输出匹配以及未匹配的跟踪框和检测框，对得到的相机目标赋予唯一ID，若相机目标上一时刻已存在，则沿用上一时刻的ID，估算相机目标位置、速度信息，形成相机目标局部航迹。
[0023]以上，对匹配成功的检测框和跟踪框，跟踪框的跟踪次数加1，用检测框对跟踪框进行卡尔曼滤波更新；对匹配失败的跟踪框，丢失次数加1，当丢失次数达到丢失阈值，删除该跟踪框。
[0024]上述步骤S400中，将雷达和相机进行时空对准，具体为：以毫米波雷达的扫描周期为准进行时间对齐。
[0025]在一些具体实施方式中，步骤S400进一步包括：
[0026]以雷达有效目标和相机目标的位置和速度的综合差值作为代价矩阵，对雷达有效目标和相机目标进行匈牙利匹配，获得雷达有效目标和相机目标的匹配关系；将匹配成功的相机目标和雷达有效目标融合形成全局目标；
[0027]初次匹配完成后，对匹配成功目标的位置、速度信息融合，形成当前时刻的全局航迹信息，并保存配对成功的雷达有效目标和相机目标的ID；在下一时刻，执行如下：
[0028](1)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹的相机目标ID、雷达有效目标ID对应，且雷达有效目标和相机目标的综合差值不大于设定阈值，则以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新，跟踪次数加1；
[0029](2)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID对
应，但雷达有效目标ID不对应时，将上一时刻全局航迹中雷达有效目标ID更新为当前融合全局轨迹中的雷达有效目标ID，同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值，若是，则匹配成功，以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新，跟踪次数加1；
[0030](3)当上一时刻全局航迹保存的相机目标ID和当前融合全局轨迹的相机目标ID不对应，但雷达有效目标ID对应时，将上一时刻全局航迹中相机目标ID更新为当前融合全局轨迹中的相机目标ID；同时判断雷达有效目标和相机目标的综合差值是否不大于设定阈值，若是，则匹配成功，以当前融合全局轨迹对上一时刻全局航迹进行卡尔曼滤波预测与更新，跟踪次数加1；
[0031](4)当上一时刻全局航迹保存的相机目标ID、雷达有效目标ID和当前融合全局轨迹中相机目标ID、雷达有效目标ID均不对应时，将当前融合全局轨迹作为新全局航迹，跟踪次数记为0。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多传感器融合车辆目标跟踪方法，其特征是，包括：S100：获取车辆行驶环境的毫米波雷达数据和图像数据；S200：从雷达数据提取雷达有效目标及其位置、速度信息，对所提取雷达有效目标赋予唯一ID；之后预测并更新雷达有效目标状态，获得当前周期雷达有效目标的局部航迹；S300：从图像数据中检测相机目标，对相机目标进行跟踪并赋予唯一ID，估算相机目标的位置、速度信息，获得当前时刻相机目标的局部航迹；S400：将雷达和相机进行时空对准，之后对雷达有效目标和相机目标进行匈牙利匹配，将匹配成功的雷达有效目标和相机目标的局部航迹融合获得融合全局轨迹，采用融合全局轨迹对上一时刻全局航迹进行更新。2.如权利要求1所述的多传感器融合车辆目标跟踪方法，其特征是：步骤S300进一步包括：S310：从图像数据中检测相机目标获取检测框；S320：以检测框状态为输入，预测检测框在下一时刻的跟踪框；所述检测框状态至少包括检测框位置特征、形状特征以及位置特征和形状特征在图像中的变化率；S330：对当前时刻的跟踪框与检测框进行匹配，对匹配后得到的相机目标赋予唯一ID，估算相机目标的位置信息和速度信息，形成相机目标局部航迹。3.如权利要求2所述的多传感器融合车辆目标跟踪方法，其特征是：所述检测框位置特征包括检测框中心位置；所述形状特征包括检测框宽高比及高度；所述位置特征和形状特征在图像中的变化率指相对上一时刻检测框中心位置、检测框宽高比及高度的变化率。4.如权利要求2所述的多传感器融合车辆目标跟踪方法，其特征是：步骤S330进一步包括：S331：计算检测框和跟踪框的交并比IOU，以1
‑
IOU作为代价矩阵的值进行匈牙利匹配，获得匹配成功的跟踪框和检测框；S332：重复子步骤S331进行连续跟踪，当跟踪次数达到预设次数N，跟踪框为确认状态，此后执行子步骤S333；S333：对确认状态的跟踪框进行级联匹配，计算跟踪框和检测框的距离度量，以距离度量生成代价矩阵，基于代价矩阵进行匹配，进行匹配时优先匹配丢失次数最少的跟踪框和未匹配的检测框；之后，执行子步骤S334；所述距离度量指跟踪框和检测框间的马氏距离和余弦距离的线性加权和；S334：计算未匹配的跟踪框和检测框的交并比IOU，以1
‑
IOU作为代价矩阵的值进行匈牙利匹配，输出匹配以及未匹配的跟踪框和检测框，对得到的相机目标赋予唯一ID，若相机目标上一时刻已存在，则沿用上一时刻的ID，估算相机目标位置、速度信息，形成相机目标局部航迹；以上，对匹配成功的检测框和跟踪框，跟踪框的跟踪次数加1，用检测框对跟踪框进行卡尔曼滤波更新；对匹配失败的跟踪框，丢失次数加1，当丢失次数达到丢失阈值，删除该跟踪框。5.如权利要求1所述的多传感器融合车辆目标跟踪方法，其特征是：步骤S400中所述将雷达和相机进行时空对准，具体为：以毫米波雷达的扫描周期为准
进行时间对齐。6.如权利要求1所述的多传感器融合车辆目标跟踪方法，其特征是：步骤S400进一步包括：以雷达有效目标和相机目标的位置和速度的综合差值作为代价矩阵，对雷达有效目标和相机目标进行匈牙利匹配，获得雷达有效目标和相机目标的匹配关系；将匹配成功的相机目标和雷达有效目标融合形成全局目标；初次匹配完成后，对匹配成功目标的位置、速度信息融合，形成当前时刻的全局航迹信息，并保存配...
【专利技术属性】
技术研发人员：严运兵，吴水业，王维强，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。