图像和点云融合的多目标跟踪方法技术

本发明专利技术涉及多目标跟踪技术领域，本发明专利技术公开了图像和点云融合的多目标跟踪方法

【技术实现步骤摘要】
图像和点云融合的多目标跟踪方法、系统、介质及设备


[0001]本专利技术涉及多目标跟踪
，具体的说，是涉及图像和点云融合的多目标跟踪方法
、
系统
、
介质及设备
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]随着汽车的发展开始向着智能化
、
新能源化等方向发展，智能化诞生的智能驾驶是汽车目前以及今后发展的重要方向，其实现无论是缓解交通堵塞，提高交通的运行效率，减少驾驶员疏忽导致的诸多交通事故，还是提升科技实力，都拥有重要的意义
。
以智能驾驶的能源优化与排放管理为例，该技术可以优化车辆行驶过程的燃油消耗，可以节省将近
10%
的燃油消耗
。
而以提高车辆行驶安全性为目的的主动安全技术，如车道保持，车道偏离预警
、
自动紧急刹车系统等技术，能够在事故发生前给予驾驶员预警以及主动控制如刹车，缓解由于人类驾驶员疏忽或者疲劳驾驶等不可抗力元素导致的交通事故
。
这是目前已经可以实现的功能，而根据智能驾驶汽车的最终完成形态，其可以在没有人类驾驶员监督的情况下自己完成车辆的控制，这完全避免了人类驾驶员的不可控元素，而且可以节省出驾驶员的驾驶时间去做其他事，极大提高了出行的效率
。
[0004]智能驾驶目标检测和跟踪技术的研究虽然已经有了很多的优秀方法，但是这些方法大多非常耗时，无法在精度和速度上取得良好的平衡，尤其是，在算力限制的智能驾驶计算平台上难以进行部署和实际应用
。
单模态跟踪方法会存在着关联不充分，环境自适应性较差的问题；然而，多目标跟踪方法会采用复杂的成本函数，这会带来较大的时间消耗
。

技术实现思路

[0005]本专利技术为了解决上述问题，本专利技术提供图像和点云融合的多目标跟踪方法
、
系统
、
介质及设备，舍弃了耗时的三维交并比成本函数，而是依赖三维检测框的位置
、
大小和旋转等几何信息构建了一个更为轻便的成本函数，减少了多目标跟踪的耗时
。
[0006]为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一个方面提供图像和点云融合的多目标跟踪方法，其包括：获取当前时刻待追踪目标的图像和点云，得到融合目标
、
未融合三维目标和未融合二维目标；基于三维轨迹库或二维轨迹库中存储的上一时刻的轨迹，预测当前时刻的轨迹后，对融合目标
、
未融合三维目标和未融合二维目标，进行多级关联，得到当前时刻的关联检测；基于当前时刻的关联检测，对当前时刻的轨迹进行更新后，加入三维轨迹库或二维轨迹库；其中，多级关联采用几何感知成本构建关联矩阵，所述几何感知成本包括欧式距
离成本
、
目标方向成本和多类别成本；所述欧式距离成本为两个关联对象的欧式距离与目标尺寸的比值；所述目标方向成本，根据两个关联对象的旋转角差值采用三角函数的方式确定；所述多类别成本，用于控制几何感知成本中所述目标方向成本的权重
。
[0007]进一步地，所述当前时刻的轨迹的预测与更新基于卡尔曼滤波算法和恒定速度运动模型
。
[0008]进一步地，所述多级关联的不同关联阶段采用不同的阈值
。
[0009]进一步地，所述多级关联的第一级关联为，基于所述几何感知成本，对所述融合目标和基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测
。
[0010]进一步地，所述多级关联的第二级关联包括：基于所述几何感知成本，对多级关联的第一级关联中的未关联检测，再次与所述基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测
。
[0011]进一步地，所述多级关联的第二级关联包括：基于所述几何感知成本，对所述未融合三维目标和基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测
。
[0012]进一步地，所述多级关联的第三级关联为，基于交并比，对所述未融合二维目标和基于二维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测
。
[0013]进一步地，还包括：将三维轨迹库中的三维轨迹投影到图像平面后，利用投影后的轨迹与二维轨迹库中的二维轨迹进行关联，将关联的二维轨迹从二维轨迹库中删除
。
[0014]本专利技术的第二个方面提供图像和点云融合的多目标跟踪系统，其包括：检测融合模块，其被配置为：获取当前时刻待追踪目标的图像和点云，得到融合目标
、
未融合三维目标和未融合二维目标；关联模块，其被配置为：基于三维轨迹库或二维轨迹库中存储的上一时刻的轨迹，预测当前时刻的轨迹后，对融合目标
、
未融合三维目标和未融合二维目标，进行多级关联，得到当前时刻的关联检测；轨迹更新模块，其被配置为：基于当前时刻的关联检测，对当前时刻的轨迹进行更新后，加入三维轨迹库或二维轨迹库；其中，多级关联采用几何感知成本构建关联矩阵，所述几何感知成本包括欧式距离成本
、
目标方向成本和多类别成本；所述欧式距离成本为两个关联对象的欧式距离与目标尺寸的比值；所述目标方向成本，根据两个关联对象的旋转角差值采用三角函数的方式确定；所述多类别成本，用于控制几何感知成本中所述目标方向成本的权重
。
[0015]本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的图像和点云融合的多目标跟踪方法中的步骤
。
[0016]本专利技术的第四个方面提供一种计算机设备，包括存储器
、
处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的图像和点云融合的多目标跟踪方法中的步骤
。
[0017]与现有技术相比，本专利技术的有益效果为：
本专利技术提供了图像和点云融合的多目标跟踪方法，其在关联依赖的成本函数设计中，舍弃了耗时的
3D IoU
成本函数，而是依赖
3D
检测框的位置
、
大小和旋转等几何信息构建了一个更为轻便的成本函数，最后利用匈牙利匹配来完成前后帧检测的关联，减少了耗时
。
[0018]本专利技术提供了图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
图像和点云融合的多目标跟踪方法，其特征在于，包括：获取当前时刻待追踪目标的图像和点云，得到融合目标
、
未融合三维目标和未融合二维目标；基于三维轨迹库或二维轨迹库中存储的上一时刻的轨迹，预测当前时刻的轨迹后，对融合目标
、
未融合三维目标和未融合二维目标，进行多级关联，得到当前时刻的关联检测；基于当前时刻的关联检测，对当前时刻的轨迹进行更新后，加入三维轨迹库或二维轨迹库；其中，多级关联采用几何感知成本构建关联矩阵，所述几何感知成本包括欧式距离成本
、
目标方向成本和多类别成本；所述欧式距离成本为两个关联对象的欧式距离与目标尺寸的比值；所述目标方向成本，根据两个关联对象的旋转角差值采用三角函数的方式确定；所述多类别成本，用于控制几何感知成本中所述目标方向成本的权重
。2.
如权利要求1所述的图像和点云融合的多目标跟踪方法，其特征在于，所述多级关联的不同关联阶段采用不同的阈值
。3.
如权利要求1所述的图像和点云融合的多目标跟踪方法，其特征在于，所述当前时刻的轨迹的预测与更新基于卡尔曼滤波算法和恒定速度运动模型
。4.
如权利要求1所述的图像和点云融合的多目标跟踪方法，其特征在于，所述多级关联的第一级关联为，基于所述几何感知成本，对所述融合目标和基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测；所述多级关联的第二级关联包括：基于所述几何感知成本，对多级关联的第一级关联中的未关联检测，再次与所述基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测
、
未关联轨迹
、
未关联检测
。5.
如权利要求1所述的图像和点云融合的多目标跟踪方法，其特征在于，所述多级关联的第二级关联包括：基于所述几何感知成本，对所述未融合三维目标和基于三维轨迹库中存储的上一时刻的轨迹预测得到的当前时刻的轨迹，进行关联，得到关联轨迹
、
关联检测<...

【专利技术属性】
技术研发人员：陈雪梅，徐泽源，薛杨武，肖龙，赵小萱，沈晓旭，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：