一种基于相机和激光雷达融合的3D实时多目标跟踪方法技术

本发明专利技术涉及一种基于相机和激光雷达融合的3D实时多目标跟踪方法，属于环境感知领域，包括以下步骤：S1：得到每一时刻目标物体的二维信息和三维信息；S2：融合得到同时由激光雷达和相机两种传感器都检测到的目标物体、仅由激光雷达检测到的目标物体、仅由相机检测到的目标物体；S3：将同时由两种传感器检测得到的目标物体与三维轨迹进行匹配；S4：将仅由激光雷达检测到的目标物体与剩余未匹配上的三维轨迹进行匹配；S5：将仅由相机检测到的目标物体二维轨迹进行匹配；S6：将三维轨迹与二维轨迹进行匹配；S7：对轨迹进行管理。对轨迹进行管理。对轨迹进行管理。

【技术实现步骤摘要】
一种基于相机和激光雷达融合的3D实时多目标跟踪方法


[0001]本专利技术属于环境感知领域，涉及一种基于相机和激光雷达融合的3D实时多目标跟踪方法。

技术介绍

[0002]目前主流的多目标跟踪方法都是基于tracking
‑
by
‑
detection，其过程分为两步：1)目标检测；2)数据关联。随着目标检测的精度越来越高，跟踪的准确度也相应的在提高，而对于多目标跟踪最为重要的数据关联阶段，仍然存在较多困难，如何克服因检测不准确和遮挡而导致的漏跟、误跟依旧是挑战。现有的多目标跟踪方法主要分为基于相机的目标跟踪和基于激光雷达的目标跟踪。
[0003]基于相机的方法利用RGB图像上目标对象的信息来完成物体相似性关联的任务，通常有外观信息、运动信息等。基于相机的多目标跟踪方法通常是2D的，即在图像平面上跟踪，但也有采用双目相机提取深度做3D跟踪。主流的方式是利用目标检测算法提取目标信息，然后通过卡尔曼滤波进行预测，接着计算前后两帧各物体之间的代价矩阵，如：交并比、欧式距离、马氏距离等，最后使用匈牙利算法或贪婪算法进行匹配关联。后来有学者提出了一个单阶段的跟踪框架(Jointly learns the Detector and Embedding model)，认为检测和跟踪可以同时进行，提出了将目标检测和外观嵌入共享结构学习的跟踪模型，这样既有助于防止因为漏检而出现误跟的现象，又能解决漏跟问题，取得了较好的结果。
[0004]基于激光雷达的方法通常具有深度信息，因而有利于做3D跟踪。由于深度学习的方法在处理激光雷达点云数据过程取得了重大突破，因此基于激光雷达的3D跟踪开始逐渐受到欢迎。使用激光雷达点云数据进行跟踪缺乏如视觉的像素信息，尽管近年来针对点云特征的提取得到发展，但总体上基于点云的外观特征不如基于视觉的外观特征准确。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于相机和激光雷达融合的3D实时多目标跟踪方法
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]本专利技术一种基于相机和激光雷达融合的3D实时多目标跟踪方法，包括以下步骤：
[0008]一种基于相机和激光雷达融合的3D实时多目标跟踪方法，包括以下步骤：
[0009]S1：使用基于相机的2D检测器得到每一时刻目标物体的二维信息，使用基于激光雷达的3D检测器得到每一时刻目标物体的三维信息；
[0010]S2：将由基于激光雷达检测得到目标物体的三维信息通过坐标系转换投影到图像平面上，并与基于相机检测得到的目标物体进行融合，得到同时由两种传感器都检测到的目标物体、仅由激光雷达检测到的目标物体、仅由相机检测到的目标物体；
[0011]S3：将t时刻同时由两种传感器检测得到的目标物体与t
‑
1时刻的三维轨迹通过卡尔曼滤波预测得到t时刻的三维轨迹进行匹配，得到匹配成功的轨迹和未匹配成功的轨迹；
[0012]S4：将仅由激光雷达检测到的目标物体与剩余未匹配上的三维轨迹进行匹配；
[0013]S5：将t时刻仅由相机检测到的目标物体与t
‑
1时刻二维轨迹通过卡尔曼滤波预测得到t时刻的二维轨迹进行匹配；
[0014]S6：将t时刻三维轨迹通过坐标系变换投影到图像平面与相应的二维轨迹进行匹配；
[0015]S7：对未匹配上的同时由两种传感器检测到的目标初始化为新的确认轨迹，对未匹配上的由激光雷达检测得到的目标物体初始化为待确认的三维轨迹，若接下来连续三帧都匹配上则转为确认轨迹；对未匹配上的仅仅由相机检测得到的目标物体初始化为待确认的二维轨迹，若接下来连续三帧都匹配上则转为确认轨迹；对未匹配上的二维和三维轨迹保留6帧。
[0016]进一步，步骤S1中所述3D检测器得到目标物体的信息使用三维bounding box＝(x,y,z,w,h,l,θ)表示，其中(x,y,z)为三维检测框中心点在激光雷达坐标系下的坐标，(w,h,l)为三维检测框的宽、高、长，θ为朝向角(the heading angle)，使用所述2D检测器检测到的目标物体用二维bounding box＝＝(x
c
,y
c
,w,h)表示，其中(x
c
,y
c
)为目标检测框中心点在像素坐标系下的坐标，(w,h)分别为检测框的宽和高。
[0017]进一步，步骤S2具体包括以下步骤：
[0018]S21：将三维的bounding box通过坐标系转换投影到图像平面上得到二维的bounding box，
[0019]然后与基于相机检测到的目标物体的bounding box计算交并比，其交并比计算方式为：
[0020][0021]其中b
3d_2d
表示三维转换到二维的bounding box，b
2d
表示为基于相机检测到的目标物体的二维bounding box；
[0022]S22：将计算得到的交并比d
2diou
与阈值σ1比较，若d
2diou
≥σ1，则认为此目标既通过激光雷达检测到了，也通过相机检测到了，表示为若d
2diou
<σ1，则认为其分别是通过两种传感器单独检测到的目标物体，单独使用相机检测的物体表示为单独使用激光雷达检测的物体表示为
[0023]进一步，步骤S3具体包括：
[0024]S31：记t时刻由检测器检测到的目标物体t时刻由t
‑
1时刻预测得到的轨迹为T
3D
＝{T1,T2,
…
,T
m
}，计算D
fusion
和T
3D
两两之间的交并比和归一化欧式距离形成代价函数
[0025][0026]此处交并比的计算方式为
[0027][0028]归一化欧式计算方式为
[0029][0030]S32：若d
fusion
大于阈值σ2时，则认为轨迹与量测匹配成功，则用相应的量测信息更新轨迹T
matched
，若d
fusion
<σ2，则未匹配上的量测D
unmatched
初始化为新的确认轨迹，未匹配上的轨迹T
unmatched
进入下一级的匹配。
[0031]进一步，步骤S4具体包括：
[0032]S41：将步骤S32中未匹配上的轨迹T
unmatched
与仅在激光雷达下检测的物体D
only3d
使用匈牙利算法进行匹配，代价函数如下；
[0033][0034]此处交并比的计算方式为
[0035][0036]归一化欧式计算方式为
[0037][0038]S42：将代价函数与阈值比较，若大于阈值，则量测与轨迹匹配成功，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机和激光雷达融合的3D实时多目标跟踪方法，其特征在于：包括以下步骤：S1：使用基于相机的2D检测器得到每一时刻目标物体的二维信息，使用基于激光雷达的3D检测器得到每一时刻目标物体的三维信息；S2：将由基于激光雷达检测得到目标物体的三维信息通过坐标系转换投影到图像平面上，并与基于相机检测得到的目标物体进行融合，得到同时由两种传感器都检测到的目标物体、仅由激光雷达检测到的目标物体、仅由相机检测到的目标物体；S3：将t时刻同时由两种传感器检测得到的目标物体与t
‑
1时刻的三维轨迹通过卡尔曼滤波预测得到t时刻的三维轨迹进行匹配，得到匹配成功的轨迹和未匹配成功的轨迹；S4：将仅由激光雷达检测到的目标物体与剩余未匹配上的三维轨迹进行匹配；S5：将t时刻仅由相机检测到的目标物体与t
‑
1时刻二维轨迹通过卡尔曼滤波预测得到t时刻的二维轨迹进行匹配；S6：将t时刻三维轨迹通过坐标系变换投影到图像平面与相应的二维轨迹进行匹配；S7：对未匹配上的同时由两种传感器检测到的目标初始化为新的确认轨迹，对未匹配上的由激光雷达检测得到的目标物体初始化为待确认的三维轨迹，若接下来连续三帧都匹配上则转为确认轨迹；对未匹配上的仅仅由相机检测得到的目标物体初始化为待确认的二维轨迹，若接下来连续三帧都匹配上则转为确认轨迹；对未匹配上的二维和三维轨迹保留6帧。2.根据权利要求1所述的基于相机和激光雷达融合的3D实时多目标跟踪方法，其特征在于：步骤S1中所述3D检测器得到目标物体的信息使用三维bounding box＝(x,y,z,w,h,l,θ)表示，其中(x,y,z)为三维检测框中心点在激光雷达坐标系下的坐标，(w,h,l)为三维检测框的宽、高、长，θ为朝向角(the heading angle)，使用所述2D检测器检测到的目标物体用二维bounding box＝＝(x
c
,y
c
,w,h)表示，其中(x
c
,y
c
)为目标检测框中心点在像素坐标系下的坐标，(w,h)分别为检测框的宽和高。3.根据权利要求1所述的基于相机和激光雷达融合的3D实时多目标跟踪方法，其特征在于：步骤S2具体包括以下步骤：S21：将三维的bounding box通过坐标系转换投影到图像平面上得到二维的bounding box，然后与基于相机检测到的目标物体的bounding box计算交并比，其交并比计算方式为：其中b
3d_2d
表示三维转换到二维的bounding box，b
2d
表示为基于相机检测到的目标物体的二维bounding box；S22：将计算得到的交并比d
2diou
与阈值σ1比较，若d
2diou
≥σ1，则认为此目标既通过激光雷达检测到了，也通过相机检测到了，表示为若d
2diou
<σ1，则认为其分别是通过两种传感器单独检测到的目标物体，单独使用相机检测的物体表示为单独使用激光雷达检测的物体表示为
4.根据权利要求1所述的基于相机和激光雷达融合的3D实时多目标跟踪方法，其特征在于：步骤S3具体包括：S31：记t时刻由检测器检测到的目标物体t时刻由t
‑
1时刻预测得到的轨迹为T
3D
＝{T1,T2,
…
,T
m
}，计算D
fusion
和T
3D
两两之间的交并...

【专利技术属性】
技术研发人员：王西洋，傅春耘，赖颖，李占坤，何嘉伟，
申请(专利权)人：重庆大学，
类型：发明
国别省市：