一种基于改进广义交并比的多类别多目标跟踪方法及装置制造方法及图纸

本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置，涉及自动驾驶技术领域，所述方法包括：获取检测器输出的当前图像帧中的所有运动目标的检测框；利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。本申请提高了检测框匹配的正确率，提高了多类别多目标的跟踪精度。别多目标的跟踪精度。别多目标的跟踪精度。

【技术实现步骤摘要】
一种基于改进广义交并比的多类别多目标跟踪方法及装置


[0001]本申请涉及自动驾驶
，尤其是涉及一种基于改进广义交并比的多类别多目标跟踪方法及装置。

技术介绍

[0002]多目标跟踪的关键是关联检测器输出的检测框和预测算法根据过去时刻预测出的活跃轨迹在当前时刻的检测框，并将关联成功的检测框都赋予唯一的标识ID。关联的主要方法是对每个检测器输出的检测框和每个预测出的检测框分别计算关联代价，并建立代价矩阵，最终使用匹配算法得到配对关系。
[0003]常用的匹配代价损失函数是基于交并比(IoU：Intersection over Union)和广义交并比(GIoU：Generalized Intersection over Union)的计算。其中，IoU算法通过计算两个检测框的交集和并集来评价两个检测框的相关程度，其缺点是若两个目标没有重合部分此时交并比为0，无法反映两个目标之间的距离大小，且IoU无法精确的反映两个目标的重合度大小和重合度位置。而GIoU通过引入两个检测框的最小闭包解决了IoU存在的问题，但采用GIoU计算代价矩阵的缺点是GIoU无法精确反映两个目标运动的方向带来的差异，即两个物体运动方向相同或相反计算出的GIoU值是完全相同的，在多目标跟踪的应用场景下，两个运动方向相反的目标几乎不可能属于同一物体。上述两种关联算法均存在误关联检测框的情况，降低了跟踪精度。

技术实现思路

[0004]有鉴于此，本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置，以解决上述技术问题。
[0005]第一方面，本申请实施例一种基于改进广义交并比的多类别多目标跟踪方法，所述方法包括：
[0006]获取检测器输出的当前图像帧中的所有运动目标的检测框；
[0007]利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
[0008]计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
[0009]根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
[0010]基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
[0011]进一步地，所述检测框的信息包括：目标类型、位置、运动方向、偏航角和速度；所述预测框的信息：目标序号、目标类型、位置、运动方向、偏航角和速度。
[0012]进一步地，计算每个检测框和每个预测框之间的广义交并比，包括：
[0013]当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU
(det[i]，pre[j])为：
[0014][0015]其中，IOU(det[i]，pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，C
v
是包含检测框der[i]与预测框pre[j]的最小三维闭包，|C
v
|表示C
v
的体积；C
v
\(det[i]∪pre[j])表示C
v
去除检测框det[i]与预测框pre[j]之后的部分，|C
v
\(det[i]∪pre[j])|表示C
v
\(det[i]∪pre[j])的体积；1≤i≤N
det
，1≤j≤N
pre
；N
det
为检测框的数量，N
pre
为预测框的数量。
[0016]进一步地，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
[0017]计算当前图像帧的第i个检测框det[i]的偏航角θ
i
和第j个预测框pre[j]的偏航角θ
j
的差Δθ
ij
：
[0018]Δθ
ij
＝θ
i
‑
θ
j
[0019]计算惩罚系数C：
[0020][0021]进一步地，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
[0022]计算当前图像帧的第i个检测框det[i]的偏航角θ
i
和第j个预测框pre[j]的偏航角θ
j
的差Δθ
ij
：
[0023]Δθ
ij
＝θ
i
‑
θ
j
[0024]计算第二惩罚系数C：
[0025][0026]进一步地，根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
[0027]判断第i个检测框det[i]以及第j个预测框pre[j]的目标类型是否相同，若相同，则计算当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值L
GIoU
(det[i]，pre[j])：
[0028]L
GIou
(det[i]，pre[j])＝2
‑
GIOU(det[i]，pre[j])
‑
C
[0029]否则，当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值为无穷大；
[0030]则关联代价矩阵R2的第i行第j列的元素R2[i，j]为：
[0031][0032]0≤i≤N
det
，0≤j≤N
pre
[0033]其中，class(det[i])为第i个检测框det[i]的目标类型，class(pre[j])为第j个预测框pre[j]的目标类型。
[0034]进一步地，所述方法还包括：
[0035]将未匹配成功的检测框判定为新运动目标，并为新运动目标赋予目标序号；
[0036]统计未匹配成功的预测框的连续未匹配成功的次数，当连续未匹配成功的次数大于阈值，则将未匹配成功的预测框删除。
[0037]第二方面，本申请实施例提供了一种基于改进广义交并比的多类别多目标跟踪装置，所述装置包括：
[0038]获取单元，用于获取检测器输出的当前图像帧中的所有运动目标的检测框；
[0039]预测单元，用于利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
[0040]第一计算单元，用于计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
[0041]第二计算单元，用于根据广义交并比和惩罚系数计算各检测框和各预测框之间的关联代价矩阵；
[0042]匹配单元，用于基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
[0043]第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进广义交并比的多类别多目标跟踪方法，其特征在于，所述方法包括：获取检测器输出的当前图像帧中的所有运动目标的检测框；利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。2.根据权利要求1所述的方法，其特征在于，所述检测框的信息包括：目标类型、位置、运动方向、偏航角和速度；所述预测框的信息：目标序号、目标类型、位置、运动方向、偏航角和速度。3.根据权利要求2所述的方法，其特征在于，计算每个检测框和每个预测框之间的广义交并比，包括：当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU(det[i],pre[j])为：其中，IOU(det[i],pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，C
v
是包含检测框det[i]与预测框pre[j]的最小三维闭包,|C
v
|表示C
v
的体积；C
v
\(det[i]∪pre[j])表示C
v
去除检测框det[i]与预测框pre[j]之后的部分，|C
v
\(det[i]∪pre[j])|表示C
v
\(det[i]∪pre[j])的体积；1≤i≤N
det
，1≤j≤N
pre
；N
det
为检测框的数量，N
pre
为预测框的数量。4.根据权利要求3所述的方法，其特征在于，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：计算当前图像帧的第i个检测框det[i]的偏航角θ
i
和第j个预测框pre[j]的偏航角θ
j
的差Δθ
ij
：Δθ
ii
＝θ
i
‑
θ
j
计算惩罚系数C：5.根据权利要求3所述的方法，其特征在于，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：计算当前图像帧的第i个检测框det[i]的偏航角θ
i
和第j个预测框pre[j]的偏航...

【专利技术属性】
技术研发人员：张新钰，王力，刘德东，谢涛，徐大中，
申请(专利权)人：苏州驾驶宝智能科技有限公司，
类型：发明
国别省市：