一种二次关联低分检测框的链式多目标跟踪方法技术

本发明专利技术提供一种二次关联低分检测框的链式多目标跟踪方法，具体步骤包括：多尺度特征提取：使用两个相邻的帧作为输入生成多尺度特征表示；特征分割：组合特征通过互相关注意力模块分解生成两个特征图，分别馈入分类和回归分支及身份验证分支；联合注意力；数据关联：根据运动相似性将高分检测框与轨迹匹配，之后在未匹配的轨迹和低分检测框之间执行第二次匹配，检测分数低的被遮挡人正确匹配到之前的轨迹并去除背景。本发明专利技术是一种改进漏检和轨迹中断的多目标跟踪方法，减少了训练过程中多任务联合学习引起的竞争冲突，此外，在保留高分检测结果的同时，从低分检测结果中去除背景，挖掘出真正的物体，从而降低漏检并提高轨迹的连贯性。贯性。贯性。

【技术实现步骤摘要】
一种二次关联低分检测框的链式多目标跟踪方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种二次关联低分检测框的链式多目标跟踪方法。

技术介绍

[0002]多目标跟踪因其广泛的应用场景，如自动驾驶、运动姿态分析和交通监控，近年来受到越来越多的关注。随着检测精度的提高，检测
‑
跟踪法已经成为多目标检测领域的主流。在逐帧检测跟踪框架中，跟踪被认为是一个相邻帧中的数据关联问题。随着目标检测的快速发展，越来越多的方法开始使用更强大的检测器来获得更高的跟踪性能。CenterNet是大多数方法使用的最流行的检测器，因为它简单且高效。YOLO系列检测器也被大量方法使用，因为它在精度和速度之间取得了出色的平衡。这些方法中的大多数直接使用单个图像上的检测框进行跟踪。然而，当实际视频中发生遮挡或运动模糊时，缺失检测和非常低评分检测的数量开始增加。因此，通常利用前帧的信息来提高视频检测性能。
[0003]另一方面，也可以采用跟踪来帮助获得更准确的检测框。使用单目标跟踪(SOT)或卡尔曼滤波器来预测跟踪帧在下一帧中的位置，并将预测框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二次关联低分检测框的链式多目标跟踪方法，其特征在于，操作步骤具体如下：步骤1.多尺度特征提取：给定跟踪目标的图像序列，使用所述图像序列两个相邻的帧作为输入，采用ResNet
‑
50作为骨干网来提取高级语义特征，然后通过特征金字塔网络生成多尺度特征图；步骤2.特征分割：将来自各帧的多尺度特征图连接在一起，将组合特征经过互相关注意力网络后生成两个注意力图，其中一个注意力图馈入分类和回归分支，另一个注意力图馈入身份验证分支；步骤3.联合注意力：将分类分支和身份验证分支的预测相乘，得到联合注意力图，最终输入到回归分支中来为感兴趣的目标生成边界框，得到视频序列；步骤4.数据关联：对于视频序列中的每一帧，使用检测器预测检测框和分数，获得高分检测框和低分检测框，根据运动相似性将高分检测框与轨迹进行第一次匹配，使用卡尔曼滤波器来预测轨迹在新帧中的位置，然后，在未匹配的轨迹和低分检测框之间执行第二次匹配，使检测分数低的被遮挡跟踪目标正确匹配到之前的轨迹并去除背景。2.根据权利要求1所述的一种二次关联低分检测框的链式多目标跟踪方法，其特征在于，所述步骤1的具体操作步骤如下：步骤1.1给定具有包含N帧的图像序列多目标跟踪任务旨在针对出现的所有帧中的所有目标输出所有边界框和身份标签F
t
表示第t帧，g
t
表示第t帧中目标个数的真实边界框，表示它们的身份；网络需要两个相邻的帧作为输入，称之为链节点，第一个链节点是(F1,F2)，最后一个链结点是(F
N
,F
N+1
)，将(F
t
‑1,F
t
)作为输入，网络可以在两个帧中的相同目标生成边界框对其中n
t
‑1同一目标对的数量，和分别表示节点内F
t
‑1与F
t
中相同目标的两个边界框，类似地，也可以在下一个节点(F
t
,F
t+1
)中获得成对的边界框)中获得成对的边界框和表示位于相邻节点公共帧中的同一目标的检测到的边界框；步骤1.2网络采用ResNet
‑
50作为主干来提取高级语义特征，然后，它集成了特征金字塔网络以生成用于后续预测的多尺度特征图。3.根据权利要求1所述的一种二次关联低分检测框的链式多目标跟踪方法，其特征在于，所述步骤2的具体操作步骤如下：步骤2.1将来自各帧的多尺度特征图连接在一起；步骤2.2将组合特征经过互相关注意力网络后生成两个注意力图，其中一个注意力图馈入分类和回归分支，另一个注意力图馈入身份验证分支；检测器最后输出的特征为F∈R
C
×
H
×
W
，首先，通过平局池化操作获得尺度更小的特征F'∈R
C
×
H'
×
W'
，之后将其输入卷积层获得针对于不同任务的特征映射T1和T2，然后将它们重塑成形式{M1,M2}∈R
C
×
N
，其中N'＝H'
×
W'，最后将不同的任务单独与它自身的转置相乘，并应用行向softmax计算每个任务独立的通道注意力图计算如下：
其中，意味着任务通道注意力图中第i通道和第j通道之间的关系；同样，在M1和M...

【专利技术属性】
技术研发人员：陈云芳，陆洋洋，张伟，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：