一种自动可变跟踪模态的多目标在线跟踪方法技术

本发明专利技术公开了一种自动可变跟踪模态的多目标在线跟踪方法，步骤如下：首先使用目标检测算法获取各目标检测数据；根据当前帧检测进行轨迹初始化以及基于几何关联特征图的轨迹预处理；利用卡尔曼滤波预测目标在当前帧上的预测位置，根据基于几何关联特征图训练模态选择器确定当前跟踪模态(简易或复杂)；最后目标根据对应的跟踪模态选择不同跟踪器进行目标关联，得到当前帧的多目标跟踪轨迹。本发明专利技术通过对多目标的检测数据进行在线的交互分析，实现了不同交互遮挡条件下的跟踪模态自动确定，将复杂的多目标跟踪问题进行解耦，使不同跟踪难度的目标自适应的选择对应的跟踪模态高效地进行数据关联，在保证跟踪精度下，提高了跟踪算法的效率。踪算法的效率。踪算法的效率。

【技术实现步骤摘要】
一种自动可变跟踪模态的多目标在线跟踪方法


[0001]本专利技术涉及机器学习与计算机视觉领域，具体涉及一种自动可变跟踪模态的多目标在线跟踪方法，尤其适用于目标交互遮挡严重的复杂跟踪场景。

技术介绍

[0002]随着计算机技术的不断发展，目标跟踪技术逐渐成为智能视频分析和多媒体应用(例如智能监控、运动分析和自动驾驶)中的重点发展技术方向。在复杂场景中检测并跟踪多个目标，进行目标轨迹的实时分析以及预测，为实际应用提供更丰富的数据信息。
[0003]得益于计算机硬件与深度学习技术的高度迭代，基于图像的目标检测技术也越来越成熟。准确的目标检测结果为多目标跟踪技术提供更加强大的数据支持。实际现实场景中，多目标跟踪算法的部署往往受到算法复杂性的限制。由于目标之间复杂的交互与遮挡使不同目标的跟踪难度高低不一，如果能够根据目标不同的交互状态将简易与复杂跟踪难度下的目标解耦出来，针对不同跟踪模态采取对应的跟踪方法，保证了算法跟踪准确性的同时提高算法的执行效率。
[0004]针对多模态多目标跟踪问题，研究人员提出了基于检测的跟踪算法范式，通过计算不同目标之间的几何特征或利用神经网络抽取外观特征之间的相似性来执行不同的目标匹配关联算法。

技术实现思路

[0005]专利技术目的：为了克服现有多目标跟踪技术中存在的不足，本专利技术提供一种自动可变跟踪模态的多目标在线跟踪方法，该方法识别追踪准确率高，算法运行速度快，并且对目标复杂的交互以及遮挡变化具有一定的鲁棒性。
[0006]技术方案：为实现上述目的，本专利技术采用的技术方案为：
[0007]一种自动可变跟踪模态的多目标在线跟踪方法，包括以下步骤：
[0008]步骤1：应用目标检测器对当前视频帧的同类别目标进行检测，获取检测数据；
[0009]步骤2：对当前帧的轨迹进行初始化以及预处理；
[0010]步骤3：基于卡尔曼滤波进行当前帧的跟踪目标位置预测，根据基于多维度几何关联特征图的多层感知机网络推理该目标的跟踪模态(简易或复杂模态)；
[0011]步骤4：根据待跟踪目标的跟踪模态选择简易或复杂多目标跟踪器进行对应的数据关联；
[0012]步骤5：对已关联的轨迹进行后处理，跨帧关联上的轨迹进行帧间线性插值，恢复目标在整个时间戳上的运动轨迹。
[0013]进一步的，所述步骤1具体包括以下步骤：
[0014]选择目标检测器YOLOX对当前输入的视频帧进行目标检测，目标检测器的训练基于公开数据集COCO、CrowdedPerson、MOT17、Cityperson、ETHZ和MOT20，检测类别为行人；获取到当前M个检测数据包围框的中心点以及宽高数据：(x
i
,y
i
,w
i
,h
i
),i＝1,...,M。其中x和
y表示包围框的中心点横纵坐标，w和h表示包围框的宽与高。
[0015]进一步的，所述步骤2具体包括以下步骤：
[0016]跟踪前对待跟踪轨迹进行初始化，若当前帧为跟踪初始帧，各检测初始化为轨迹第一帧；对轨迹进行预处理，评估已跟踪轨迹的跟踪质量，基于神经网络的轨迹评估器输出的轨迹得分大于0.5的为高质量轨迹T
high
以及轨迹得分小于0.5的为低质量轨迹T
low
；其中，评估已跟踪轨迹的跟踪质量方法为：
[0017]步骤2.1：基于已跟踪轨迹集合内的检测数据，建立当前跟踪目标的状态方程，由7个变量组成：其中u和v表示对象中心的水平和垂直坐标，而检测包围框的比例和纵横比分别用s和r描述；纵横比被认为是恒定的；最后应用卡尔曼滤波预测得到轨迹在当前帧的预测包围框中心点以及宽高数据：(x
T
,y
T
,w
T
,h
T
)。
[0018]步骤2.2：根据步骤2.1得出的预测位置(x
T
,y
T
,w
T
,h
T
)与步骤1中的目标检测数据(x
D
,y
D
,w
D
,h
D
)之间的几何关联特征向量V
TD
以及当前轨迹关联检测之间的几何关联特征序列V
TT
。将V
TD
和V
TT
输入到神经网络中评估当前轨迹的跟踪质量，输出轨迹得分。其中几何关联特征由7维特征构成：联特征由7维特征构成：g6＝IoU(T,D),g7＝t
D
‑
t
T
。几何关联特征如下式表示：
[0019]G＝(g1,g2,g3,g4,g5,g6,g7,g8) (1)
[0020]轨迹得分P由下式计算，N1，N2，N3为多层感知机MLP：
[0021]P＝N3(N1V
TD
+N2V
TT
) (2)
[0022]步骤2.3：根据步骤2.2得出的高质量轨迹T
high
与低质量轨迹T
low
，对于连续5帧都被评估为低质量轨迹，终止当前目标的跟踪。在执行后续跟踪流程时，高质量轨迹T
high
先执行，低质量轨迹T
low
后执行。
[0023]进一步的，所述步骤3具体包括以下步骤：
[0024]步骤3.1：根据步骤2.1得出轨迹预测位置(x
T
,y
T
,w
T
,h
T
)与候选目标检测数据之间的几何关联特征向量V
TD
以及当前跟踪轨迹最后一帧上与该帧上其他检测之间的几何关联特征向量V
TL
。
[0025]步骤3.2：将步骤3.1中得到的V
TD
进行更新得到向量与V
TL
拼接后输入到分类神经网络，根据轨迹的实际交互状态判断轨迹应选择的跟踪模态，实现自动跟踪模态选择功能，当类别得分小于0.5时模态为简单，当类别得分大于0.5时模态为复杂；模式类别得分P
M
由下式计算，N4，N5，N6为多层感知机MLP：
[0026][0027]进一步的，所述步骤4具体包括以下步骤：
[0028]步骤4.1：若步骤3中得到的模态为简单，则选择简易跟踪器完成待跟踪轨迹在当前视频帧上的检测关联，根据步骤2.1得出轨迹预测位置(x
T
,y
T
,w
T
,h
T
)与更新后的候选目标检测数据之间的几何关联特征向量输入到匹配神经网络中得到匹配得分矩阵
[0029]最后将得分矩阵通过最小流算法求解检测匹配优化从而实现轨迹跟踪。得分矩阵由多层感知机N7实现：
[0030][0031]根据匹配神经网络得到的关联矩阵A，求解最小成本流图问题；其优化问题的约束包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动可变跟踪模态的多目标在线跟踪方法，其特征在于：步骤1：应用目标检测器对当前视频帧的同类别目标进行检测，获取检测数据；步骤2：对当前帧的轨迹进行初始化以及预处理；步骤3：基于卡尔曼滤波进行当前帧的跟踪目标位置预测，根据基于多维度几何关联特征图的多层感知机网络推理该目标的跟踪模态；步骤4：根据待跟踪目标的跟踪模态选择简易或复杂多目标跟踪器进行对应的数据关联；步骤5：对已关联的轨迹进行后处理，跨帧关联上的轨迹进行帧间线性插值，恢复目标在整个时间戳上的运动轨迹。2.根据权利要求1所述的自动可变跟踪模态的多目标在线跟踪方法，其特征在于，所述步骤1的具体方法为：选择目标检测器YOLOX对当前输入的视频帧进行目标检测，目标检测器的训练基于公开数据集COCO、CrowdedPerson、MOT17、Cityperson、ETHZ和MOT20，检测类别为行人；获取到当前M个检测数据包围框的中心点以及宽高数据：(x
i
，y
i
，w
i
，h
i
)，i＝1，...，M，其中x和y表示包围框的中心点横纵坐标，w和h表示包围框的宽与高。3.根据权利要求1所述的自动可变跟踪模态的多目标在线跟踪方法，其特征在于，所述步骤2的具体方法为：跟踪前对待跟踪轨迹进行初始化，若当前帧为跟踪初始帧，各检测初始化为轨迹第一帧；对轨迹进行预处理，评估已跟踪轨迹的跟踪质量，基于神经网络的轨迹评估器输出的轨迹得分大于0.5的为高质量轨迹T
high
以及轨迹得分小于0.5的为低质量轨迹T
low
；其中，评估已跟踪轨迹的跟踪质量方法为：步骤2.1：基于已跟踪轨迹集合内的检测数据，建立当前跟踪目标的状态方程，由7个变量组成：其中u和v表示对象中心的水平和垂直坐标，而检测包围框的比例和纵横比分别用s和r描述；纵横比被认为是恒定的；最后应用卡尔曼滤波预测得到轨迹在当前帧的预测包围框中心点以及宽高数据：(x
pre
,y
pre
,w
pre
,h
pre
)；步骤2.2：根据步骤2.1得出的预测位置(x
T
,y
T
,w
T
,h
T
)与步骤1中的目标检测数据(x
D
,y
D
,w
D
,h
D
)之间的几何关联特征向量V
TD
以及当前轨迹关联检测之间的几何关联特征序列V
TT
；将V
TD
和V
TT
输入到神经网络中评估当前轨迹的跟踪质量，输出轨迹得分；其中几何关联特征由7维特征构成：特征由7维特征构成：g6＝IoU(T，D)，g7＝t
D
‑
t
T
；几何关联特征G如下式表示：G＝(g1，g2，g3，g4，g5，g6，g7，g8)
ꢀꢀꢀꢀꢀꢀ
(1)轨迹得分P由下式计算，N1，N2，N3为多层感知机MLP：P＝N3(N1V
TD
+N2V
TT
)
ꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：达飞鹏，洪濡，
申请(专利权)人：东南大学，
类型：发明
国别省市：