基于长短期运动预测和有序数据关联的多目标跟踪方法技术

本发明专利技术涉及一种基于长短期运动预测和有序数据关联的多目标跟踪方法和系统，属于多目标跟踪领域。一方面提出将Transformer时空预测网络应用在多目标跟踪框架中，实现多个目标的长短期运动预测，通过捕捉人群交互和建模时间连续性，可以更有效地预测目标位置，尤其是在长期预测方面更加鲁棒，能帮助因长期遮挡而断裂的轨迹进行重新连接；另一方面，通过建模轨迹的遮挡属性，并联合轨迹活动状态定义了关联优先级，将轨迹进行有序关联，有助于缓解身份切换问题。本发明专利技术提高了多目标跟踪的目标匹配度以及其跟踪的精度及速度。配度以及其跟踪的精度及速度。配度以及其跟踪的精度及速度。

【技术实现步骤摘要】
基于长短期运动预测和有序数据关联的多目标跟踪方法


[0001]本专利技术涉及视频场景理解与分析领域中的多目标跟踪领域，尤其涉及一种基于长短期运动预测和有序数据关联的多目标跟踪方法。

技术介绍

[0002]近年来，视频监控系统的普及和相机、手机等硬件成本的降低使得每天都会产生大量视频数据，单靠人工来处理难免耗时耗力，如何借助计算机来高效地分析处理这些数据成为了急需解决的问题。计算机视觉技术研究的正是如何利用计算机来进行目标的检测、定位、跟踪、识别和行为分析等问题，其中多目标跟踪(Multi－Object Tracking，MOT)负责处理跟踪和识别任务，借助目标检测、定位类任务来帮助解决行为分析等任务。因此，多目标跟踪任务一直是计算机视觉的热门领域，备受广大研究人员的关注。多目标跟踪任务的目的是得到视频中每个目标的行动轨迹，除了要定位每个目标在每一帧的具体位置，还要保证每个目标的身份维持不变。多目标跟踪任务所得到的每个目标的行动轨迹，能够提供很多有价值的信息。比如，每个目标的位置、速度、加速度、何时出现、何时消失等信息，这些信息可以用来处理行为识别、行为预测等计算机视觉任务。另外，还可以综合多个轨迹来处理统计人流量，分析目标之间的交互等任务。因此，多目标跟踪技术在诸多领域，如自动驾驶、智能监控、机器人控制等，展现了重要的应用价值。
[0003]基于检测的跟踪和联合检测跟踪已成为解决MOT问题的两种主要范式，但如何处理遮挡问题仍然是一个具有挑战性的问题。由于遮挡可能会导致检测器无法输出高质量的检测结果，因此某些轨迹可能会断裂。如何重新连接这些断裂的轨迹，ReID(person re－identification行人重识别)广泛用于长距离的轨迹重连或每帧关联。但是，遮挡、模糊和相似外观等问题会严重影响外观特征。随着轨迹失活期的增加，外观信息变得越来越不可靠。生成更具区分性的嵌入可能会有所帮助，但同时也伴随着更复杂的网络结构和较慢的速度。虽然使用运动线索不会受到遮挡的影响，但在没有观测更新或更新错误的情况下，常用的卡尔曼滤波器在其长期惯性预测方面也是无效的。此外，在数据关联阶段，遮挡容易导致多个轨迹检测对具有相近的相似性分数，直接使用匈牙利算法给出全局最优解可能会产生身份转换问题。
[0004]综上所述，现有多目标跟踪算法存在诸多缺陷，其精度及准确度还有待提高。

技术实现思路

[0005]本专利技术针对现有技术中存在的技术问题，提供一种基于长短期运动预测和有序数据关联的多目标跟踪方法，旨在缓解现有多目标跟踪任务中跟踪目标之间的交互遮挡所导致的轨迹断裂和身份切换问题。
[0006]根据本专利技术的第一方面，提供了一种基于长短期运动预测和有序数据关联的多目标跟踪方法，包括：
[0007]步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数；
[0008]步骤2，通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性；
[0009]步骤3，将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框；
[0010]步骤4，根据分配的所述目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。
[0011]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0012]可选的，所述步骤2包括：
[0013]根据目标的轨迹历史位置信息，构建稀疏图，建模目标间的邻域关系；
[0014]将所述稀疏图输入到Transformer空间编码器来捕捉人群交互；
[0015]将所述稀疏图输入到Transformer时间编码器来建模轨迹的时间连续性；
[0016]联合所述空间编码器和所述时间编码器的特征，通过一个全连接层的解码器，输出各目标在当前帧的位置及其遮挡属性。
[0017]可选的，所述稀疏图的构建方法包括：
[0018]计算所述目标观测框中心点之间欧式距离；
[0019]计算所述目标观测框之间的尺寸差异；
[0020]根据视角特点，联合欧式距离和尺寸差异，构建一个非对称的稀疏图来表示目标之间的邻域关系。
[0021]可选的，所述步骤3包括：
[0022]根据遮挡属性得分将所述轨迹分为遮挡者和被遮挡者，根据轨迹活动状态将所述轨迹分为正常轨迹和失活轨迹；
[0023]根据置信度分数将所述目标观测框分为：高分观测框和低分观测框；
[0024]按照正常遮挡者轨迹、正常被遮挡者轨迹和失活轨迹的顺序进行三次优先级关联：
[0025]第一次关联：将所述正常遮挡者轨迹和所述高分观测框进行关联；
[0026]第二次关联：将所述正常被遮挡者轨迹及第一次未关联轨迹和第一次未关联观测框及低分观测框进行关联；
[0027]第三次关联：将所述失活轨迹及第二次未关联轨迹和剩余观测框进行关联。
[0028]可选的，进行数据关联的过程包括：
[0029]计算每个跟踪轨迹和所述目标观测框的重合程度作为代价矩阵，利用KM算法完成数据关联。
[0030]可选的，所述步骤4包括：
[0031]对于正常的轨迹，将成功关联的所述目标观测框添加到历史轨迹中以进行更新，行短期预测；
[0032]对于断裂失活的轨迹，将网络输出的所述目标观测框暂时添加到轨迹中，用于后续网络推断，进行长期预测。
[0033]可选的，所述步骤4包括：
[0034]计算每个跟踪轨迹和所述目标观测框的重叠程度，为各个跟踪轨迹匹配对应的所述目标观测框；
[0035]对于匹配成功的跟踪轨迹，直接更新其相关参数；
[0036]对于没有匹配成功的所述目标观测框，视为新出现的目标加入跟踪序列；
[0037]对于没有匹配成功的跟踪轨迹，视为丢失状态；如果丢失状态持续超过设定时间，则删除该轨迹。根据本专利技术的第二方面，提供一种基于长短期运动预测和有序数据关联的多目标跟踪系统，包括：
[0038]根据本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于长短期运动预测和有序数据关联的多目标跟踪方法的步骤。
[0039]根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于长短期运动预测和有序数据关联的多目标跟踪方法的步骤。
[0040]本专利技术提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法，与现有技术相比，能够取得下列有益效果：
[0041]1、针对现有MOT跟踪框架中表观模型无法有效处理长期遮挡，不能有效连接断裂的轨迹的问题，本专利技术提出了一种基于Transformer本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于长短期运动预测和有序数据关联的多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数；步骤2，通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性；步骤3，将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框；步骤4，根据分配的所述目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤2包括：根据目标的轨迹历史位置信息，构建稀疏图，建模目标间的邻域关系；将所述稀疏图输入到Transformer空间编码器来捕捉人群交互；将所述稀疏图输入到Transformer时间编码器来建模轨迹的时间连续性；联合所述空间编码器和所述时间编码器的特征，通过一个全连接层的解码器，输出各目标在当前帧的位置及其遮挡属性。3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述稀疏图的构建方法包括：计算所述目标观测框中心点之间欧式距离；计算所述目标观测框之间的尺寸差异；根据视角特点，联合欧式距离和尺寸差异，构建一个非对称的稀疏图来表示目标之间的邻域关系。4.根据权利要求1所述的多目...

【专利技术属性】
技术研发人员：韩守东，王宏伟，于恩，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：