基于轨迹预测的抗遮挡多目标跟踪方法技术

本发明专利技术公开了一种基于轨迹预测的抗遮挡多目标跟踪方法，涉及图像处理方法技术领域。所述方法包括如下步骤：通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。所述方法能够在严重遮挡情况下实现多目标跟踪。踪。踪。

【技术实现步骤摘要】
基于轨迹预测的抗遮挡多目标跟踪方法


[0001]本专利技术涉及图像处理方法
，尤其涉及一种基于轨迹预测的抗遮挡多目标跟踪方法

技术介绍

[0002]多目标跟踪(Multiple Object Tracking, MOT)是计算机视觉最具挑战性的任务之一，主要任务是检测及定位每个目标，并关联同一目标在不同帧中的身份信息。多目标跟踪具有重要的学术研究价值及应用前景。从学术研究角度看，多目标跟踪涉及图像处理、机器视觉和多媒体技术等诸多学科领域。从实际应用角度看，多目标跟踪在监控领域、虚拟现实、人工智能和自动驾驶等诸多方面得到应用。
[0003]为了解决遮挡场景下的多目标跟踪性能问题，离不开利用目标的运动预测和外观特征等信息，精确的目标运动轨迹预测对遮挡情况下的多目标跟踪很有帮助。多目标跟踪常用的数据关联方法为特征匹配，遮挡问题给仅基于特征匹配的多目标跟踪造成了极大挑战。具体来说，在局部遮挡情况下，目标外观特征较少；在严重遮挡与完全遮挡情况下，无法提取当前目标外观特征。因此，进行基于轨迹预测的抗遮挡多目标跟踪研究具有重要意义。
[0004]目前的多目标跟踪方法一般都是基于深度学习，利用特征匹配进行数据关联，因此大量的方法是通过增强特征，引入注意力等来增强目标特征之间的匹配。然而，当目标被严重遮挡时，无法提取当前帧被遮挡目标的特征，就很容易跟踪失败，产生ID的切换。当目标完全遮挡时，会导致目标丢失、轨迹碎片化及ID身份信息跳变等问题。因此，亟须一种基于轨迹预测的抗遮挡多目标跟踪方法解决上述严重遮挡及完全遮挡情况下的跟踪问题。

技术实现思路

[0005]本专利技术所要解决的技术问题是如何提供一种能够在严重遮挡情况下实现多目标跟踪的方法。
[0006]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于包括如下步骤：通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。
[0007]进一步的技术方案在于，所述基于邻边图关系的二次多目标跟踪方法包括如下步骤：
从检测中提取特征，然后利用这些特征构造检测图，其中检测图结点为当前帧的检测特征；构造轨迹图的构造步骤类似于检测图，轨迹图中的结点对应当前帧之前的匹配生成的轨迹，不同的是轨迹图节点特征是对轨迹中的所有检测特征进行平均得到；在完成结点特征的初始化之后，使用交叉图卷积网络对结点特征进行特征增强；最后使用二分图匹配公式进行检测无向图和轨迹无向图的图匹配计算，实现两个无向图边与边及结点与结点之间的相似度计算。
[0008]进一步的技术方案在于，构造顶点亲和性矩阵中的每个元素是检测图顶点特征与轨迹图顶点特征之间的余弦相似度：
ꢀꢀ
（1）式中，表示检测图顶点特征，表示轨迹图顶点特征，表示的转置；构造边缘亲和矩阵的每个元素是检测图与轨迹图中边特征之间的余弦相似度:
ꢀꢀꢀꢀꢀꢀ
（2）式中，表示检测图中的的边特征，表示轨迹图中的边特征，表示的转置。
[0009]进一步的技术方案在于，所述假设框持续跟踪机制包括如下步骤：先将确定轨迹预测框作为目标假设框持续跟踪δ帧，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹；若在δ帧中目标未再次出现，则丢弃假设轨迹与假设框，同时丢弃该目标的特征信息，以保证跟踪系统运行速度。
[0010]进一步的技术方案在于，所述假设框持续跟踪机制中，当目标严重遮挡出现时，将上一帧的假设框与目标位置建模为无向图，与当前帧检测无向图进行匹配，实现目标再次开始出现时严重遮挡无明显特征时的跟踪。
[0011]优选的，所述δ=50。
[0012]采用上述技术方案所产生的有益效果在于：本申请所述方法中，针对严重遮挡情况下多目标跟踪问题，提供了一种基于邻边图关系的二次多目标跟踪方法。首先将历史轨迹的空间关系和当前检测目标的空间关系转换为两个无向图，然后将数据关联问题转化为图匹配问题。基于邻边图关系的二次多目标跟踪方法更关注目标ID身份信息关联，提升在严重遮挡情况下的多目标跟踪性能。在MOT Challenge官方网站多个数据集进行了验证，实验结果充分的证明了该方法的有效性。
[0013]针对完全遮挡情况会导致目标丢失、轨迹碎片化及ID身份信息跳变等问题，提供了一种假设框持续跟踪机制。即先将预测框作为目标假设框持续跟踪δ帧(δ=50)，当目标在此期间再次出现在视野中，则保持ID不变，并认为假设正确，通过轨迹修复可描绘完整的跟踪目标轨迹。在MOT Challenge官方网站多个数据集进行了验证，实验结果充分的证明了该
方法的有效性。
[0014]相对于现有需依赖特征进行多目标跟踪的方法，本次专利技术可解决在严重遮挡及完全遮挡情况下的多目标跟踪问题。同时本专利技术所提方法具备可移植性，方便应用与现有多目标跟踪方法上，优化大部分多目标跟踪方法性能。由于大部分多目标跟踪方法依赖特征，在应对严重遮挡及完全遮挡情况下性能较差。本专利技术着力解决了在严重遮挡及完全遮挡下多目标跟踪问题，所提方法可嵌入其他多目标跟踪方法中。
附图说明
[0015]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0016]图1为本专利技术实施例所述方法的流程图；图2为本专利技术实施例所述方法中基于邻边图关系的二次多目标跟踪流程图；图3为本专利技术实施例所述方法中假设框持续跟踪流程图；图4为本专利技术实施例所述方法中第一次数据关联阈值选取折线图；图5为本专利技术实施例所述方法中第二次数据关联阈值选取折线图；图6为本专利技术跟踪MOT17测试集官网反馈可视化结果图；图7为本专利技术跟踪MOT20测试集官网反馈可视化结果图。
具体实施方式
[0017]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。
[0019]如图1所示，本专利技术实施例公开了一种基于轨迹预测的抗遮挡多目标跟踪方法，所述方法包括如下步骤：S1：通过轨迹预测得到目标预测框，使用基础方法（例如DeepSORT）进行一般场景下多目标跟踪作为第一次关联匹配；S2：若第一次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于包括如下步骤：通过轨迹预测得到目标预测框，进行一般场景下多目标跟踪，作为第一次关联匹配；若第一次关联匹配得分达到预设的阈值，则完成本次跟踪任务；若第一次关联匹配得分未达到预设的阈值，则再进行第二次关联匹配；第二次关联匹配用于针对严重遮挡及完全遮挡的情况，通过使用基于邻边图关系的二次多目标跟踪方法进行关联匹配；若两次关联匹配均未能匹配成功，则保留历史轨迹信息和目标特征，通过假设框持续跟踪机制继续对目标进行跟踪。2.根据权利1所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于，所述基于邻边图关系的二次多目标跟踪方法包括如下步骤：从检测中提取特征，然后利用这些特征构造检测图，其中检测图结点为当前帧的检测特征；构造轨迹图的构造步骤类似于检测图，轨迹图中的结点对应当前帧之前的匹配生成的轨迹，不同的是轨迹图节点特征是对轨迹中的所有检测特征进行平均得到；在完成结点特征的初始化之后，使用交叉图卷积网络对结点特征进行特征增强；最后使用二分图匹配公式进行检测无向图和轨迹无向图的图匹配计算，实现两个无向图边与边及结点与结点之间的相似度计算。3.根据权利2所述的基于轨迹预测的抗遮挡多目标跟踪方法，其特征在于：构造顶点亲和性矩阵中的每个元素是检测图顶点特征与轨迹图顶点特征之间的余弦相似度：
ꢀꢀꢀꢀꢀ
（1）式中，表示检测图顶点特征，表示轨迹图顶点特征，表示的转置；构造边缘亲和矩阵的每个元素是检测图与...

【专利技术属性】
技术研发人员：王正友，高新月，张硕，庄珊娜，王辉，白晶，朱佩祥，
申请(专利权)人：北京理工大学唐山研究院石家庄三胖科技有限公司，
类型：发明
国别省市：