一种基于异构图网络的多目标跟踪方法技术

本发明专利技术提供一种基于异构图网络的多目标跟踪方法，应用于多目标跟踪中。首先使用目标检测算法得到目标检测框，然后使用光流计算和线性回归操作进行视频帧之间的数据关联。为了解决目标遮挡问题，该模型在数据关联之后使用异构图网络提取检测框和跟踪目标的特征进行相似性度量，判断新出现的检测框是否属于已有的目标。异构图网络包括外观特征提取，空间关系提取和时间关系提取三部分，用于学习判别性特征，以进行目标的外观、空间位置及时间关系等信息的编码，提高特征的表示能力和判别能力，从而提高多目标跟踪的性能。

【技术实现步骤摘要】
一种基于异构图网络的多目标跟踪方法
本专利技术涉及计算机视觉
，尤其涉及一种基于异构图网络的多目标跟踪方法。
技术介绍
随着深度学习的发展，卷积神经网络应用在越来越多的场景中，而多目标跟踪由于其在视频监控、人机交互和虚拟现实中的广泛应用，在计算机视觉领域受到越来越多的重识。多目标跟踪旨在定位给定视频序列中的多个目标对象，为不同的对象分配不同的身份ID并记录每个ID在视频中的轨迹。目前，随着基于卷积神经网络的目标检测技术不断发展，基于检测的跟踪算法已成为多目标跟踪的主流方向。基于检测的跟踪算法首先需要在每个视频帧上执行目标检测获取每帧的检测结果，然后根据检测结果进行数据关联以创建每个对象在视频中的轨迹。在基于检测的跟踪算法中，学习具有判别性的目标特征表示显得非常重要，它决定了跟踪器是否可以正确区分不同目标之间的轨迹。但是，由于摄像机拍摄的视频中目标外观比较模糊，现有的大多数方法仅考虑了目标的外观特征而无法准确地识别和区分不同目标，而且这些方法主要解决数据关联的问题，无法处理视频中存在的频繁遮挡问题，这直接影响了算法性能的提升。...

【技术保护点】
1.一种基于异构图网络的多目标跟踪方法，其特征在于，包括：/nS1基于原始视频序列，通过公共目标检测算法，提取每帧的检测框；/nS2基于原始视频序列和检测框，通过数据关联处理，获得每帧图像中目标的位置；/nS3基于该目标的位置和检测框，通过异构图网络处理，获得目标特征和检测特征；/nS4对该目标特征和检测特征进行相似性度量处理，判断检测框是否属于某个终止目标，若是，则将检测框加入到该终止目标中，并将该终止目标设为活跃状态；否则，为检测框初始化一个新的目标；判断当前帧是否为视频的最后一帧，若是，则结束执行所述的方法；否则，执行所述步骤S2。/n

【技术特征摘要】
1.一种基于异构图网络的多目标跟踪方法，其特征在于，包括：
S1基于原始视频序列，通过公共目标检测算法，提取每帧的检测框；
S2基于原始视频序列和检测框，通过数据关联处理，获得每帧图像中目标的位置；
S3基于该目标的位置和检测框，通过异构图网络处理，获得目标特征和检测特征；
S4对该目标特征和检测特征进行相似性度量处理，判断检测框是否属于某个终止目标，若是，则将检测框加入到该终止目标中，并将该终止目标设为活跃状态；否则，为检测框初始化一个新的目标；判断当前帧是否为视频的最后一帧，若是，则结束执行所述的方法；否则，执行所述步骤S2。


2.根据权利要求1所述的方法，其特征在于，所述的基于原始视频序列和检测框，通过数据关联处理，获得每帧图像中目标的位置包括：
令t为原始视频序列的帧序数；
当t＝1时，使用第1帧中所有的检测框进行初始化，获取目标的初始位置；
当t>1时，根据检测框在t-1帧的位置进行数据关联，获得该第t帧的目标的位置；
通过二值分类器对第t帧的目标的位置进行位置判别处理。


3.根据权利要求2所述的方法，其特征在于，所述的当t>1时，根据检测框在t-1帧的位置进行数据关联包括：通过相邻视频帧的光流图对检测框在第t-1帧的位置进行调整，然后使用线性回归器对调整后的检测框进行回归操作，获得第t帧的目标的位置；
所述的通过分类器对第t帧的目标的位置进行位置判别处理包...

【专利技术属性】
技术研发人员：张宝鹏，李芮，滕竹，刘炜，李浥东，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11