一种结合单目标轨迹的多目标跟踪方法技术

本发明专利技术公开了一种结合单目标轨迹的多目标跟踪方法，涉及目标跟踪技术领域。包括以下步骤：获取第t+1帧图像；对该第t+1帧图像进行多目标检测，构建第一目标位置集；对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。本发明专利技术提高了轨迹分配的准确性，减少了目标漏检的情况发生。

A multi-target tracking method combining single target track

【技术实现步骤摘要】
一种结合单目标轨迹的多目标跟踪方法
本专利技术涉及目标跟踪
，尤其涉及一种结合单目标轨迹的多目标跟踪方法。
技术介绍
视频多目标跟踪是指对视频中出现的特定类型的多个目标同时进行跟踪，形成多个目标的连续轨迹。其中一种主要方法是基于检测的目标跟踪方法，即针对视频的每一帧进行目标检测，形成目标的位置，然后将包围盒中的目标根据相似度原则分配到已存在的轨迹中。这种方法存在以下一些缺点：1)目标检测在不同帧中存在一定程度的漏检情况，会造成目标轨迹的分配错误，或造成轨迹中断；2)采用基于图神经网络的方法计算轨迹片段之间的连接，增加了计算复杂度，耗时较长，不具有实用性。
技术实现思路
本专利技术的目的在于提供一种结合单目标轨迹的多目标跟踪方法，提高轨迹分配的准确性，同时减少目标漏检的情况发生。为实现上述目的，本专利技术提供如下技术方案：一种结合单目标轨迹的多目标跟踪方法，其特征在于，包括以下步骤：S1，获取第t+1帧图像；S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集；S3，对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；S4，将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。进一步的，所述目标跟踪采用神经网络SiamFC深度神经网络。进一步的，所述目标跟踪的具体内容如下：以第t帧图像中的目标为样本图像，以第t+1帧图像截取的子图像为待搜索图像，对所述样本图像与待搜索图像进行相同的变换得到对应的特征，并求解相似度；取最大相似度与给定相似度阈值进行比较，若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为跟踪目标，记录子图像的位置为目标位置；否则判定第t+1帧图像未跟踪到目标。进一步的，所述S4中合并过程中存在以下三种情况：第一目标位置集和第二目标位置集中同时包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；仅第一目标位置集中包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；仅第二目标位置集中包含某个目标，以第二目标位置集中对应该目标的位置作为新目标位置存入新目标位置集。进一步的，所述S5的具体方法如下：依次计算新目标与现有的多个单目标轨迹所在位置的交并比；其中，A为新目标所在位置，B为单目标轨迹中目标所在位置，IOU为两者的交并比；取最大交并比与给定交并比阈值进行比较，若交并比大于交并比阈值，则将该新目标添加至最大交并比对应的单目标轨迹当中，否则创建新单目标轨迹。进一步的，所述S5之后还包括S6，对单目标轨迹进行进行两两相似度计算，将相似度值大于给定相似度阈值的两个单目标轨迹进行连接。进一步的，所述S6的具体方法如下：S61，约束两个单目标轨迹的时间间隔；S62，约束两个单目标轨迹的位置间隔；S63，将前一单目标轨迹的最后一帧图像和后一单目标轨迹的第一帧图像转化为图像直方图，S64，计算两个图像直方图的相似度；S65，在满足S61和S62的约束条件下，若S63的相似度大于给定相似度阈值，则认为两个单目标轨迹为同一目标的轨迹。进一步的，所述给定相似度阈值为0.8。与现有技术相比，本专利技术的有益效果是：本专利技术通过计算目标的位置进行匹配，简化了计算过程。结合当前帧的多目标检测和单目标跟踪结果作并集，减少了目标漏检的发生，使新目标与已有轨迹的分配更加准确。附图说明图1为本专利技术的方法流程图。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种结合单目标轨迹的多目标跟踪方法，包括以下步骤：S1，视频解码，获取视频的第t+1帧图像；S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集O；目标检测算法利用基于神经网络的目标检测方法，回归出第i目标的位置Oi。记检测得到的第一目标位置集为O＝{O1,O2,...,On}；其中Oi为第i目标的位置，包含第i目标所在位置的左上角点坐标(x,y)和包围盒的宽w和高h；S3，采用神经网络SiamFC深度神经网络对第t帧图像进行单目标跟踪，预测每一目标在第t+1帧图像中的位置，构建第二目标位置集；针对第t帧图像中的每一目标进行单目标跟踪。具体内容如下：以第t帧图像中的目标为样本图像z，以第t+1帧图像截取的子图像为待搜索图像x，对所述样本图像z与待搜索图像x进行相同的变换得到对应的特征，并求解相似度。具体为：其中，为样本图像z经变换得到的特征；为样本图像x经变换得到的特征；g(·)为相似性度量函数；f(z,x)为特征和特征之间的相似度。对于第i目标，取最大相似度与给定相似度阈值进行比较，所述给定相似度阈值优选0.7。若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为第i目标的跟踪目标，记录该子图像的位置为目标位置Ti；否则判定第t+1帧图像未跟踪到目标。遍历第t帧图像中的所有目标，得到一系列目标位置，构建第二目标位置集T＝{T1,T2,...,Tn}；其中Ti为第i目标的位置，包含第i目标所在位置的左上角点坐标(x,y)和包围盒的宽w和高h。S4，将第一目标位置集O＝{O1,O2,...,On}和第二目标位置集T＝{T1,T2,...,Tn}进行合并，得到新目标位置集S；具体存在以下三种情况：第一目标位置集O和第二目标位置集T中同时包含第i目标，表明目标检测和跟踪都捕捉到该对象，以第一目标位置集O中实际检测到的该目标的位置Oi作为新目标位置存入新目标位置集S；仅第一目标位置O集中包含第i目标，表明目标检测器检测到了该目标，但跟踪器未捕捉到该目标；以第一目标位置集O中对应该目标的位置Oi作为新目标位置存入新目标位置集S；仅第二目标位置集T中包含第i目标，表明目标检测器漏检了该目标，但跟踪器捕捉到了该目标；以第二目标位置集T中对应该目标的位置Ti作为新目标位置存入新目标位置集S。合并之后的新目标位置集S包括了第一目标位置集O和第二目标位置集T中所有目标的位置，避免了漏检的发生；同时同一目标的位置仅保留一个，避免了算法的冗余。S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。其中，所述单目标轨迹为第t帧图像已分配好的每一个目标的轨迹。匹配的具体方法如下：依次计算新目标与现有的多个单目标轨迹所在位置的交并比；其中，A为新目标所在位置，具体为所在的矩形框；本文档来自技高网...

【技术保护点】
1.一种结合单目标轨迹的多目标跟踪方法，其特征在于，包括以下步骤：/nS1，获取第t+1帧图像；/nS2，对该第t+1帧图像进行多目标检测，构建第一目标位置集；/nS3，对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；/nS4，将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；/nS5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。/n

【技术特征摘要】
1.一种结合单目标轨迹的多目标跟踪方法，其特征在于，包括以下步骤：
S1，获取第t+1帧图像；
S2，对该第t+1帧图像进行多目标检测，构建第一目标位置集；
S3，对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；
S4，将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；
S5，将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。


2.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述目标跟踪采用神经网络SiamFC深度神经网络。


3.根据权利要求2所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述目标跟踪的具体内容如下：以第t帧图像中的目标为样本图像，以第t+1帧图像截取的子图像为待搜索图像，对所述样本图像与待搜索图像进行相同的变换得到对应的特征，并求解相似度；取最大相似度与给定相似度阈值进行比较，若最大相似度大于给定相似度阈值，则取该最大相似度对应的子图像为跟踪目标，记录子图像的位置为目标位置；否则判定第t+1帧图像未跟踪到目标。


4.根据权利要求1所述的结合单目标轨迹的多目标跟踪方法，其特征在于，所述S4中合并过程中存在以下三种情况：
第一目标位置集和第二目标位置集中同时包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置存入新目标位置集；
仅第一目标位置集中包含某个目标，以第一目标位置集中对应该目标的位置作为新目标位置...

【专利技术属性】
技术研发人员：李冠华，徐晓刚，满庆奎，管慧艳，
申请(专利权)人：智慧视通杭州科技发展有限公司，
类型：发明
国别省市：浙江;33