基于跟踪片段置信度和区分性外观学习的多目标跟踪方法技术

本发明专利技术涉及一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，包括以下步骤：1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。与现有技术相比，本发明专利技术具有跟踪效果良好、程序运行效率较高等优点。

A multi object tracking method based on confidence and discriminative appearance learning

The invention relates to a fragment of confidence tracking based on multiple target tracking method and distinguish the appearance of learning, which comprises the following steps: 1) confidence in global association between trace fragments and test results of the local association and tracking fragment fragment based tracking; 2) the proposed area of appearance module learning, in the process of tracking accurately distinguish between different objects. Compared with the prior art, the invention has the advantages of good tracking effect and high running efficiency of the program.

【技术实现步骤摘要】

本专利技术涉及视频处理分析
，尤其是涉及一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法。
技术介绍
目标跟踪是视频监控和视频分析中的重要内容，在智能监控、人机交互、机器人导航、医学诊断等方面有着广泛的应用。目标跟踪主要是指在视频的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中的同一目标对应起来。现有的目标跟踪算法主要分为批处理方法和在线方法两大类。批处理方法将所有帧的检测结果进行处理，把因为阻挡而间断的轨迹，即跟踪片段(tracklets)联系起来，如A.Andriyenko等人在2014年IEEETPAMI第35期上发表的“ContinuousEnergyMinimizationforMulti-TargetTracking”(连续能量最小化的多目标跟踪)。在得到每一帧的检测结果后，将检测结果相连接得到短的跟踪片段，再将跟踪片段进行全局上的联系得到长的跟踪片段。因此，该方法的关键是全局关联度(globalassociation)。然而，批处理方法在存在长时间阻挡的时候，因为难以区分不同目标而表现出不足。同时，这些方法需要事先对图像序列进行检测，而且计算量巨大，因此很难应用于实时的应用。此外，还有一些在线的方法，如M.D.Breitenstein在2011年IEEETPAMI上发表的“Onlinemultipersontracking-by-detectionfromasingle,uncalibratedcamera”(利用单个未校准的摄像机进行在线多人跟踪)，F.Poiesi等人在2013年CVIU上发表的“Multi-targettrackingonconfidencemaps:Anapplicationtopeopletracking”(置信度映射的多目标跟踪：一项人物跟踪的应用)，根据帧与帧间的联系，利用累积到当前帧的信息来建立目标轨迹，因此可以用来实现实时应用。然而，因为该方法更难处理因为被遮挡而检测得不准确或未检测到的物体，在线方法往往产生的是间断的跟踪片段，在目标收到遮挡时会把目标跟丢。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种健壮且快速的基于跟踪片段置信度和区分性外观学习的多目标跟踪方法。本专利技术的目的可以通过以下技术方案来实现：一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，包括以下步骤：1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。2.根据权利要求1所述的一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，所述的步骤1)具体为：首先在线读入图像及其检测信息，然后计算检测结果与已得到的跟踪片段的相似度，进行跟踪片段与检测结果的局部关联计算，接着计算所有跟踪片段之间的相似度，进行跟踪片段之间的全局关联计算。所述的跟踪片段的置信度conf（Ti)定义如下：conf(Ti)=(1LΣk∈[tsi,tei],vi(k)=1Λ(Ti,zki))×max((1+βlog(L-wL)),0)]]>L是Ti的基数，即为跟踪片段的长度，w是目标i因为被其他目标遮挡或不可靠的检测结果而缺失的帧数，上式中的是跟踪片段与其相关联的检测结果的相似度的平均值，较高的相似度能使置信度增加；使用L和w来计算，当跟踪片段较短或被遮挡时该项减少；β是跟检测质量有关的控制参数，当检测结果较准确时，β应设置为较大的数值。根据所述的跟踪片段的置信度定义，对在线多目标跟踪问题的的阐述如下：T^1:tMAP=argmaxT1:t∫∫p(T1:t|T1:t(hi),T1:t(lo))×p(T1:t(lo)|T1:t(hi),Z1:t)p(T1:t(hi)|Z1:t)dT1:t(hi)dT1:t(lo)]]>其中，表示具有高置信度和低置信度的跟踪片段的集合；在线多目标跟踪问题的求解分为两个阶段：具有高置信度的跟踪片段在局部与在线输入的检测结果相联系，同时具有低置信度的跟踪片段在全局与其他跟踪片段相联系；由于跟踪片段的取值范围是[0,1]，当置信度大于0.5时认为跟踪片段是具有高置信度的，否则认为是具有低置信度的间断的跟踪片段。所述的跟踪片段与检测结果的局部关联计算如下：在检测结果与跟踪片段关联时进行成对的关联度计算，当第t帧含有h个跟踪片段和n个检测结果时，分数矩阵Sh×n定义如下：Sh×n=[sij]h×n,sij=-log(Λ(Ti(hi),zti)),ztj∈Zt]]>然后，采用匈牙利算法来决定最优的跟踪片段和检测结果的组合，使得上述矩阵的总相似度最大；当一对跟踪片段和检测结果的关联代价小于一个阈值-log(θ)时，将跟踪片段与检测结果相关联，并进行以下步骤：利用检测结果来更新跟踪片段的位置和速度，目标的大小也通过求最近几帧的平均值得到更新；更新跟踪片段的置信度。所述的跟踪片段之间的全局关联计算具体如下：假设分别存在h个置信度高的和l个置信度低的跟踪片段；考虑n个检测结果，Yt是没有与跟踪片段相关联的检测结果的集合；考虑以下的事件：A:Ti(lo)与Tj(hi)相关联；B:Ti(lo)已终止；C:Ti(lo)与相关联；代价矩阵定义如下：G(l+n)×(h+l)=Al×hBl×l-log(θ)n×hCn×l]]>其中，A＝[aij]代表事件A，aij＝-log(Λ(Ti(lo),Tj(hi)))为关联代价；B＝diag[b1,…,bl]代表事件B，bi＝-log(1-conf(Ti(lo)))为终止跟踪片段的代价，C＝[cij]代表事件C，为关联代价；当计算出代价矩阵后，采用匈牙利算法计算出最优的组合，使得全局关联代价最小，然后更新跟踪片段及其置信度。所述的步骤2)中的外观模型是指：在每一帧跟踪片段位置的周围收集N个不同位置和尺寸的图像斑块；对每个斑块即样本，创建特征fl；然后得到由特征fl和跟踪片段的IDyl组成的集合所述的外观的相似度计算如下：用{Ai,Si,Mi本文档来自技高网...

【技术保护点】
一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，包括以下步骤：1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。

【技术特征摘要】
1.一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，包括以下步骤：1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。2.根据权利要求1所述的一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，所述的步骤1)具体为：首先在线读入图像及其检测信息，然后计算检测结果与已得到的跟踪片段的相似度，进行跟踪片段与检测结果的局部关联计算，接着计算所有跟踪片段之间的相似度，进行跟踪片段之间的全局关联计算。3.根据权利要求1所述的一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，所述的跟踪片段的置信度conf(Ti)定义如下：conf(Ti)=(1LΣk∈[tsi,tei],vi(k)=1Λ(Ti,zki))×max((1+βlog(L-wL)),0)]]>L是Ti的基数，即为跟踪片段的长度，w是目标i因为被其他目标遮挡或不可靠的检测结果而缺失的帧数，上式中的是跟踪片段与其相关联的检测结果的相似度的平均值，较高的相似度能使置信度增加；使用L和w来计算，当跟踪片段较短或被遮挡时该项减少；β是跟检测质量有关的控制参数，当检测结果较准确时，β应设置为较大的数值。4.根据权利要求3所述的一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，根据所述的跟踪片段的置信度定义，对在线多目标跟踪问题的的阐述如下：T^1:tMAP=argmaxT1:t∫∫p(T1:t|T1:t(hi),T1:t(lo))×p(T1:t(lo)|T1:t(hi),Z1:t)p(T1:t(hi)|Z1:t)dT1:t(hi)dT1:t(lo)]]>其中，表示具有高置信度和低置信度的跟踪片段的集合；在线多目标跟踪问题的求解分为两个阶段：具有高置信度的跟踪片段在局部与在线输入的检测结果相联系，同时具有低置信度的跟踪片段在全局与其他跟踪片段相联系；由于跟踪片段的取值范围是[0,1]，当置信度大于0.5时认为跟踪片段是具有高置信度的，否则认为是具有低置信度的间断的跟踪片段。5.根据权利要求2所述的一种...

【专利技术属性】
技术研发人员：盛斌，谢尧，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31