一种基于轨迹优化的目标跟踪方法及系统技术方案

本发明专利技术提供一种基于轨迹优化的目标跟踪方法及系统，在第一帧进行目标模型的构建，包括首先对目标进行样本的采样，进而根据与目标的覆盖率标记样本，提取多融合特征训练结构化的分类器，得到基础的目标模型；然后在后续帧图片中采取若干候选，利用每一个候选训练模型，选出下一帧中置信度最高的候选。如此迭代多帧之后，根据连续多帧中构成的多条轨迹的平均置信度，从而选出目标的最佳运动短轨迹。因此，本发明专利技术通过引入目标在连续帧的时序稳定性，克服了传统的基于静态检测方法因忽略时空信息导致模型判别力不足，从而无法选出最佳目标而导致模型漂移的问题，并且提出一种基于多特征融合的结构化输出分类模型，能有效地提高模型的辨别力。

A target tracking method and system based on trajectory optimization

The present invention provides a system and method for target tracking trajectory optimization based on the construction of the target model in the first frame, including the target sample sampling, and then according to the coverage rate of labeled samples and the target extraction, multi feature fusion training structured model based target classifier, and then take a number of candidates in the follow-up; in the picture frame, using every candidate training model, select the highest confidence candidate for the next frame. After the multiple frames are iterated, the average confidence of the multiple trajectories in the continuous multiple frames is used to select the best short trajectory of the target. Therefore, by introducing the target in the temporal stability of continuous frames, to overcome the traditional static detection method based on spatio-temporal information model caused by ignoring the discrimination power is insufficient, thus unable to select the best target and lead to the problem of model drift, and proposes a structured output classification model based on multi feature fusion, can effectively improve the model discrimination.

【技术实现步骤摘要】
一种基于轨迹优化的目标跟踪方法及系统
本专利技术属于计算机视觉领域，尤其涉及一种基于轨迹优化的目标跟踪方法及系统。
技术介绍
目标跟踪的目标是在连续的图像或视频序列中估计出感兴趣目标的运动状态和运动轨迹。它是计算机视觉的一个重要分支，被广泛应用于行为分析、视频监控、智慧交通、国防建设等各个领域。近年来，尽管目标跟踪已经取得了很大的进展[1-5]，但是由于光照变化、尺度变化、以及局部遮挡等环境因素的影响，当前的跟踪算法的鲁棒性和稳定性还具有一定的局限性。现有的目标跟踪算法大致可归为生成式方法和判别式方法。生成式方法是指在图像区域中找到与运动目标模型最相似的区域以实现跟踪。而判别式跟踪方法把跟踪看成二分类问题，旨在构造一个分类器将目标和背景区分出来。如Kalal等人提出一种P-N学习方法以利用正负样本之间的结构关系来学习一个分类器从而实现跟踪[2]。然而，现有的大多数跟踪器通常将跟踪视为静态检测或匹配任务，即仅仅通过当前帧得到的某种判断依据来确定跟踪目标，比如分类器的分类分数等，忽略了目标在相邻帧之间的时空关系。而跟踪是一个定位在时空序列上的视觉任务，时间上下文和空间上下文信息都应该利用。举个例子，如果用一个分类器在当前帧中检测出了四个得分最高的候选，置信度分别为0.86,0.82,0.78和0.76，是无法保证置信度为0.86的候选就是最正确的跟踪目标的。因为这些置信度与所构建的观察模型有关。若模型的辨别力不足，它的估计可能还不够充分，需要对候选进一步确认。因此，如何通过目标在相邻帧以及连续多帧的时空关系来进一步选出最优目标，是值得探索的问题。针对这个问题，本专利技术提出了一种轨迹优化的目标跟踪技术方法。此外，为了应用轨迹优化的目标跟踪后处理策略，首选需要构建一个基础分类模型。在构建分类器的过程中，如果只是简单地赋予训练样本二进制标签，会带来标签上的模糊性，模型也会因引入错误标记到的样本而大大降低判别力。另一方面，特征表示是一个鲁棒的跟踪算法中的重要组成部分之一，如何为目标构建鲁棒的目标表示模型也受到了研究者的广泛关注。针对这两个问题，本专利技术还构建了一个基于多特征融合的结构化输出分类器，以作为本专利技术的算法基础模型。其中，基础模型在训练和测试过程都是结构化输出的。相关参考文献：[1]HenriquesJF,CaseiroR,MartinsP,etal.High-speedtrackingwithkernelizedcorrelationfilters[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(3):583-596.[2]KalalZ,MikolajczykK,MatasJ.Tracking-learning-detection[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2012,34(7):1409-1422.[3]ZhangK,ZhangL,YangMH,etal.Fasttrackingviaspatio-temporalcontextlearning[J].arXivpreprintarXiv:1311.1939,2013.[4]DanelljanM,ShahbazKhanF,FelsbergM,etal.Adaptivecolorattributesforreal-timevisualtracking[C].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2014:1090-1097.[5]DanelljanM,HagerG,ShahbazKhanF,etal.Learningspatiallyregularizedcorrelationfiltersforvisualtracking[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision.2015:4310-4318.[6]WuY,LimJ,YangMH.Onlineobjecttracking:Abenchmark[C].ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2013:2411-2418.
技术实现思路
针对现有判别式跟踪方法存在的问题：通常将跟踪视为静态检测或匹配任务，忽视其他置信度较高的样本，进而跟踪错误。同时引入了错误的新样本用于更新，从而降低了模型的判别力。因此，本专利技术创新性地提出了一种基于轨迹优化的目标跟踪技术方案。本专利技术技术方案提供一种基于轨迹优化的目标跟踪方法，包括以下步骤，步骤1，在第一帧进行目标模型的构建，包括首先对目标进行样本的采样，进而根据与目标的覆盖率标记样本，提取多融合特征训练结构化的分类器，得到基础的目标模型；步骤2，基于目标在连续帧的时序稳定性进行跟踪，包括以下子步骤，步骤2.1，在第一帧构建完目标模型后，在下一帧中采取Ω个候选，Ω为预设的取值；步骤2.2，令t＝2t，记在第t帧采集的候选集为对于任一候选先采用第t＝1t帧相应的分类器计算每个候选的置信度，选出置信度最高的M个候选，M为预设的取值；步骤2.3，采用本次迭代中步骤2.2在当前帧中选出的M个候选，分别更新分类器；步骤2.4，令t＝t+1，返回步骤2.1针对下一帧进行迭代，直到迭代K轮之后，用第i个分类器在连续K帧中选出的最高置信度候选构成第i个轨迹，得到M个短轨迹，K为预设的取值；步骤2.5，评估K帧之间的M个短轨迹分别的轨迹连续性，选择最优短轨迹，取最优短轨迹中的目标更新模型，然后作为下一个K帧初始的目标模型，返回步骤2.1继续跟踪。而且，步骤1包括以下子步骤，步骤1.1，样本采集，包括在初始的目标附近周围采集多个样本作为目标的正样本集，同时在远离初始目标的位置采集多个样本作为目标的负样本集；步骤1.2，基于所采集样本提取特征，包括根据正样本集和负样本集，分别提取样本的特征HOG、LabColor和LBP，然后拼接得到样本的多特征描述子，训练得到一个结构化输出的分类器，作为基础的目标模型。而且，步骤1.1中，基于与目标样本的覆盖率采集负样本集。而且，步骤2.1中，基于粒子滤波框架在下一帧中采取Ω个候选。而且，步骤2.2中，采用上一帧所得分类器计算每一个候选的分类得分，利用下式选出得分靠前的多个可信候选，其中，表示目标框y中候选的特征描述，yt表示通过分类器在当前帧中估计出的跟踪结果框，w表示分类平面的归一化向量；采用这个式子每选出一个，即从候选集中去掉，再利用这个式子继续选择，直到选出M个候选。本专利技术还提供一种基于轨迹优化的目标跟踪系统，包括以下模块，第一模块，用于在第一帧进行目标模型的构建，包括首先对目标进行样本的采样，进而根据与目标的覆盖率标记样本，提取多融合特征训练结构化的分类器，得到基础的目标模型；第二模块，用于基于目标在连续帧的时序稳定性进行跟踪，包括以下单元，第一单元，用于在第一帧构建完目标模型后，在下一帧中采取Ω个候选本文档来自技高网...

【技术保护点】
一种基于轨迹优化的目标跟踪方法，其特征在于：包括以下步骤，步骤1，在第一帧进行目标模型的构建，包括首先对目标进行样本的采样，进而根据与目标的覆盖率标记样本，提取多融合特征训练结构化的分类器，得到基础的目标模型；步骤2，基于目标在连续帧的时序稳定性进行跟踪，包括以下子步骤，步骤2.1，在第一帧构建完目标模型后，在下一帧中采取Ω个候选，Ω为预设的取值；步骤2.2，令t＝2，记在第t帧采集的候选集为

【技术特征摘要】
1.一种基于轨迹优化的目标跟踪方法，其特征在于：包括以下步骤，步骤1，在第一帧进行目标模型的构建，包括首先对目标进行样本的采样，进而根据与目标的覆盖率标记样本，提取多融合特征训练结构化的分类器，得到基础的目标模型；步骤2，基于目标在连续帧的时序稳定性进行跟踪，包括以下子步骤，步骤2.1，在第一帧构建完目标模型后，在下一帧中采取Ω个候选，Ω为预设的取值；步骤2.2，令t＝2，记在第t帧采集的候选集为对于任一候选先采用第t-1帧相应的分类器计算每个候选的置信度，选出置信度最高的M个候选，M为预设的取值；步骤2.3，采用本次迭代中步骤2.2在当前帧中选出的M个候选，分别更新分类器；步骤2.4，令t＝t+1，返回步骤2.1针对下一帧进行迭代，直到迭代K轮之后，用第i个分类器在连续K帧中选出的最高置信度候选构成第i个轨迹，得到M个短轨迹，K为预设的取值；步骤2.5，评估K帧之间的M个短轨迹分别的轨迹连续性，选择最优短轨迹，取最优短轨迹中的目标更新模型，然后作为下一个K帧初始的目标模型，返回步骤2.1继续跟踪。2.根据权利要求1所述基于轨迹优化的目标跟踪方法，其特征在于：步骤1包括以下子步骤，步骤1.1，样本采集，包括在初始的目标附近周围采集多个样本作为目标的正样本集，同时在远离初始目标的位置采集多个样本作为目标的负样本集；步骤1.2，基于所采集样本提取特征，包括根据正样本集和负样本集，分别提取样本的特征HOG、LabColor和LBP，然后拼接得到样本的多特征描述子，训练得到一个结构化输出的分类器，作为基础的目标模型。3.根据权利要求2述基于轨迹优化的目标跟踪方法，其特征在于：步骤1.1中，基于与目标样本的覆盖率采集负样本集。4.根据权利要求1或2或3所述基于轨迹优化的目标跟踪方法，其特征在于：步骤2.1中，基于粒子滤波框架在下一帧中采取Ω个候选。5.根据权利要求1或2或3所述基于轨迹优化的目标跟踪方法，其特征在于：步骤2.2中，采用上一帧所得分类器计算每一个候选的分类得分，利用下式选出得分靠前的多个可信候选，其中，表示目标框y中候选的特征描述，yt表示通过分类器在当前帧中估计出的跟踪结果框，w表示分类平面的归一化向量；采用这个式子每选出一个，即从候选集中去掉，再利用这个式子继续选择，直到选...

【专利技术属性】
技术研发人员：胡瑞敏，阮威健，闫素，梁超，陈军，黄文军，张精制，郑淇，孙志宏，陈金，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42