一种基于TLD算法的目标跟踪方法技术

本发明专利技术公开了一种基于TLD算法的目标跟踪方法，包括以下步骤：(1)在初始帧，由用户指定跟踪窗口生成正负样本初始化检测模块并形成目标模型。(2)在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器；跟踪模块采用带有失败检测机制的中值光流法预测当前帧目标位置；(3)整合模块综合检测模块和跟踪模块进行跟踪结果的输出；(4)在更新后的位置产生新的正负样本并利用当前跟踪结果置信度进行加权，利用加权后的正负样本更新检测模块。(5)循环(2)‑(3)直至跟踪结束。在公开数据集上进行的对比实验表明，该方法可以在一定程度上提高跟踪的鲁棒性和精度。

【技术实现步骤摘要】
一种基于TLD算法的目标跟踪方法
本专利技术涉及一种基于TLD算法的目标跟踪方法，特点是利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。应用于计算机视觉、目标检测、目标跟踪等，属于计算机视觉中的目标跟踪领域。
技术介绍
TLD跟踪算法是由ZdenkaKalal提出的一种单目标长时间跟踪算法。该算法由跟踪模块、检测模块、学习模块三个模块组成。单纯的跟踪算法很难校正跟踪的漂移误差并且会不断累积跟踪的误差，而且一旦目标从视野中消失，跟踪就不可避免地产生失败。单纯的检测算法需要大量的样本进行离线的监督训练，不能应用于未知目标的跟踪任务，并且由于目标模型是离线建立的，所以如果一旦目标出现较大变化，跟踪就很容易产生失败。TLD将检测算法和跟踪算法结合起来并且通过学习来实时更新目标模型。TLD算法融合了检测模块、跟踪模块和学习模块，其中检测模块和跟踪模块通过学习模块来交流信息，不断更新目标模型，同时对检测模块进行更新。基于标签空间Y的取值，P-N学习所训练的分类器为二分类器。而在二分类过程中，因为涉及到的是非正即负的判断，阈值的设定十分关键，需要结合实际问题和场景来进行判断。经过大量实验与分析，TLD算法的默认阈值在跟踪场景下性能优良，因此本专利技术采用TLD算法的默认阈值。当被分类样本在阈值附近时，任何一点小的影响都有可能改变该样本的分类结果，特别是目标模型。TLD算法中的目标模型会在跟踪的过程中通过P-N约束不断更新，而添加进目标模型中的正样本，TLD算法都认为是绝对正确的；添加进目标模型中的负样本，TLD算法都认为是绝对错误的。事实上这种目标模型是非常粗糙的。而目标模型越粗糙，P-N学习产生的错误就越会降低目标模型的表征能力。
技术实现思路
本专利技术要解决技术问题为：针对TLD算法目标模型粗糙的问题，提出使用跟踪结果置信度加权来获得更加精细化、更具有表征能力的目标模型，实现对目标的持续、稳定跟踪。在公开视频数据集上进行的实验表明，该方法可以在一定程度上提高跟踪的鲁棒性和精度。本专利技术解决上述技术问题采用的技术方案为：一种基于TLD算法的目标跟踪方法，在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置，产生新的正负样本，从而更新检测模块。其中，在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。其中，在跟踪过程中，检测模块对当前帧图像进行网格扫描获得图像块后，首先计算各图像块的方差，方差小于某个阈值的图像块被接受，进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值，大于某个阈值的图像块被接受，进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理，与目标模型中的图像块进行互相关归一化的相似度计算，如果相似度大于某个阈值，则判定当前图像块为目标区域，否则判定为背景。其中，在跟踪过程中，利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。其中，在跟踪过程中，跟踪模块和检测模块独立运行，并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置，产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。与现有技术相比，本专利技术的有益效果是：这种方法能够有效提高TLD算法的目标模型的表征能力，并对P-N学习产生的不可避免的误差有一定的纠正作用，在一定程度上提高了TLD算法的鲁棒性和精度，使其能够对目标进行持续、稳定的跟踪。附图说明图1为本专利技术基于TLD算法的目标跟踪方法框图；图2为P-N学习算法框图；图3为BlurFace数据集的中心误差(DistanceScore)对比图；图4为BlurFace数据集的成功率(PascalScore)对比图。具体实施方式下面结合附图以及具体实施方式进一步说明本专利技术。如图1所示，在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练。在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器。跟踪模块采用中值光流法通过上一帧跟踪预测当前帧目标位置。整合模块综合检测模块和跟踪模块进行跟踪结果的输出。并且对当前更新后的目标位置，产生新的正负样本，从而更新检测模块。其中，在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本。所获得的正负初始样本用来对检测模块进行初始化训练。其中，在跟踪过程中，检测模块对当前帧图像进行网格扫描获得图像块后，首先计算各图像块的方差，方差小于某个阈值的图像块被接受，进入合并分类器。通过若干个不同的基本分类器进行的像素比较后得到的平均后验概率值，大于某个阈值的图像块被接受，进入最近邻分类器。通过对进入最近邻分类器的图像块进行灰度的零均值归一化处理，与目标模型中的图像块进行互相关归一化的相似度计算，如果相似度大于某个阈值，则判定当前图像块为目标区域，否则判定为背景。其中，在跟踪过程中，利用了当前帧跟踪结果置信度对目标模型进行加权，从而获得更具有表征能力的目标模型。其中，在跟踪过程中，跟踪模块和检测模块独立运行，并将检测结果与跟踪结果融合输出目标跟踪结果。在每一帧中对当前更新后的目标位置，产生新的正负样本。在利用这些正负样本进行目标模型更新的过程中采用当前帧跟踪结果置信度对目标模型进行加权。本专利技术使用TLD算法跟踪结果的置信度Conf对当前帧判定添加到的目标模型的正负样本进行加权后再添加到目标模型中。首先对每一帧经过P-N约束生成的待添加样本定性：即这一待添加样本是目标模型中的正样本还是负样本；然后对这些待添加样本定量：使用当前帧i跟踪结果的置信度Confi对其加权，Confi即为当前帧i中所有待添加样本的权重，这也就描述出了当前帧i的这些待添加样本有多大的可能性是正确分类样本；最后将这些经过加权的样本添加到目标模型中。在TLD算法进行目标跟踪的过程中，第一帧的正样本至关重要，因为这是在由用户直接指定的唯一正确的跟踪目标框中生成的正样本。TLD算法初始化的正样本即是由这唯一一个绝对正确的跟踪目标框中选取并经过随机的仿射变换形成的。而后所有的跟踪目标框都有可能出现各种各样的错误。而每一帧的跟踪结果置信度可以很好地反映这一可能的错误程度。注意到Confi≤1，所以这种方法也在一定程度上加强了初始帧样本的在目标模型中的影响。这样，即使P-N学习训练的分类器出现了错误，即对样本进行了错分，经过当前帧的跟踪结果置信度加权，会在一定程度上纠正这本文档来自技高网...

【技术保护点】
1.一种基于TLD算法的目标跟踪方法，其特征是：在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练，在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器，并对通过这三个分类器的图像块进行聚类；跟踪模块采用中值光流法通过上一帧跟踪结果预测当前帧目标位置；整合模块综合检测模块和跟踪模块进行跟踪结果的输出；对当前更新后的目标位置，在更新后的位置产生新的正负样本并利用当前跟踪结果置信度进行加权，利用加权后的正负样本更新检测模块。

【技术特征摘要】
1.一种基于TLD算法的目标跟踪方法，其特征是：在待跟踪视频的起始帧，由用户指定跟踪窗口形成正负样本对检测模块进行初始化训练，在跟踪过程中，检测模块和跟踪模块独立工作：检测模块扫描当前帧图像获得图像块并依次通过方差分类器、合并分类器、最近邻分类器，并对通过这三个分类器的图像块进行聚类；跟踪模块采用中值光流法通过上一帧跟踪结果预测当前帧目标位置；整合模块综合检测模块和跟踪模块进行跟踪结果的输出；对当前更新后的目标位置，在更新后的位置产生新的正负样本并利用当前跟踪结果置信度进行加权，利用加权后的正负样本更新检测模块。2.根据权利要求1所述的一种基于TLD算法的目标跟踪方法，其特征是：在待跟踪视频的起始帧中，由用户指定跟踪窗口，然后对距离指定的跟踪窗口最近的扫描网格窗口中选取若干个窗口进行一系列的仿射变换形成初始的正样本，并对远离指定的跟踪窗口随机搜选获得初始的负样本；所获得的正负初始样本用来对检测模块进行初始化训练。3.根据权利要求1所述的一种基于TLD算法的目标跟踪方法，...

【专利技术属性】
技术研发人员：吴润泽，魏宇星，徐智勇，张建林，王全宁，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：四川,51