一种基于TLD的视频目标跟踪方法技术

本发明专利技术公开一种基于TLD的视频目标跟踪方法，步骤是：（1）在跟踪目标的起始帧，根据给出的位置和大小信息生成图像子窗口，对检测器进行训练；（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；（4）对跟踪器和检测器的结果进行融合处理，判断当前帧是否存在目标，不存在则返回步骤（3）对下一帧进行处理；存在则给出目标位置以及判断当前帧的跟踪轨迹是否有效，无效则返回步骤（2）对下一帧进行处理；有效则完成检测器的在线更新，回到步骤（2）对下一帧进行处理。此种方法对现有的TLD算法进行改进，获得比TLD算法更理想的视频目标跟踪算法。

【技术实现步骤摘要】

本专利技术属于目标检测与跟踪领域，特别涉及一种针对当前新兴的视频跟踪算法TLD的改进。
技术介绍
目标跟踪是计算机视觉研究领域中的关键问题，其本质是根据参考图像帧中选定的目标在接下来的图像帧中寻找目标的最佳位置，并在多个领域有着重要的研究和应用价值，如民用领域中的智能交通系统，军事领域中的导航、制导、以及防卫等系统。一套性能优良的跟踪系统面临着多方面的挑战，如跟踪点变化、光照影响、 快速运动、目标遮挡或消失、复杂背景等。TLD是一种长期、在线、最少先验信息的目标跟踪方法，主要由三个部分组成跟踪器、检测器和学习模块。跟踪器部分由一个短周期自适应跟踪器构成，在帧间运动有限、目标可见的情况下，用来预测目标在连续帧间的运动；检测器部分为一个高效的级联分类器，创建使用了简单有效图像特征，可以对目标进行实时的检测，同时在必要的情况下纠正跟踪器；学习模块评估跟踪器和检测器的性能，通过生成有效的训练样本完成检测器的更新，消除检测器误差。TLD算法的框架结构如图I所示。在跟踪目标的起始帧，通过给出目标的位置和大小，完成对TLD算法的初始化；在随后的跟踪过程中，对每一帧图像用跟踪器和检测器共同进行处理，跟踪器根据前一帧中目标的位置信息来估计当前帧中目标所在的位置，检测器对当前帧窗口全局扫描，检测出一个或者多个可能的目标位置，检测结果和跟踪结果输入到融合处理模块，该模块给出当前帧是否存在目标、目标位置以及到当前帧的跟踪轨迹是否有效等信息；这些融合处理结果、联合检测结果和跟踪结果一起输入到学习模块，学习模块完成对跟踪器和检测器的更新。TLD是一套高效的目标跟踪算法，只需要较少的先验信息就可以实现对目标的长期在线跟踪，运算速度快，实时性高，并且能有效地适用于目标被遮挡或者消失的场合和目标外表在跟踪过程中发生变化的情况，因此，对该算法的研究有着极其重要的意义。在对TLD算法进行测试分析和研究的过程中，找出了该算法中存在的一些不足，加以改进，本案由此产生。
技术实现思路
本专利技术的目的，在于提供一种基于TLD的视频目标跟踪方法，其对现有的TLD算法进行改进，能够获得比TLD算法更理想的视频目标跟踪算法。为了达成上述目的，本专利技术的解决方案是一种基于TLD的视频目标跟踪方法，包括如下步骤(I)在跟踪目标的起始巾贞，根据给出的所跟踪目标的位置和大小信息，生成图像子窗口，对检测器进行训练；(2)跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；(3)用检测器对当前帧进行检测，找出当前帧中所有可能的目标；(4)对跟踪器和检测器的结果进行融合处理，判断出当前帧是否存在目标，如果不存在目标，则返回步骤(3)开始对下一帧的处理；如果存在目标，则给出目标位置以及判断当前帧的跟踪轨迹是否有效，如果无效，则返回步骤(2)，对下一帧进行处理；如果有效，则进入学习模块，通过P-N Learning完成检测器的在线更新，然后回到步骤(2)，开始对下一帧进行处理。上述步骤(2)的具体内容是(21)目标在上一帧的目标边界框由其位置和大小信息获得，由Cell FoT在该边界框中选择好的特征点，并通过光流法完成相邻两帧间特征点的跟踪；(22)通过Σ删除部分经过一次光流法后跟踪失败的局部跟踪器，所述Σ包括Nh、Mp 和 NCC ；(23)对经由Σ删除后最终剩余的局部跟踪器，计算每个局部跟踪器对应的位移以及其距离在相邻帧间的比例变化值，以位移以及距离比例的中位值分别作为所跟踪目标边界框在相邻帧间的位移变化和大小变化，从而估计得到在当前帧上的目标区域。上述步骤(22)的详细内容是首先，当前帧的所有局部跟踪器通过NCC进行删选；然后，满足NCC后的局部跟踪器加入到Nh进行删选；最后，剩余的局部跟踪器加入到Mp进行最后的删选，最终得到的局部跟踪器用来更新目标边界框。上述步骤(3)的具体内容是(31)使用卡尔曼滤波器和Mp对TLD检测区域进行预测，完成目标在当前帧中大致区域的预测；卡尔曼滤波器根据之前帧中目标的位置，以目标的中心点位置为状态量，预测出当前帧中目标的中心点，以该点为中心划定一个矩形区域，且该矩形区域的大小为上一帧目标面积的4倍，该矩形即为卡尔曼滤波器最终预测得到的目标区域；Mp根据之前帧中目标运动的方向预测目标在当前帧的运动方向，根据上一帧目标所在位置，可以在当前帧中划定一个区域，目标假定应该出现在该区域中，该区域即为Mp预测得到的区域；(32)对当前帧中所有的图像子窗口，找出其中与经由Kalman预测得到的目标区域有交集的子窗口 ；再在其中找出包含于经由Mp预测得到的图像区域中的子窗口，这些子窗口即为符合卡尔曼滤波器和Mp共同预测结果的子窗口 ；(33)对前述符合预测结果的图像子窗口，加入到检测器中以判读子窗口中的图像是否为目标。上述步骤(4)中，判断当前帧是否存在目标及目标位置的判据如下若跟踪器和检测器都没有跟踪得到或者检测得到目标信息，则认为当前帧中不含有目标；若跟踪器和检测器的结果中都包含目标位置信息，且检测器认为其检测到的区域被认为非常可能是目标，则以检测器得到的目标区域为当前帧上的最终目标位置，否则，当前帧上最终的目标位置为跟踪器和检测器目标位置信息的均值；若跟踪器有目标位置信息，而检测器没有得到目标位置信息，则以跟踪器得到的目标区域作为当前帧中最终目标的位置；若跟踪器无目标位置信息，而检测器包含目标位置信息，则以检测器检测得到的区域作为当前帧上最终的目标位置。上述步骤(4)中，判断当前帧的跟踪轨迹是否有效的判据如下若判读当前帧中存在目标，则给出当前帧的跟踪轨道是否有效的置信值，该值通过计算当前跟踪所得目标与已加入到在线模型中图像区域之间的相似程度得到，当相似程度超过阈值则判定当前所得的跟踪轨道是有效的。上述步骤(4)中，检测器的在线更新的过程是在P-N Learning中，定义P结构约束和N结构约束，P结构约束用来表征被分类器分类为negative但是结构约束却要求其类别应该为positive的样本，要求所有靠近有效跟踪轨道的图像区域其类别标签应该为positive ；N结构约束表征被分类器分类为positive但是结构约束却要求其类别为negative的样本，要求所有包围有效跟踪轨道的图像区域其类别标签为negative ;P_NLearning通过P结构约束和N结构约束生成有效的训练样本，形成新 的已标签训练样本集，把该样本集加入到检测器中，更新检测器中的集成分类器，同时更新在线目标模型和最近邻域分类器。采用上述方案后，本专利技术具有以下改进(I)在TLD的跟踪器中采用Cell FoT+ Σ法进行设计，取代原始TLD算法中的GridFoT+FB+NCC法，该方法不仅具有较强的跟踪精度和鲁棒性，而且也提高了运算速度；(2)在TLD的检测器中引入Kalman滤波器预测TLD在当前帧上的目标检测区域，从而缩小了 TLD算法中的检测范围，在跟踪精度基本保持不变的情况下提高TLD算法的处理速度；(3)在TLD的检测器中加入了基于马尔可夫模型的方向预测器，提高了 TLD对相似目标交会后的辨识能力。附图说明图I是现有TLD算法的框架结构图；图2是Cell FoT示意图；图3是邻域一致预测器示意图；图4是使用Kalman滤波器对目标运动本文档来自技高网...

【技术保护点】
一种基于TLD的视频目标跟踪方法，其特征在于包括如下步骤：（1）在跟踪目标的起始帧，根据给出的所跟踪目标的位置和大小信息，生成图像子窗口，对检测器进行训练；（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；（4）对跟踪器和检测器的结果进行融合处理，判断出当前帧是否存在目标，如果不存在目标，则返回步骤（3）开始对下一帧的处理；如果存在目标，则给出目标位置以及判断当前帧的跟踪轨迹是否有效，如果无效，则返回步骤（2），对下一帧进行处理；如果有效，则进入学习模块，通过P？N？Learning完成检测器的在线更新，然后回到步骤（2），开始对下一帧进行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：周鑫，钱秋朦，王从庆，叶永强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：