一种基于TLD的适用于无人机的变尺度目标跟踪方法技术

本发明专利技术属于图像处理、计算机视觉领域，具体涉及一种基于TLD的适用于无人机的变尺度目标跟踪方法。采用跟踪‑学习‑检测框架的设计思路，跟踪器采用中值光流跟踪器，检测器采用归一化相关检测器，学习器则采用改进的kNN检测器。基于无人机侦查视频序列的特点和难点，统筹算法的性能和适应性，融合中值光流法以及相关跟踪算法的优点，提出一种基于TLD框架下的适用于无人机的目标跟踪算法，解决了无人机视频处理系统目标跟踪的在目标给定不明确时目标鲁棒跟踪问题、待跟踪目标像素数较少，纹理不明显、目标外形姿态角度及尺度变化明显和跟踪处理的实时性问题。

A variable scale target tracking method for UAVs based on TLD

The invention belongs to the field of image processing and computer vision, in particular to a variable scale target tracking method suitable for Unmanned Aerial Vehicles Based on TLD. By tracking learning design detection framework, tracker using median optical flow tracker, detector using normalized correlation detector, kNN detector is used for learning improvement. The characteristics and difficulties of the UAV detection based on video sequence, and the algorithm performance and adaptability, the advantages of fusion median optical flow method and correlation tracking algorithm, proposes a target tracking algorithm for UAV Based on TLD framework, solve the UAV video processing system for target tracking in a given target is not clear goals robust tracking problem, target pixel number, texture is not obvious, the target attitude angle and scale shape changes obviously and tracking the real time problem.

【技术实现步骤摘要】
一种基于TLD的适用于无人机的变尺度目标跟踪方法
本专利技术主要属于图像处理、计算机视觉领域，具体涉及一种基于TLD的适用于无人机的变尺度目标跟踪方法。
技术介绍
目标跟踪技术在军用无人机作战侦察，精确打击领域均有广泛的应用，也为目标定位，毁伤评估等情报处理功能提供技术支持。准确性强，鲁棒性高的目标跟踪算法，可以有效减轻地面操作人员的负担，提高快速响应作战能力以及系统侦查能力。目前工程运用中，运用最多的即为相关跟踪算法，该算法易于硬件实现，简单有效，处理速度也很可观，但算法鲁棒性不强，且不能对目标尺度变化及遮挡情况进行判断和捕捉。此外一些其他的较为常用的目标跟踪算法有中值光流法，TLD(Tracking-Learning-Detection)算法，LCT(Long-termCorrelationTracking)算法等。中值光流法是对传统LK光流法的改进，通过正反双向应用光流法提高光流跟踪的精度，但在视频抖动时误差较大。TLD算法通过在线学习的方式，采用PN学习的策略结合中值光流法和在线级联分类器，可实现长时间目标跟踪，但跟踪效率低，320*240分辨率大小的图像在后期的处理速度仅为5fps。LCT算法通过在高速相关跟踪的基础上，通过设立外观模型进行遮挡判断检测，在线SVM分类器进行目标重捕，也可实现对目标的长时间跟踪，目标丢失后的重捕准确率较TLD算法不足，实时性有所提高，每秒可达10fps左右。以上算法在日常监控领域均取得了很好的跟踪效果，但是在无人机侦查处理系统中，由于航拍时种种条件的限制无法获得较好的推广和应用。在无人机视频处理系统中目标跟踪技术主要面临以下问题：1)目标指定方式，无人机侦察时往往操作时只能点选目标的大概位置，无法给定准确的目标矩形框；2)无人机航拍视频中，目标所占像素数不足，且在整个画面中比例较小，纹理特征不明显；3)无人机航拍视频中，由于拍摄图像受载荷及飞机姿态的影响，导致目标角度尺度变化明显。4)在现有硬件处理基础上，如何保证跟踪实时性；
技术实现思路
基于上述问题，本专利技术提供一种基于TLD框架下的适用于无人机的目标跟踪方法，基于无人机侦查视频序列的特点和难点，统筹算法的性能和适应性，融合中值光流法以及相关跟踪算法的优点，解决了无人机视频处理系统目标跟踪的诸多问题。本专利技术是通过以下技术方案实现的：一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器，学习器基于kNN分类器；所述目标跟踪方法包括以下步骤：(1)初始化跟踪器、检测器及学习器；(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果，跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败；(3)检测器采用以目标为模板，利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标进行匹配得出归一化相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪。进一步地，步骤(3)具体为：对模板图像进行延拓、滤波，再将其与输入图像做卷积运算，卷积计算结果做逆傅里叶变换，利用归一化相关算法获得整幅图像各个点的归一化相关系数，最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果；对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致。进一步地，步骤(5)具体为：将每帧目标最终结果作为正样本模型，将所有正样本模型的图像大小缩放至同一大小；同时分别设立不同角度的正样本模型，即以初始帧为0度，对正样本模型进行放射变换，每隔θ度为一组，得到360/θ组正样本模型；θ为360的约数；优选地，θ为30。选取上一帧远离目标区域的N个图像块作为负样本模型，同样将负样本模型的图像大小缩放至与正样品模型的图像大小一致；N取150-300；优选地，N取200；所述学习器基于kNN分类器,计算待比对图像同正样本模型和负样本模型的归一化相关系数,依据归一化相关系数排序，取其中最高的k个样本模型，k为奇数；如果样品类别中正样本模型数目大于负样本模型数目，则表明待检测图像为目标，否则认为待检测图像为干扰区域；在确定待检测图像为目标后，比对相邻两组正样本模型，计算其归一化相关系数，选择归一化相关系数最大者组别的角度定为目标当前旋转角度；以待检测图像中心为中心，分别取大小为待检测图像不同倍数(γ1，γ2，γ3)区域作为新的待检测图像计算其在正样本模型中的归一化相关系数，选择归一化相关系数最大者作为最终结果，并获得此时倍数γ作为目标缩放系数，γ为γ1、γ2、γ3其中之一；γ1、γ2、γ3分别取1.05～1.2、1、0.8～0.95。优选地，γ1、γ2、γ3分别取1.1、1、0.9。进一步地，步骤(4)具体为：若跟踪器和检测器均成功，判断两者跟踪结果是否近似相同；所述近似相同是指目标跟踪结果的矩形框与目标检测结果的矩形框的重载率>a或两矩形框的中心点距离小于d；所述重载率即两矩形框的重载率为其交集与其并集的比；学习器根据kNN分类器计算待匹配样本同正样本模型中的最大相关系数即匹配率，同时判断是否发生遮挡；若近似相同，取匹配率较高的结果作为目标最终结果，同时更新最近邻检测器；若重载率<b，则认为两者检测结果不同，此时取匹配率较高同时kNN分类器判断未被遮挡的结果为目标最终结果；若重载率大于b但小于a时，取目标跟踪结果与目标检测结果的均值作为目标最终结果；若跟踪器和检测器仅有一个成功，则使用kNN分类器对结果判断，未被遮挡则作为目标最终结果；其中，a取0.5-0.8；b取0.2-0.4；d取3-6个像素。优选地，a取0.7，b取0.4，d取4个像素。进一步地，步骤(2)具体为：在图像中生成一系列待跟踪点，首先进行一次金字塔光流跟踪；再生成目标跟踪点后，再将当前帧作为初始帧，反向跟踪；取所有跟踪点的位置与原始跟踪点的位置偏差的均值为middleError,如果得到跟踪点的位置与原始跟踪点偏差>middleError则认为跟踪不准确，将跟踪准确的跟踪点组合到一起，并由初始位置预测得到当前帧目标的位置即目标跟踪结果；当跟踪准确点的数目小于所有跟踪点数目的一半时，则判断跟踪失败。进一步地，归一化相关系数的计算公式如下：其中：T′(x′，y′)＝T(x′，y′)-1/(w·h)·∑x″y″T(x″，y″）I′(x+x′，y+y′)＝I(x+x′，y+y′)-1/(w·h)·∑x″y″I(x+x″，y+y″)；w和h分别表示模板图像的宽和高，R(x，y)为模板图像在(x，y)位置的归一化相关系数，且0≤R(x，y)≤1；若检测区域内最大归一化相关系数Rmax(x，y)＜0.5，则认为检测失败。本专利技术的有益技术效果：1)本专利技术运行效率高，在i7-4790处理器，8GB内存条件下，运行速度可达15ms/帧～50ms本文档来自技高网...

【技术保护点】
一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器，所述学习器基于kNN分类器；其特征在于，所述目标跟踪方法包括以下步骤：(1)初始化跟踪器、检测器及学习器；(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果，跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败；(3)检测器采用以目标为模板，利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标利用归一化相关算法进行匹配得出归一化相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪。

【技术特征摘要】
1.一种基于TLD的适用于无人机的目标跟踪方法，所述目标跟踪方法基于TLD算法，所述TLD算法包括跟踪器、检测器及学习器，所述学习器基于kNN分类器；其特征在于，所述目标跟踪方法包括以下步骤：(1)初始化跟踪器、检测器及学习器；(2)跟踪器采用中值光流法依据初始位置预测当前帧目标的位置作为目标跟踪结果，跟踪器同时依据目标跟踪结果判断跟踪成功或跟踪失败；(3)检测器采用以目标为模板，利用归一化相关算法对搜索区域进行相关运算计算归一化相关系数，得到目标检测结果，检测器同时依据目标检测结果判断检测成功或检测失败；(4)学习器将所述目标跟踪结果和所述目标检测结果分别与待测目标利用归一化相关算法进行匹配得出归一化相关系数，依据最大相关系数选择目标跟踪结果或目标检测结果或目标跟踪结果和目标检测结果的均值作为目标最终结果；(5)学习器根据目标最终结果确定目标旋转角度及目标缩放系数；(6)结合目标最终结果、目标旋转角度及尺度变化更新学习器、跟踪器和检测器，进行下一步目标跟踪。2.如权利要求1所述目标跟踪方法，其特征在于，步骤(3)具体为：对模板图像进行延拓、滤波，再将其与输入图像做卷积运算，卷积计算结果做逆傅里叶变换，进而获得整幅图像各个点的归一化相关系数，所述归一化相关系数通过计算归一化相关算法获得；最大归一化相关系数所对应的位置为检测目标所在位置即目标检测结果；对模板图像进行延拓是指通过将模板图像边缘补0使模板图像的大小扩大到和输入图像的大小一致。3.如权利要求1所述目标跟踪方法，其特征在于，步骤(5)具体为：将每帧目标最终结果作为正样本模型，将正样本模型的所有图像的大小缩放至大小一致；同时分别设立不同角度的正样本模型，即以初始帧为0度，对正样本模型进行放射变换，每隔θ度为一组，得到360/θ组正样本模型；θ取360的约数，θ越大则角度处理效果越差，越小则实时性越差；选取上一帧远离目标区域的N个图像块作为负样本模型，同样将负样本模型的图像大小缩放至与正样品模型图像的大小一致；N取150-300；所述学习器基于kNN分类器,计算待比对图像同正样本模型和负样本模型的归一化相关系数,依据归一化相关系数排序，取其中最高的k个样本模型，k为奇数；如果k个样本模型中正样本模型数目大于负样本模型数目，则表明待检测图像为目标，否则认为待检测图像为干扰区域；在确定待检测图像为目标后，比对相邻两组正样本模型，计算其归一化相关系数，选择归一化相关系数最大者组别的角度定为目标当前旋转角度；以待检测图像中心为中心，分别取大小为待检测图像不同倍数γ1、γ2、γ3区域作为新的待检测图像计算其在正样本模型中的归一化相关系数，选择归一化相关系数最大者作为最终结果，并获得此时倍数γ作为目标缩放系数，γ为γ1、γ2、γ3其中之一；γ1、γ2、γ3分别取1.05～1.2、1、0.8～0.95。4.如权利要求1所述目标跟踪方法，其特征在于，步骤(4)具体为...

【专利技术属性】
技术研发人员：黄坤，吴国强，徐翔，尹中义，许克鹏，曲悠扬，
申请(专利权)人：中国航天电子技术研究院，
类型：发明
国别省市：北京,11