一种基于自适应相关滤波的长时视频跟踪方法技术

本发明专利技术公开了一种基于自适应相关滤波的长时视频跟踪方法，属于视频跟踪技术领域。所述方法融合了HOG特征、CN特征和灰度特征，增强特征判别力的同时结合Edgebox生成检测建议，找到最优建议实现跟踪器尺度与纵横比的自适应；利用高置信度跟踪结果避免模板被破坏，将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率，并对每一帧目标框的尺度进行校正；在跟踪失败的情况下，应用增量学习检测器以滑动窗口的方式恢复目标位置。本发明专利技术使相关滤波器具有更好的尺度和长宽比自适应性，尺度的校正与高置信度更新机制也使模板的稳定性更好，在背景杂乱、遮挡、目标发生快速移动等情况下表现优异，适合长时间跟踪。

A long time video tracking method based on adaptive correlation filtering

The invention discloses a long-time video tracking method based on adaptive correlation filtering, which belongs to the technical field of video tracking. The proposed method combines the hog feature, CN feature and gray level feature, enhances the feature discrimination and generates the detection suggestion based on edgebox, finds the best suggestion to realize the self-adaptive of tracker scale and aspect ratio; uses the high confidence tracking result to avoid template damage, combines the target moving speed and the number of edge groups to form a new self-adaptive update rate, and for each frame In the case of tracking failure, incremental learning detector is used to restore the target position by sliding window. The invention makes the correlation filter have better scale and aspect ratio self adaptability, the scale correction and high confidence update mechanism also make the template have better stability, excellent performance in the case of background clutter, occlusion, rapid movement of the target, etc., and suitable for long-time tracking.

【技术实现步骤摘要】
一种基于自适应相关滤波的长时视频跟踪方法
本专利技术涉及一种基于自适应相关滤波的长时视频跟踪方法，属于视频跟踪

技术介绍
目标跟踪通常指在第一帧中给定目标的初始位置，在后续的视频序列中估计跟踪目标的位置、形状，得到目标的移动方向、运动轨迹等信息。现如今目标跟踪在计算机视觉中起着举足轻重的作用，在人机交互、国防安全、智能家居等领域有着非常广泛的应用。目标跟踪按模型类别不同主要分为生成式方法和判别式方法。其中，判别式方法将目标作为正样本，背景区域作为负样本，将两者显著区分，以训练分类器的方法找到目标，较生成式方法而言更为鲁棒，因此在目标跟踪领域逐渐占据主导地位。判别式方法中的基于相关滤波的跟踪方法以速度快，效果好的优势逐渐脱颖而出，受到广大研究者的关注。2010年，Bolme提出了最小均方误差和滤波跟踪器MOSSE，将相关滤波的概念第一次引入目标跟踪领域。此后Henriques等提出的CSK融入循环移位和岭回归；核化相关滤波器KCF利用核函数丰富了目标特征，大大提升了算法的速度与准确性，奠定了当前相关滤波算法的主要框架。但是，传统相关滤波跟踪无法处理尺度变化、目标遮挡、运动模糊等一系列问题，针对这些，SAMF跟踪器通过引入尺度池的方法估计尺度变化；Danelljan等则提出空间判别尺度估计目标跟踪算法，增加额外的一维尺度相关滤波器，该方法可设置33个特征尺度池，但是这两种方法仅能实现目标尺度的自适应。为了处理目标纵横比变化，使尺度估计更精确，HuangD等将目标检测领域中广泛采用的类别不可知检测提议方法集成到相关滤波跟踪器(KCFDPT)中，以滑动窗口方式遍历整个图像，并根据完全封闭的轮廓数量对每个采样的边界框进行评分。Chaoma等在KCF基础上，引入基于SVM的目标检测算法，能够判断出目标是否发生遮挡，对长时跟踪来说更有优势。虽然上述方法在一定程度上解决了一些难点，但在目标快速移动或者严重遮挡的情况下，长时间跟踪容易引起模板漂移，致使跟踪失败，算法鲁棒性不高。
技术实现思路
为了解决目前存在的在目标快速移动或者严重遮挡，且长时间跟踪时容易引起模板漂移致使跟踪失败，算法鲁棒性不高的问题，本专利技术提供了一种基于自适应相关滤波的长时视频跟踪方法。一种基于自适应相关滤波的长时视频跟踪方法，所述方法融合了HOG特征、CN特征和灰度特征，在增强特征判别力的同时，结合Edgebox生成检测建议，找到最优建议实现跟踪器尺度与纵横比的自适应，利用高置信度跟踪结果避免模板被破坏，将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率，对每一帧目标框的尺度进行校正。可选的，所述方法在跟踪失败的情况下，应用增量学习检测器以滑动窗口的方式恢复目标位置。可选的，所述方法包括：(1)获取目标第一帧，人工确定目标中心位置与边界框长宽(lx1，ly1，w1，g1)，其中lx1为目标中心位置横坐标，ly1为目标中心位置纵坐标，w1为边界框宽度，g1为边界框高度；(2)根据第一帧的目标中心位置以1个像素为步长进行密集采样，当样本与目标边界框重叠比大于0.9时为样本分配正标签，而小于0.5时为样本分配负标签，生成样本集训练支持向量机；(3)根据第一帧的目标中心位置与边界框长宽(lx1，lyl，w1，g1)得到图像块，提取HOG特征、CN特征和灰度特征，训练相关滤波器目标外观与模型参数(4)获取新的一帧，记为第t帧，根据该帧前一帧的目标中心位置与边界框长宽(lxt-1，lyt-1，wt-1，gt-1)得到图像块，应用Edgeboxes获得一组提案框(z1，...，zr)以及提案框里对应的边缘组个数；(5)按式计算每个提案框的相关响应矩阵，其中表示傅里叶反变换，·表示元素点积运算，表示与的互相关高斯核，^表示离散傅里叶变换；每个提案框响应矩阵中最大的元素值记为Fmax(zi)，i＝1，...，r，Fmax(zi)，i＝1，...，r中最大值所对应的矩阵为具有最大相关响应提案框的响应矩阵，记为F，其最大响应值记为Fmax，最大相关响应提案框对应的边缘组个数记为bst；(6)如果Fmax大于0.15则将具有最大相关响应的提案框作为目标位置，并计算相应的目标外观与模型参数继续执行步骤(7)；否则按下式求解最优平面的参数w和b，其中mi是生成的特征向量的第i个样本，而ci∈(+1，-1)是二元标签，L表示合页损失函数，n表示样本个数；紧接着计算每个采样区域的得分scorei＝wTmi+b，将最大的分数对应的采样区域作为目标位置，并计算相应的目标外观与模型参数(7)计算第t帧的APCE值，记为APCEt，计算若则置信度较高，继续步骤(8)；否则跳转步骤(11)，其中γ∈(0，1)；(8)确定模板自适应更新率θ；(9)按照如下公式更新相关滤波器目标外观与模型参数(10)根据当前目标中心位置以1个像素为步长密集采样，当样本与目标边界框重叠比大于0.9时分配正标签，而小于0.5时分配负标签，重新生成样本集并按照式更新超平面，符号表示梯度，表示对w求梯度，(m，c)表示生成的训练集，τ表示控制更新率的超参数；(11)如果当前帧为最后一帧，则目标跟踪结束，否则跳转步骤(4)。可选的，所述(7)计算第t帧的APCE值，记为APCEt，采用下述计算公式进行计算：其中，Fmax，Fmin，Fx，y分别表示输出响应矩阵F中最大的元素值和最小的元素值以及第x行第y列的元素值；只将Fmax＞0.15时的APCE值放入集合ZAPCE中，ZAPCE集合的历史平均值记为N为集合ZAPCE中元素个数。可选的，所述确定模板自适应更新率θ，包括：(8.1)利用公式确定θ1的值，其中v表示目标运动速度；(8.2)利用公式确定θ2的值，其中bst表示第t帧时计算得到的边缘组数，bs2表示第2帧时计算得到的边缘组数，ε∈(0，0.00001)防止分母为0；(8.3)计算θ值：θ＝β*θ1+(1-β)*θ2，β∈(0，1)表示权重系数。可选的，所述HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子；首先将图像分成细胞单元，采集细胞单元中各像素点的梯度的或边缘的方向直方图，将方向直方图组合起来构成特征描述器。可选的，所述CN特征即将现实世界中的图像的RGB值映射为11种预先定义的颜色，11种预先定义的颜色为黑色，蓝色，棕色，灰色，绿色，橙色，粉色，紫色，红色，白色和黄色。可选的，所述方法的仿真实验采用MatlabR2015a和OpenCV3.1实现；可选的，其中所述仿真实验中，参数β＝0.4，γ＝0.65，τ＝1，k＝1.4，ε＝0.000001。本专利技术的第二个目的在于提供上述方法在视频跟踪
内的应用。本专利技术有益效果是：本专利技术融合了HOG特征、CN特征和灰度特征，在增强特征判别力本文档来自技高网...

【技术保护点】
1.一种基于自适应相关滤波的长时视频跟踪方法，其特征在于，所述方法融合了HOG特征、CN特征和灰度特征，在增强特征判别力的同时，结合Edgebox生成检测建议，找到最优建议实现跟踪器尺度与纵横比的自适应，利用高置信度跟踪结果避免模板被破坏，将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率，对每一帧目标框的尺度进行校正。/n

【技术特征摘要】
1.一种基于自适应相关滤波的长时视频跟踪方法，其特征在于，所述方法融合了HOG特征、CN特征和灰度特征，在增强特征判别力的同时，结合Edgebox生成检测建议，找到最优建议实现跟踪器尺度与纵横比的自适应，利用高置信度跟踪结果避免模板被破坏，将目标移动速度与边缘组数结合起来形成了一种新的自适应更新率，对每一帧目标框的尺度进行校正。


2.根据权利要求1所述的方法，其特征在于，所述方法在跟踪失败的情况下，应用增量学习检测器以滑动窗口的方式恢复目标位置。


3.根据权利要求1所述的方法，其特征在于，所述方法包括：
(1)获取目标第一帧，人工确定目标中心位置与边界框长宽(lx1,ly1,w1,g1)，其中lx1为目标中心位置横坐标，ly1为目标中心位置纵坐标，w1为边界框宽度，g1为边界框高度；
(2)根据第一帧的目标中心位置以1个像素为步长进行密集采样，当样本与目标边界框重叠比大于0.9时为样本分配正标签，而小于0.5时为样本分配负标签，生成样本集训练支持向量机；
(3)根据第一帧的目标中心位置与边界框长宽(lx1,ly1,w1,g1)得到图像块，提取HOG特征、CN特征和灰度特征，训练相关滤波器目标外观与模型参数
(4)获取新的一帧，记为第t帧，根据该帧前一帧的目标中心位置与边界框长宽(lxt-1,lyt-1,wt-1,gt-1)得到图像块，应用Edgeboxes获得一组提案框(z1,…,zr)以及提案框里对应的边缘组个数；
(5)按式计算每个提案框的相关响应矩阵，其中表示傅里叶反变换，·表示元素点积运算，表示与的互相关高斯核，＾表示离散傅里叶变换；每个提案框响应矩阵中最大的元素值记为Fmax(zi),i＝1,…,r，Fmax(zi),i＝1,…,r中最大值所对应的矩阵为具有最大相关响应提案框的响应矩阵，记为F，其最大响应值记为Fmax，最大相关响应提案框对应的边缘组个数记为bst；
(6)如果Fmax大于0.15则将具有最大相关响应的提案框作为目标位置，并计算相应的目标外观与模型参数继续执行步骤(7)；
否则按下式



求解最优平面的参数w和b，其中mi是生成的特征向量的第i个样本，而ci∈(+1,-1)是二元标签，L表示合页损失函数，n表示样本个数；紧接着计算每个采样区域的得分scorei＝wTmi+b，将最大的分数对应的采样区域作为目标位置，并计算相应的目标外观与模型参数
(7)计算第t帧的APCE值，记为APCEt，计算若则置信度较高，继续步骤(8)；否则跳转步骤(11)，其中γ...

【专利技术属性】
技术研发人员：葛洪伟，肖逸清，杨金龙，羊洁明，江明，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32