相关滤波器组集成的目标跟踪方法技术

本发明专利技术公开了一种相关滤波器组集成的目标跟踪方法，包括如下步骤：步骤1：每一帧视频中单个相关滤波器的学习；步骤2：相关滤波器组的构建；步骤3：基于相关滤波器组的目标图像确定。本发明专利技术设置一个相关滤波器组W用于存储各帧视频中所学习到的相关滤波器，每当在当前帧中学习到新的相关滤波器后，将其加入相关滤波器组中；每次加入一个新相关滤波器时，都要对W中已有的相关滤波器进行更新检查，以便淘汰出相关性较高的相关滤波器，保留判别能力差异性较大的相关滤波器。本发明专利技术的目标跟踪方法在保持较快跟踪速度的同时，其有着较高的跟踪精度，尤其对于目标外观突变情况有着相对较高的鲁棒性。

Target tracking method based on correlation filter bank ensemble

The invention discloses an integrated target tracking method of correlation filter banks, which includes the following steps: step 1: learning of a single correlation filter in each frame of video; step 2: construction of correlation filter banks; step 3: target image determination based on correlation filter banks. The invention provides a correlation filter bank W for storing the correlation filters learned in each frame video, and every time a new correlation filter is learned in the current frame, it is added to the correlation filter bank; each time a new correlation filter is added, the existing correlation filters in W are updated and checked so as to facilitate. The correlation filter with high correlation is eliminated, and the correlation filter with larger discriminant ability is reserved. The target tracking method of the present invention has high tracking accuracy while maintaining a relatively fast tracking speed, and has relatively high robustness especially for the sudden change of the appearance of the target.

【技术实现步骤摘要】
相关滤波器组集成的目标跟踪方法
本专利技术涉及一种相关滤波器组集成的目标跟踪方法，属于计算机视觉

技术介绍
2017年，Galoogahi等在题为《LearningBackground-AwareCorrelationFiltersforVisualTracking》的论文中提出了一种高判别性相关滤波器构建方法，用于完成视频中的目标跟踪任务。该方法通过对包含目标的大尺寸图像区域进行裁剪获得用于相关滤波器学习的训练样本，即将大尺寸图像区域作循环平移，在循环平移后的图像区域上按照目标的尺寸裁剪出图像区域作为训练样本，随后使用增广拉格朗日乘子算法计算得到相关滤波器。相比于传统的基于相关滤波器跟踪方法，该跟踪方法可在更为复杂的场景下对特定目标进行跟踪。但是该方法在构建新相关滤波器时仍然采用了线性插值的方式来更新相关滤波器，这很容易使得相关滤波器模型对于当前目标与背景过拟合，当目标外观变化较大时，相关滤波器无法准确跟踪目标。基于相关滤波器的目标跟踪方法通常以目标为中心的图像区域作循环平移来采集训练样本，这种方式往往会产生伪像，导致背景样本往往并不能真实地反映背景。另外，因为围绕目标采集的样本中背景数量往往远大于目标，所以样本类别的不平衡性也比较严重。在此训练样本上学习所得的相关滤波器对于目标与背景的判别能力也比较弱。最后，由于相关滤波器的更新往往采用线性插值的方式，相关滤波器很容易对当前目标外观形成过拟合，鲁棒性较差。
技术实现思路
针对现有技术中存在的上述问题，本专利技术提供一种相关滤波器组集成的目标跟踪方法。本专利技术的技术方案如下：相关滤波器组集成的目标跟踪方法，包括如下步骤：步骤1：每一帧视频中单个相关滤波器的学习；步骤2：相关滤波器组的构建；步骤3：基于相关滤波器组的目标图像确定。进一步地，所述步骤1包括如下步骤：步骤1-1：在第一帧视频中确定所要跟踪的目标；步骤1-2：围绕当前帧中目标中心确定长宽为目标图像5倍的训练样本采集区域，将其缩放至第一帧视频中目标图像区域长和宽5倍的图像；步骤1-3：确定相关滤波器w为：进一步地，所述步骤1-3，在这一图像区域上提取梯度直方图(HOG)作为该图像区域的特征假设HOG特征有K个通道，则第k个通道上的特征值为将该HOG特征每个通道上的特征值向量xk作循环平移，其结果C(x)作为样本集，随后以目标图像区域为中心裁剪出满足目标图像区域长和宽的图像区域，以该图像区域上的HOG特征作为训练样本，将其用于相关滤波器w的学习；其中，第k个通道上C(x)k＝[xk,1,xk,2,…,xk,n]T(xk,i为xk作(i-1)个单位平移的结果)，裁剪后图像区域上的HOG特征则可以表示为P·C(x)T，而为一裁剪矩阵；的求解则为一最小化问题：上式中λ＝0.1为平衡系数，为权值矩阵，其每个元素ai具体设置如下：对式(1)进行求解，可以得到相关滤波器w：上式(3)中，符号⊙表示Hadamand积运算，表示HOG第k个通道上特征向量的傅里叶变换结果，FT表示常量型离散傅里叶矩阵。进一步地，所述步骤2，设置一个相关滤波器组W用于存储各帧视频中所学习到的相关滤波器，该组中所允许存储的相关滤波器数量最多为20个，每当在当前帧中学习到新的相关滤波器后，将其加入相关滤波器组中；每次加入一个新相关滤波器时，都要对W中已有的相关滤波器进行更新检查，以便淘汰出相关性较高的相关滤波器，保留判别能力差异性较大的相关滤波器；每加入一个新的相关滤波器时，其适合度初始化为1，在后续每一次更新相关滤波器时，每个相关滤波器的适合度都要除以其在当前帧中计算到的目标图像的似然度值，随后，如果适合度值小于阈值0.95时，就把该相关滤波器淘汰出相关滤波器组；如果更新后，滤波器组中的相关滤波器数量仍然大于20，则将相关滤波器组中最早计算的相关滤波器淘汰出相关滤波器组；如果数量小于20，则只是将当前帧中计算的相关滤波器添加到相关滤波器组中；在完成相关滤波器组的更新后，将相关滤波器组用于下一帧视频中的目标判断。进一步地，所述步骤3，在目标未知的每一帧视频中，围绕前一帧视频中所确定的目标位置中心确定长和宽分别为前一帧视频中目标图像区域长和宽4.9015倍、4.9505倍、5倍、5.05倍、5.1005倍的图像区域作为目标搜索区域，随后将这些目标搜索图像区域以双线性插值的方式都缩放到第一帧视频中目标图像区域长和宽5倍的图像，在每个目标搜索图像区域上提取HOG特征其作循环平移形成候选目标图像特征集C(x*)，其在每个通道上构成候选目标样本集C(x*)，每个候选目标样本与1个相关滤波器的点积结果为该样本为目标图像区域的似然度值，相应地，可以获得所有候选目标样本的似然度L：L＝wT·P·C(x*)(4)将式(3)代入到式(4)可以得到似然度的傅里叶变换结果:的傅里叶反变换结果就为似然度L；本方法使用相关滤波器组来计算候选目标样本的似然度，其中相关滤波器组包含20个相关滤波器，需要将每个相关滤波器的似然度计算结果进行归一化处理；为此，将每个相关滤波器计算出的似然度L中最大值lmax从似然度向量中剔除，求取剩余似然度值的平均值μ以及均方差σ；然后，所有似然度值归一化结果LN就为:LN＝(L-μ)/σ(6)相关滤波器组中所有相关滤波器似然度归一化结果的和就为候选目标样本的最终似然度Lf:上式中Li,N为第i个相关滤波器对于当前帧中目标搜索区域计算得到的归一化似然度值，最终Lf中最大值所对应的候选样本就为当前目标搜索区域上的目标样本，比较5个不同尺度目标搜索区域上目标样本的似然度，取最大似然度值的目标样本作为当前帧上的目标图像，其所对应的尺度倍数为当前帧目标图像相对上一帧目标图像尺度的变化倍数s，让上一帧中目标图像尺寸乘以变化倍数就为当前帧目标图像尺寸；其与中心的坐标偏移值为(xshift,yshift)，则将目标中心在前一帧中位置的基础上移动(s·xshift,s·yshift)，则可以得到目标在当前帧中的最终位置。本专利技术的有益效果如下：本专利技术的目标跟踪方法在保持较快跟踪速度的同时，其有着较高的跟踪精度，尤其对于目标外观突变情况有着相对较高的鲁棒性。附图说明图1是本专利技术实施例的方法流程图。具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术相关滤波器组集成的目标跟踪方法包括如下步骤：1、每一帧视频中单个相关滤波器的学习。在每一帧视频中确定所要跟踪的目标之后，使用一个矩形框确定目标所在的图像区域。随后以目标为中心选取长、宽为目标图像区域长、宽5倍的图像区域，并将其以双线性插值的方式缩放至第一帧视频中目标图像区域长和宽5倍的图像，在这一图像区域上提取梯度直方图(HOG)作为该图像区域的特征假设HOG特征有K个通道，则第k个通道上的特征值为将该HOG特征每个通道上的特征值向量xk作循环平移，其结果C(x)作为样本集，随后以目标图像区域为中心裁剪出满足目标图像区域长和宽的图像区域，以该图像区域上的HOG特征作为训练样本，将其用于相关滤波器w的学习。其中，第k个通道上C(x)k＝[xk,1,xk,2,…,xk,n]T(xk,i为xk作(i-1)个单位平移的结果)，裁剪后图像区域上的HOG特征则可以表示为P·C(x)T，而为一裁剪矩阵。的求解则为本文档来自技高网...

【技术保护点】
1.相关滤波器组集成的目标跟踪方法，包括如下步骤：步骤1：每一帧视频中单个相关滤波器的学习；步骤2：相关滤波器组的构建；步骤3：基于相关滤波器组的目标图像确定。

【技术特征摘要】
1.相关滤波器组集成的目标跟踪方法，包括如下步骤：步骤1：每一帧视频中单个相关滤波器的学习；步骤2：相关滤波器组的构建；步骤3：基于相关滤波器组的目标图像确定。2.根据权利要求1所述的相关滤波器组集成的目标跟踪方法，其特征在于，所述步骤1包括如下步骤：步骤1-1：在第一帧视频中确定所要跟踪的目标；步骤1-2：围绕当前帧中目标中心确定长宽为目标图像5倍的训练样本采集区域，将其缩放至第一帧视频中目标图像区域长和宽5倍的图像；步骤1-3：确定相关滤波器w为：3.根据权利要求2所述的相关滤波器组集成的目标跟踪方法，其特征在于，所述步骤1-3，在这一图像区域上提取梯度直方图(HOG)作为该图像区域的特征假设HOG特征有K个通道，则第k个通道上的特征值为将该HOG特征每个通道上的特征值向量xk作循环平移，其结果C(x)作为样本集，随后以目标图像区域为中心裁剪出满足目标图像区域长和宽的图像区域，以该图像区域上的HOG特征作为训练样本，将其用于相关滤波器w的学习；其中，第k个通道上C(x)k＝[xk,1,xk,2,…,xk,n]T(xk,i为xk作(i-1)个单位平移的结果)，裁剪后图像区域上的HOG特征则可以表示为P·C(x)T，而为一裁剪矩阵；的求解则为一最小化问题：上式中λ＝0.1为平衡系数，为权值矩阵，其每个元素ai具体设置如下：对式(1)进行求解，可以得到相关滤波器w：上式(3)中，符号⊙表示Hadamand积运算，表示HOG第k个通道上特征向量的傅里叶变换结果，FT表示常量型离散傅里叶矩阵。4.根据权利要求1所述的相关滤波器组集成的目标跟踪方法，其特征在于，所述步骤2，设置一个相关滤波器组W用于存储各帧视频中所学习到的相关滤波器，该组中所允许存储的相关滤波器数量最多为20个，每当在当前帧中学习到新的相关滤波器后，将其加入相关滤波器组中；每次加入一个新相关滤波器时，都要对W中已有的相关滤波器进行更新检查，以便淘汰出相关性较高的相关滤波器，保留判别能力差异性较大的相关滤波器；每加入一个新的相关滤波器时，其适合度初始化为1，在后续每一次更新相关滤波器时，每个相关滤波器的适合度都要除以其在当前帧中计算到的目标图像的似然度值，随后，如果适合度值小于阈值0.95时，就把该相关滤波器淘汰出相关滤波器组；如...

【专利技术属性】
技术研发人员：钱诚，朱俊杰，李晓芳，徐煜明，
申请(专利权)人：常州工学院，
类型：发明
国别省市：江苏,32