一种基于双模型竞争机制的相关滤波跟踪方法技术

本发明专利技术涉及一种基于双模型竞争机制的相关滤波跟踪方法，通过融合颜色特征和梯度特征并结合特征降维技术构造特征描述子，并以此训练背景感知相关滤波器，提高滤波器在应对光照变化、目标形变、运动模糊等干扰因素时的鲁棒性；又通过引入双模型竞争机制，根据静态模型和动态模型的跟踪响应图置信度来决定跟踪结果，提高跟踪结果的可靠性，进而解决对遮挡、目标运动出视野等因素导致的模型漂移问题。本发明专利技术在通用的桌面端CPU支持下跟踪速度能够达到45帧/秒，能够满足大部分实际应用场景的实时性需求。性需求。性需求。

【技术实现步骤摘要】
一种基于双模型竞争机制的相关滤波跟踪方法


[0001]本专利技术属计算机视觉领域，涉及一种目标跟踪方法，具体涉及一种基于双模型竞争机制的相关滤波跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域的重要研究内容，在视频监控、自动驾驶、智能机器人、人机交互等方面具有广泛的应用价值。经过近十余年的快速发展，目标跟踪技术已经取得了长足的进步。但是，由于受到光照变化、目标形变、运动模糊、遮挡等多种干扰因素的影响，实现鲁棒的在线跟踪仍然是一项极具挑战性的任务。
[0003]文献“Learning background
‑
aware correlation filters for visual tracking,IEEE International Conference on Computer Vision,2017:1135
‑
1143”提出的背景感知相关滤波跟踪方法(简称BACF)利用一个掩膜矩阵在大的搜索区域内对样本进行裁剪，将得到的真实背景作为负样本来训练滤波器，从而有效地解决了传统相关滤波跟踪方法中由循环采样而导致的边界效应问题。虽然BACF取得了令人瞩目的跟踪性能，但依然存在以下两点缺陷：首先，BACF仅使用单一的HOG特征对目标进行表观建模，特征表达能力有限；其次，BACF在每一帧采用固定方式进行单向的模型更新以适应目标在运动过程中的外观变化，但在应对复杂环境或长时跟踪场景时易由遮挡、目标运动出视野等因素导致模型漂移。因此，BACF跟踪方法在特征表达和抑制模型漂移方面仍有一定的改进空间。

技术实现思路

[0004]为改进现有技术的不足，本专利技术设计了一种基于双模型竞争机制的相关滤波跟踪方法，解决背景感知相关滤波器存在的特征表达能力不足和模型漂移问题，在保证实时跟踪速度的同时，提高跟踪器在复杂环境下的跟踪稳定性。
[0005]技术方案
[0006]一种基于双模型竞争机制的相关滤波跟踪方法，其特征在于步骤如下：
[0007]步骤1：从视频序列中读取第一帧的图像数据以及待跟踪目标的初始位置信息[a
(1)
,b
(1)
,w,h]，其中a和b表示目标中心点的横坐标和纵坐标，w和h表示目标的宽和高，上标
(1)
表示第一帧；
[0008]步骤2：截取以点(a
(1)
,b
(1)
)为中心、边长为的正方形区域对应的图像块，将其从RGB空间转化到HSV颜色空间，对HSV空间的三个通道分别提取31维的HOG特征，并将所有HOG特征拼接起来组成一个93维的特征向量，再通过PCA技术进行特征降维，降维后得到特征通道数为K的特征向量x，K设定为60，则目标静态模板x
static
＝x，初始化目标在第一帧的动态模板
[0009]步骤3：在时域空间，通过求解以下目标函数计算背景感知相关滤波器h：
[0010][0011]式中，y表示预期的相关滤波响应输出，预定义为高斯函数分布，k是通道索引，*表示相关操作，P是一个二值对角矩阵，其作用是让相关操作直接作用到真实的前景和背景上，
τ
表示向量或矩阵的复共轭，λ为正则化参数，λ设定为0.001，式(1)可使用帕斯瓦尔定理转换到频域进行快速计算，即其在频域空间的等价形式为：
[0012][0013][0014]式中，是一个辅助变量，^表示对一个变量的离散傅里叶变换，
⊙
表示对应元素相乘，F是一个标准正交的T
×
T矩阵，用于把任意T维的复基向量映射到频域，式(2)可通过建立增广拉格朗日方程并利用交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)进行迭代求解，求解后得到的即作为静态滤波器，再初始化第一帧时的动态滤波器
[0015]步骤4：读取下一帧图像，即第t帧图像，截取以上一帧的目标中心点(a
(t
‑
1)
,b
(t
‑
1)
)为中心、边长为l的正方形区域对应的图像块，在该图像块上按照步骤2中方法进行特征提取，得到一个特征通道数为K的特征向量x
(t)
，经过傅里叶变换后，其第k个通道的特征向量为
[0016]步骤5：利用式(3)计算静态滤波器和动态滤波器在第t帧的相关滤波响应图和
[0017][0018]式中，表示傅里叶逆变换，表示上一帧第k个通道的动态滤波器；
[0019]步骤6：相关滤波响应图的表现形式为一个二维矩阵，对于任意一个M
×
N的响应图r，其置信度s可计算如下：
[0020][0021]式中，max(r)和min(r)分别表示响应图r中的最大值和最小值，利用式(4)可分别计算得到响应图和的置信度和
[0022]步骤7：当式(5)条件成立时，则确定当前帧跟踪结果的主导模型为动态模型：
[0023][0024]式中，α为平衡因子，α设定为0.84，当不满足式(5)条件时，则当前帧的主导模型为静态模型；
[0025]步骤8：将步骤7中确定的主导模型响应图中最大值对应的坐标位置作为当前帧新的目标中心，记为点(a
(t)
,b
(t)
)，即目标在第t帧的预测位置为以点(a
(t)
,b
(t)
)为中心、w为宽、h为高的矩形区域；
[0026]步骤9：根据新的目标中心点(a
(t)
,b
(t)
)，再次按照步骤2中方法进行特征提取，得到的特征向量记为并利用式(6)计算更新后的目标动态模板
[0027][0028]式中，β为学习率，β设定为0.0125；
[0029]步骤10：将代入到步骤3中的式(1)和式(2)中替换x
k
，按照步骤3中方法再次求解式(2)，得到新的动态滤波器
[0030]步骤11：判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤4继续执行。
[0031]有益效果
[0032]本专利技术以背景感知相关滤波跟踪框架为基础，设计了一种基于双模型竞争机制的相关滤波跟踪方法。一方面，通过融合颜色特征和HOG特征，并结合特征降维技术构造了一种适用于相关滤波框架的特征描述子，该特征描述子用于滤波器的学习可有效地提升模型的特征表达能力和抗干扰能力。另一方面，基于静态模型和动态模型交互作用的方式设计了一种双模型竞争机制，使得动态模型能够根据跟踪结果自适应地进行正向或逆向的更新操作，能够有效地抑制由遮挡等干扰因素导致的模型漂移问题。
[0033]优越性：相比较于基础跟踪方法BACF，本专利技术在特征表达和抑制模型漂移两方面的改进措施显著地提升了跟踪器在应对光照变化、目标形变、运动模糊、遮挡、目标运动出视野等复杂环境时的跟踪准确性和鲁棒性，在OTB2015、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双模型竞争机制的相关滤波跟踪方法，其特征在于步骤如下：步骤1：从视频序列中读取第一帧的图像数据以及待跟踪目标的初始位置信息[a
(1)
,b
(1)
,w,h]，其中a和b表示目标中心点的横坐标和纵坐标，w和h表示目标的宽和高，上标
(1)
表示第一帧；步骤2：截取以点(a
(1)
,b
(1)
)为中心、边长为的正方形区域对应的图像块，将其从RGB空间转化到HSV(Hue，Saturation，Value)颜色空间，对HSV空间的三个通道分别提取31维的HOG(Histogram of Oriented Gradient)特征，并将所有HOG特征拼接起来组成一个93维的特征向量，再通过主成分分析(Principal Components Analysis，PCA)技术进行特征降维，降维后得到特征通道数为K的特征向量x，K设定为60，则目标静态模板x
static
＝x，初始化目标在第一帧的动态模板步骤3：在时域空间，通过求解以下目标函数计算背景感知相关滤波器h：式中，y表示预期的相关滤波响应输出，预定义为高斯函数分布，k是通道索引，*表示相关操作，P是一个二值对角矩阵，其作用是让相关操作直接作用到真实的前景和背景上，表示向量或矩阵的复共轭，λ为正则化参数，λ设定为0.001，式(1)可使用帕斯瓦尔定理转换到频域进行快速计算，即其在频域空间的等价形式为：式中，是一个辅助变量，^表示对一个变量的离散傅里叶变换，
⊙
表示对应元素相乘，F是一个标准正交的T
×
T矩阵，用于把任意T维的复基向量映射到频域，式(2)可通过建立增广拉格朗日方程并利用交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)进行迭代求解，求解后得到的即作为静态滤波器，再初始化第一帧时的动态滤波器步骤4：读...

【专利技术属性】
技术研发人员：林彬，郑劲磊，陈华舟，封全喜，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：