自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法技术

自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法，涉及计算机视觉技术。将弹性网络和时间一致性约束同时引入到相关滤波学习中，能够自适应地选择判别性特征抑制干扰特征，同时，能够将模型的学习与更新结合在一起，能够有效地缓解传统相关滤波器判别性不强以及随时间退化的问题，提高算法对遮挡、形变、旋转以及背景干扰的鲁棒性。通过弹性网络和时间一致性约束，相关滤波器自适应地选择时间上连续的、具有区域特性的判别性特征。推导出的相关滤波学习问题能够通过ADMM求解，仅仅用少数几次迭代就能高效地求解该问题。能够取得较好的性能，精度高，速度快。

Adaptive feature selection and time-consistent robust correlation filtering for visual tracking

The method of adaptive feature selection and time-consistent robust correlation filtering for visual tracking involves computer vision technology. By introducing elastic network and time consistency constraints into the learning of correlation filtering, discriminant features can be adaptively selected to suppress interference features. At the same time, the learning and updating of models can be combined to effectively alleviate the problem of weak discriminability and time degradation of traditional correlation filters, and improve the algorithm for occlusion, deformation, rotation and background interference. Robustness. Through elastic networks and time consistency constraints, correlation filters adaptively select discriminant features with continuous time and regional characteristics. The derived correlation filtering learning problem can be solved by ADMM, and it can be solved efficiently with only a few iterations. It can achieve better performance, high precision and fast speed.

【技术实现步骤摘要】
自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
本专利技术涉及计算机视觉技术，尤其是涉及一种自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法。
技术介绍
人类对外界视频具有很高的视觉感知能力，大脑能够对视频中的运动目标进行快速精准地定位。计算机要模仿人类大脑的视觉感知能力，就要能够在速度和精度上达到人类的水平。视觉跟踪是计算机视觉中的基础性问题，是视觉感知的基础性内容，其速度和精度决定着视觉感知的实时性及精确性。目标跟踪是计算机视觉领域的重要研究方向之一，在智能视频监控、人机交互、机器人导航、虚拟现实、医学诊断、公共安全等领域有着重要的作用。该任务首先在一个视频的初始帧选择感兴趣的目标，然后在接下来的连续帧中，预测目标的状态。此外，目标跟踪是一个颇具挑战性的课题，目标在跟踪过程中往往会发生表观变化(如发生遮挡，形变，旋转等)，同时夹杂着复杂的光照变化、背景中相似目标的干扰以及目标的快速运动等，这些都会使该任务变得困难。近几年，基于相关滤波和深度学习的目标跟踪方法由于其良好的性能成为目前研究的主流方向。基于相关滤波的方法近几年已成为目标跟踪领域的研究热点之一，该类方法具有较好的速度优势，并在标准数据集和各项比赛中都取得了较好的结果。KCF的提出开启了相关滤波在目标跟踪领域的应用热潮。随后，许多研究者对KCF进行改进。为了处理尺度变化，DSST额外训练一个1D相关滤波器来进行尺度估计。为了缓解边界效应，SRDCF和CSR-DCF分别引入空间正则项和空间响应图来惩罚位于目标区域外面的相关滤波系数；CACF将上下文构成的样本与原来的目标样本一起用于训练相关滤波器，保证实时的同时大幅度提升了精度。为了增强响应图的峰值，RCF和PCF在滤波器训练时分别引入不同的损失项和正则项。在特征鲁棒性方面，Staple将互补的颜色直方图和HOG特征有效地融合在一起，实现鲁棒实时的跟踪。为了实现长程的跟踪，研究者提出了LCT和MUSTer,分别采用在线训练的SVM分类器和特征点匹配方法来实现目标的重检测。近两年，一些研究者将相关滤波方法与其它跟踪方法相结合来实现优势互补。LMCF将相关滤波引入到Struck跟踪框架之中，充分地利用了相关滤波的速度快的特点以及Struck具有很强区分能力的特点，实现快速鲁棒的跟踪；MCPF将相关滤波引入到粒子滤波的跟踪框架之中来有效地解决尺度变化问题。此外，C-COT和ECO将离散的相关滤波器扩展为连续的卷积滤波器，实现精确的跟踪，其中ECO是C-COT的改进版本。本专利技术属于相关滤波类的目标跟踪方法。近年来，基于深度学习的方法以其较高的精度优势成为目标跟踪领域的另一个研究热点。目前，基于深度学习的目标跟踪方法可以分为三类：第一类是通过预训练的CNN中提取深度特征，将其应用到现有的跟踪方法之中，以提高跟踪性能。其中，DeepSRDCF将从VGG-Net-16中提取的第一层深度特征应用于SRDCF，HCF将VGG-Net-19中提取的多层深度特征应用于相关滤波跟踪框架之中，通过多层响应图的融合实现目标跟踪。通过CNN提取的特征，具有更好的表达性，优于传统的HOG与ColorNaming特征，但其计算复杂度较高。第二类是将目标跟踪问题转化为实例检索问题，实例检索所用的匹配函数由外部的视频数据离线训练而得。SINT和SiamFC通过离线训练孪生网络来解决深度相似性度量问题；CFNet在孪生网络中添加可微分的相关滤波层来训练端对端的适用于相关滤波的特征表达；DSiam用连续的图像序列训练一个动态的孪生网络来适应跟踪过程中的表观变化以及背景干扰；EAST在孪生网络中引入强化学习来自适应地选择某一层的深度特征来实现快速鲁棒的跟踪。这种离线训练的方法大多能够达到实时，但其精度则依赖于训练所用的网络和数据。第三类基于深度学习的方法是通过构建一个深度网络，选择样本进行离线训练，通过在线微调网络以实现目标跟踪，代表性方法是MDNET。此外，SANET通过RNN来区分相似目标干扰，ADNet通过强化学习以适应复杂的跟踪环境。这类方法的跟踪性能较传统的跟踪方法都有较大的提升，但很难达到实时目标跟踪的效果。本专利技术属于第一类基于深度学习的目标跟踪方法。
技术实现思路
本专利技术的目的在于提供自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法。本专利技术包括以下步骤：1)在第t帧，给定定位到的目标，由目标及其周围背景构造基本样本，训练样本由基本样本的所有循环平移样本构成，相应的标签由高斯函数确定，回归器训练如下：其中，*为卷积运算符号，xt和ft为第t帧的训练样本和滤波器，y为由高斯函数确定的标签，D为特征的维数；2)由于从样本中提取的所有特征(包含判别性的特征与干扰特征)都用于训练步骤1)中的回归器，为了选择判别性的特征同时抑制干扰特征，所以在步骤1)中的回归器中引入稀疏约束以实现像素级别的特征选择，从而得到具有稀疏约束的回归器如下：其中，||·||1表示l1范数，λ1为相应的正则项参数；3)在视觉跟踪中，由于判别性特征和干扰特征往往集中在某几个区域，为了让这些特征具有区域分布特性，因此在步骤2)中的回归器中引入平方约束用于提升回归器的鲁棒性能，从而得到具有弹性网络约束的回归器如下：其中，||·||2表示l2范数，λ2为相应的正则项参数；4)在视觉跟踪中，相邻帧之间的回归器具有时间一致的特性，为了充分利用这一特性，因此在步骤3)中的回归器中引入时间一致性约束，从而得到具有弹性网络约束和时间一致性约束的回归器如下：其中，ft-1为第t-1帧学习得到的相关滤波器，μ为时间正则项参数。5)对步骤4)中的回归器(相关滤波器)进行求解，引入辅助变量，通过交替方向乘子法(ADMM)，将待求解的问题分解为3个子问题，每个子问题都有闭式解，通过少数几次迭代优化，从而得到回归器(相关滤波器)的解，具体实现过程如下：首先引入辅助变量待优化的问题转换如下：然后，采用增广拉格朗日乘子法将等式约束引入到目标函数中如下：其中，ht为拉格朗日乘子，γ为惩罚因子，由于L(ft,gt,ht)是凸的，因此能够采用ADMM来交替地优化以下的子问题：子问题ft：给定gt和ht，采用帕塞瓦尔定利将这个子问题由空域转换到频域如下所示：其中，表示相应变量的离散傅里叶变换；在上式中，相关滤波和训练样本的第k个向量(每个向量由D通道的元素构成)生成标签中的第k个元素，令pk(·)表示相应变量的第k个向量，该子问题转换如下所示：对上式求导令其等于零可得：其中，由于是秩为1的矩阵，该子问题能够通过Sherman-Morrison公式高效计算而得：子问题gt：给定ft和ht，采用迭代阈值收缩算法来求解该子问题，全局最优解如下所示：其中，σ(·,·)表示收缩运算子；子问题ht：给定ft和gt，计算(公式七)中的第3个等式并且更新惩罚因子如下所示：γi＝max(γmin,ργi-1)(公式十三)其中，γmin是γ的最小值，ρ为尺度因子，当i＝1时，γ0＝γini；6)对于第t+1帧视频，以第t帧定位到的目标为中心，在多个尺度上构造测试样本，用学习到的相关滤波器进行检测，从而得到第t+1帧视频的目标状态，具体实现过程如下：首先，以上一帧目标的位置为中心，裁剪多尺度区域，提取多通道特本文档来自技高网...

【技术保护点】
1.自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法，其特征在于包括以下步骤：1)在第t帧，给定定位到的目标，由目标及其周围背景构造基本样本，训练样本由基本样本的所有循环平移样本构成，相应的标签由高斯函数确定，回归器训练如下：

【技术特征摘要】
1.自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法，其特征在于包括以下步骤：1)在第t帧，给定定位到的目标，由目标及其周围背景构造基本样本，训练样本由基本样本的所有循环平移样本构成，相应的标签由高斯函数确定，回归器训练如下：其中，*为卷积运算符号，xt和ft为第t帧的训练样本和滤波器，y为由高斯函数确定的标签，D为特征的维数；2)由于从样本中提取的所有特征包含判别性的特征与干扰特征，都用于训练步骤1)中的回归器，为了选择判别性的特征同时抑制干扰特征，所以在步骤1)中的回归器中引入稀疏约束以实现像素级别的特征选择，从而得到具有稀疏约束的回归器如下：其中，||·||1表示l1范数，λ1为相应的正则项参数；3)在视觉跟踪中，由于判别性特征和干扰特征往往集中在某几个区域，为了让这些特征具有区域分布特性，因此在步骤2)中的回归器中引入平方约束用于提升回归器的鲁棒性能，从而得到具有弹性网络约束的回归器如下：其中，||·||2表示l2范数，λ2为相应的正则项参数；4)在视觉跟踪中，相邻帧之间的回归器具有时间一致的特性，为了充分利用这一特性，因此在步骤3)中的回归器中引入时间一致性约束，从而得到具有弹性网络约束和时间一致性约束的回归器如下：其中，ft-1为第t-1帧学习得到的相关滤波器，μ为时间正则项参数；5)对步骤4)中的回归器进行求解，引入辅助变量，通过交替方向乘子法，将待求解的问题分解为3个子问题，每个子问题都有闭式解，通过少数几次迭代优化，从而得到回归器的解，具体实现过程如下：首先引入辅助变量待优化的问题转换如下：然后，采用增广拉格朗日乘子法将等式约束引入到目标函数中如下：其中，ht为拉格朗日乘子，γ为惩罚因子，由于L(ft,gt,ht)是凸的，因此采用ADMM来交替地优化以下的子问题：子问题ft：给定gt和ht，采用帕塞瓦尔定利将这个子问题由空域转换到频域如下所示：其中，表示相应变量的离散...

【专利技术属性】
技术研发人员：王菡子，梁艳杰，严严，刘祎，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35