一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法技术

一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，涉及计算机视觉技术。由目标及其上下文构造基本样本，由基本样本的所有循环平移样本构成训练样本，DCF训练多通道相关滤波器的损失函数；在多任务学习中将排它性稀疏正则项与组稀疏正则项整合构造组内‑组间稀疏正则项，在目标跟踪中引入时间一致性约束缓解DCF随时间退化的问题，引入组内‑组间稀疏正则项以及时间正则项定义回归损失函数，学习稀疏相关滤波器；通道剪枝将冗余的滤波器整体去除，根据重要性程度对D通道滤波器排序，选取排序靠前的通道滤波器进行跟踪；构造拉格朗日函数，采用ADMM算法优化回归损失。有效提高滤波器的判别性以及可解释性，精度高，速度快。

【技术实现步骤摘要】
一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法
本专利技术涉及计算机视觉技术，尤其是涉及一种基于稀疏紧凑相关滤波器的快速鲁棒跟踪方法。
技术介绍
人类对外界视频具有很高的视觉感知能力，大脑能够对视频中的运动目标进行快速精准地定位。计算机要模仿人类大脑的视觉感知能力，要在速度和精度上达到人类的水平。视觉跟踪是计算机视觉中的基础性问题，是视觉感知的基础性内容，其速度和精度决定着视觉感知的实时性及精确性。目标跟踪是计算机视觉领域的重要研究方向之一，在智能视频监控、人机交互、机器人导航、虚拟现实、医学诊断、公共安全等领域有着重要的作用。该任务首先在一个视频的初始帧选择感兴趣的目标，然后在接下来的连续帧中，预测目标的状态。此外，目标跟踪是一个颇具挑战性的课题，目标在跟踪过程中往往会发生表观变化(如发生遮挡、形变、旋转等)，同时夹杂着复杂的光照变化、背景中相似目标的干扰以及目标的快速运动等，这些都会使该任务变得困难。近几年，基于相关滤波和深度学习的目标跟踪方法由于其良好的性能成为目前研究的主流方向。基于相关滤波器的方法近几年已成为目标跟踪领域的研究热点之一，该类方法具有较好的速度优势，并在众多数据集和各项比赛中都取得了较好的结果。DCF的提出开启了相关滤波在目标跟踪领域的应用热潮。随后，许多研究者对DCF进行改进。为了处理尺度以及旋转变化，LDES提出相位滤波器在极坐标系中同时对目标的尺度以及旋转角度进行估计；MCPF将相关滤波器有效嵌入粒子滤波跟踪框架之中以处理目标跟踪过程中的尺度变化。为了有效缓解滤波器的空间边界效应问题，DSARCF和ASRCF分别在滤波器学习中引入动态显著性响应图和自适应空间响应图来对滤波器系数进行自适应加权。为了有效缓解滤波器随时间退化的问题，STRCF与LADCF在滤波器学习中引入时间正则项以进行鲁棒快速的目标跟踪。为了采用更多的样本对滤波器进行训练，CACF和BACF分别将上下文样本和背景样本用于训练相关滤波器，保证实时的同时大幅度提升了精度。为了选择更具鲁棒性和更具判别力的特征，HCF将VGG-Net中提取的多层深度特征应用于相关滤波跟踪框架之中，通过多层响应图的融合以实现精确鲁棒的跟踪。GFSDCF联合特征选择以及滤波器学习，使得学习到的滤波器判别能力更强，能够有效缓解过拟合的问题，提高目标跟踪的精度。ECO采用一个分解矩阵来对原始深度特征进行有效压缩，以训练连续卷积滤波器，从而实现高效精确的目标跟踪。为了增强响应图的判别性，LMCF将相关滤波器引入到Struck跟踪框架之中，充分地利用了相关滤波的速度快的特点以及Struck具有很强区分能力的特点，实现快速鲁棒的跟踪。近年来，基于深度学习的方法以其较高的精度优势成为目标跟踪领域的另一个研究热点。目前，基于深度学习的目标跟踪方法可以大致分为两大类：第一类基于深度学习的方法是通过构建一个深度网络，选择样本进行离线训练，通过在线微调网络以实现目标跟踪，代表性方法是MDNET。基于MDNET的跟踪框架，VITAL通过对抗学习来维护跟踪过程中鲁棒性好的特征，ADNET通过强化学习预测跟踪过程中目标的各种状态以适应复杂的跟踪环境。这类方法的跟踪精度比较高，但很难达到实时。第二类是将目标跟踪问题转化为实例检索问题，实例检索所用的匹配函数由外部的视频数据离线训练而得。SINT和SiamFC通过离线训练孪生网络来解决深度相似性度量问题；DCFNet和CFNet在孪生网络中添加可微分的相关滤波层来训练端对端的适用于相关滤波的特征表达；EAST在孪生网络中引入强化学习来自适应地选择某一层的深度特征来实现快速鲁棒的跟踪；SiamRPN在孪生网络中进一步引入RPN网络以有效地处理跟踪过程中目标的尺度以及长宽比变化。这种离线训练的方法大多能够达到实时，但其精度则依赖于训练所用的网络和数据。
技术实现思路
本专利技术的目的在于提供可有效缓解传统相关滤波器过拟合以及计算复杂度高等问题，提高算法对遮挡、形变、旋转以及背景干扰鲁棒性的一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法。本专利技术包括以下步骤：1)对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数；2)在多任务学习中，将排它性稀疏正则项与组稀疏正则项整合到一起构造组内-组间稀疏正则项，在目标跟踪中，基于DCF的跟踪器在滤波器学习中引入时间一致性约束来缓解DCF随时间退化的问题，引入组内-组间稀疏正则项以及时间正则项定义回归损失函数，以学习稀疏相关滤波器；3)基于步骤2)定义的回归损失函数进行通道剪枝，将冗余的滤波器整体去除，以进一步加速计算过程，通过去除某个特定通道的滤波器来计算回归损失的变化；根据重要性程度对D通道滤波器进行排序，选取排序靠前的C个通道滤波器进行跟踪；4)构造拉格朗日函数，采用ADMM算法优化回归损失，完成基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪。在步骤1)中，所述对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数的具体方法可为：在第t帧，对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数定义如下：其中，为循环卷积运算符号，Xt∈RM×N×D和Wt∈RM×N×D为第t帧的基本样本和滤波器，Y∈RM×N为由高斯函数确定的标签，M、N和D为分别表示宽度、高度和通道数，ξ为正则项参数；滤波器学习的目标是最小化损失函数在公式(1)中，表示基本样本的多通道特征均被用来训练多通道相关滤波器。在步骤2)中，所述在多任务学习中，将排它性稀疏正则项与组稀疏正则项整合到一起构造组内-组间稀疏正则项，如下所示：其中，表示Wt中位于(m,n)位置的向量，表示Wt中位于(m,n,d)位置的元素，θ为权重参数用以平衡排它性稀疏与组稀疏正则项；组稀疏在通道上进行l2范数然后在空间上进行l1范数，用于去除空间上冗余的特征，使得滤波器在空间上稀疏；排它性稀疏在通道上进行l1范数然后在空间上进行l2范数，用于去除通道上冗余的特征，使得滤波器在通道上稀疏；在目标跟踪中，基于DCF的跟踪器在滤波器学习中引入时间一致性约束来缓解DCF随时间退化的问题，引入的时间正则项如下所示：其中，Wt-1表示第t-1帧的滤波器；引入组内-组间稀疏正则项REG(Wt)以及时间正则项RT(Wt)定义回归损失函数，以学习稀疏相关滤波器，回归损失函数如下所示：其中，λ和μ分别为REG(Wt)和RT(Wt)的正则项参数。在步骤2)中，公式(2)中所述权重参数θ＝0.2，公式(4)中所述正则项参数λ＝1.0×10-4，μ＝5。在步骤3)中，所述基于步骤2本文档来自技高网...

【技术保护点】
1.一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于包括以下步骤：/n1)对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数；/n2)在多任务学习中，将排它性稀疏正则项与组稀疏正则项整合到一起构造组内-组间稀疏正则项，在目标跟踪中，基于DCF的跟踪器在滤波器学习中引入时间一致性约束来缓解DCF随时间退化的问题，引入组内-组间稀疏正则项以及时间正则项定义回归损失函数，以学习稀疏相关滤波器；/n3)基于步骤2)定义的回归损失函数进行通道剪枝，将冗余的滤波器整体去除，以进一步加速计算过程，通过去除某个特定通道的滤波器来计算回归损失的变化；根据重要性程度对D通道滤波器进行排序，选取排序靠前的C个通道滤波器进行跟踪；/n4)构造拉格朗日函数，采用ADMM算法优化回归损失，完成基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪。/n

【技术特征摘要】
1.一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于包括以下步骤：
1)对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数；
2)在多任务学习中，将排它性稀疏正则项与组稀疏正则项整合到一起构造组内-组间稀疏正则项，在目标跟踪中，基于DCF的跟踪器在滤波器学习中引入时间一致性约束来缓解DCF随时间退化的问题，引入组内-组间稀疏正则项以及时间正则项定义回归损失函数，以学习稀疏相关滤波器；
3)基于步骤2)定义的回归损失函数进行通道剪枝，将冗余的滤波器整体去除，以进一步加速计算过程，通过去除某个特定通道的滤波器来计算回归损失的变化；根据重要性程度对D通道滤波器进行排序，选取排序靠前的C个通道滤波器进行跟踪；
4)构造拉格朗日函数，采用ADMM算法优化回归损失，完成基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪。


2.如权利要求1所述一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于在步骤1)中，所述对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数的具体方法为：
在第t帧，对于给定的目标，由目标及其上下文构造一个基本样本，训练样本由这个基本样本的所有循环平移样本构成，这些循环平移样本的标签由高斯函数确定，DCF训练多通道相关滤波器的损失函数定义如下：



其中，为循环卷积运算符号，Xt∈RM×N×D和Wt∈RM×N×D为第t帧的基本样本和滤波器，Y∈RM×N为由高斯函数确定的标签，M、N和D为分别表示宽度、高度和通道数，ξ为正则项参数；滤波器学习的目标是最小化损失函数在公式(1)中，表示基本样本的多通道特征均被用来训练多通道相关滤波器。


3.如权利要求1所述一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于在步骤2)中，所述在多任务学习中，将排它性稀疏正则项与组稀疏正则项整合到一起构造组内-组间稀疏正则项，如下所示：



其中，表示Wt中位于(m,n)位置的向量，表示Wt中位于(m,n,d)位置的元素，θ为权重参数用以平衡排它性稀疏与组稀疏正则项；
组稀疏在通道上进行l2范数然后在空间上进行l1范数，用于去除空间上冗余的特征，使得滤波器在空间上稀疏；排它性稀疏在通道上进行l1范数然后在空间上进行l2范数，用于去除通道上冗余的特征，使得滤波器在通道上稀疏。


4.如权利要求3所述一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于权重参数θ＝0.2。


5.如权利要求1所述一种基于稀疏紧凑相关滤波器的快速鲁棒目标跟踪方法，其特征在于在步骤2)中，在目标跟踪中，基于DCF的跟踪器在滤波器学习中引入时间一致性约束来缓解DCF随时间退化的问题，引入的时间正则项如下所示：



其中，Wt-1表示第t-1帧的滤波器；
引入组内-组间稀疏正则项REG(Wt)以及时间正则项RT(Wt)定义回归损失函数，以学习稀疏相关滤波器...

【专利技术属性】
技术研发人员：王菡子，梁艳杰，熊逻，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35