一种基于分块判别的自适应时空正则化目标跟踪算法制造技术

本发明专利技术属于图像处理技术领域，具体涉及一种基于分块判别的自适应时空正则化目标跟踪算法。本发明专利技术在SRDCF算法的基础上引入分块判别的自适应空间正则化权重，使得出视野和遮挡等干扰条件下滤波器被污染的情况得到了有效的抑制，引入了基于深度感知的前景背景区分技术以及多种互补特征对目标进行的建模，改善了目标对光照变化、低分辨度、复杂背景等干扰的影响；通过时间正则项使跟踪器针对目标形变和快速运动等挑战产生更好的稳定性；在跟踪器中加入了独立的尺度滤波器，使得跟踪器对于目标尺度变化具有良好表现。改进算法在OTB

【技术实现步骤摘要】
一种基于分块判别的自适应时空正则化目标跟踪算法


[0001]本专利技术属于图像处理
，具体涉及一种基于分块判别的自适应时空正则化目标跟踪算法。

技术介绍

[0002]目标跟踪是计算机视觉领域的一个具有挑战性的问题之一，在人机交互，智慧城市以及战场态势感知等诸多热点领域有着广泛的应用。近年来，随着高性能图像处理器等硬件设备的快速发展，目标跟踪领域取得了阶段性的进展，但由于目标存在着背景相似干扰、光照变化、形变、快速运动、旋转、遮挡尺度变化以及图像序列低分辨率等问题的影响，建立一个鲁棒、有效、适用广泛的视觉跟踪系统仍是一个十分艰难的任务。
[0003]2010年，Bolme等人首次将信号处理领域的相关滤波方法引入到视觉目标跟踪领域，提出了MOSSE跟踪算法，利用傅里叶变换使计算速度在频域内得到大幅提升，运行速度超过了600帧/秒，使跟踪领域内的学者看到了相关滤波跟踪器的巨大潜力。此后，更多在此基础上的改进不断被提出，例如，Henriques等人基于循环矩阵理论提出CSK算法，利用中心图像块循环移位近似窗口移位，解决了MOSSE算法中相关滤波器样本不足的问题，并在MOSSE模型的基础上增加了正则项以避免过拟合；接着，Henriques等人又对CSK算法进行了扩展，提出了KCF算法，该算法将31个通道的方向梯度直方图(HOG)特征和核方法加入到相关滤波器，不仅提升了模型的判别能力，还保持了较快的跟踪速度；2014年，Li等人提出了SAMF跟踪算法，该方法可使用7个尺度图像块上进行检测，自适应的对尺度进行调节；同一年，Danelljan等人提出了判别尺度空间(DSST)跟踪算法，该算法创新之处在于将位置估计与尺度估计分开，通过相关滤波运算独立的求解目标位置，而后在求得的位置利用尺度金字塔获取最佳的目标尺度；之后，Martin等人提出了用于视觉跟踪的连续卷积算子(C
‑
COT)算法，与KCF相比，C
‑
COT使用VGG
‑
net深度神经网络提取目标特征，通过插值将不同分辨率的特征图扩展到同一周期，但这使得原本具有速度优势的相关滤波算法速度大幅降低，不再具备实时性。此后又有诸多学者在以上算法的基础上对相关滤波跟踪器存在的抗遮挡能力差、鲁棒性差等问题做出了不同的改进，但边界效应、滤波器退化以及实时性差等问题仍然影响着相关滤波算法的性能。
[0004]基于空间正则化的跟踪算法SRDCF最早由Danelljian等人提出，SRDCF算法提高了滤波器的搜索范围，同时在这个区域内设置一个固定的滤波器惩罚权重，从而使滤波器训练过程中主要集中在中心区域并抑制对于训练阶段而言有效性较低的样本，达到缓解边界效应的目的。但空间正则权重没有与目标建立联系，在形变、旋转和遮挡等跟踪场景下，算法可能无法获取可靠的滤波器惩罚系数。此外，SRDCF算法在相邻两帧滤波器之间没有建立联系，无法有效地解决了滤波器退化的问题，在遮挡和出视野等问题下会造成滤波器受到背景的污染，可能会出现跟踪漂移等问题。

技术实现思路

[0005]针对现有技术存在的不足之处，本专利技术提出了一种基于分块判别的自适应时空正则化目标跟踪算法，该算法解决的技术问题包括：SRDCF算法在遮挡和出视野干扰下滤波器被污染的问题，滤波器在光照变化、低分辨度、复杂背景下稳定性降低的问题，SRDCF算法在快速运动下的跟踪失败难题。
[0006]为了实现上述问题的有效解决，本专利技术采用如下技术方案：
[0007]一种基于分块判别的自适应时空正则化目标跟踪算法，它包括：
[0008]S1、视频或图像序列输入后，获取第一帧中被跟踪目标的信息，初始化跟踪目标框；
[0009]S2、获取首帧输入图像的深度估计结果，将得到的结果进行增强和归一化处理，建立自适应空间正则项初始化权重；
[0010]S3、将跟踪目标框划分为四个子区域，每个区域内分别设置一个子滤波器，当出现遮挡或出视野等强干扰时，在对应子区域上施加一个空间惩罚系数，每个子区域内的惩罚权重都可根据目标当前状态进行自适应调整；
[0011]S4、训练分类器；基于分块判别自适应时空正则化的相关滤波目标跟踪的最终分类器训练公式为：
[0012][0013]式中，x
k
是第k个通道上当前帧提取的目标特征，y是目标在滤波器下理想的高斯响应，μ是时间正则项参数，K是特征提取阶段的总通道数，f是当前帧训练得到的滤波器，f
t
‑1表示上一帧中的滤波器模板，λ1、λ2是正则化参数，φ为基于深度感知的初始参考权重，φ
r
为分块感知参考权重，argmin运算是求取目标函数取最小值时的变量值；转到步骤S5；
[0014]S5、输入第t+1帧图像，使用方向交替乘子法计算目标函数的全局最优解即跟踪目标框的位置信息，输出跟踪结果，重复上述步骤3至步骤6直到跟踪结束。
[0015]本技术方案进一步的优化，所述步骤S2中深度估计模块采用编码器加解码器架构。
[0016]本技术方案进一步的优化，所述步骤S3中空间正则项在跟踪目标框的四个子区域内自适应调整惩罚权重。
[0017]本技术方案进一步的优化，所述步骤S3中四个子区域内的子滤波器独立计算响应峰值旁瓣比，通过设定阈值θ判断来自八个方向的强干扰，
[0018]本技术方案进一步的优化，所述步骤S4中通过深度估计的结果S”与SRDCF算法中空间正则权重W对应元素点乘得到与目标建立密切联系的基于深度感知的初始参考权重。
[0019]本技术方案更进一步的优化，所述步骤S4中时间正则项模块基于在线被动攻击算法。
[0020]区别于现有技术，上述技术方案具有如下优点：
[0021]A)引入基于分块判别的自适应空间正则项，当检测到目标被遮挡或者已出视野等情况时，空间惩罚系数通过精细的划分使得滤波器保留更多的正确样本，对遮挡区域作出精准的惩罚，有效避免了滤波器被污染。
[0022]B)深度估计算法的引入使得跟踪器对于低分辨度图像序列有更好的适应性和准
确度，可有效的区分跟踪框中的前景和背景，提升分类器的性能。
[0023]C)滤波器设置的正方形区域作为搜索区域，其中W和H分别代表跟踪框的宽和高，远大于传统相关滤波器，因此跟踪器具备一定的目标丢失后重新捕获的能力，也可更好的跟踪快速运动目标。
附图说明
[0024]图1是融合深度估计的初始惩罚权重网络结构图；
[0025]图2是遮挡和出视野可以限定的八个方向示意图；
[0026]图3是目标在分块区域内发生遮挡后峰值响应发生变化示意图；
[0027]图4是PBASF跟踪器在OTB
‑
2013数据集几种挑战属性上与其他跟踪器的跟踪性能对比图；
[0028]图5是PBASF算法与基准算法SRDCF跟踪效果定性对比图；
[0029]图6是PBASF与基准算法SRDCF的逐帧中心位置误差对比图。
...

【技术保护点】

【技术特征摘要】
1.一种基于分块判别的自适应时空正则化目标跟踪算法，其特征在于：它包括：S1、视频或图像序列输入后，获取第一帧中被跟踪目标的信息，初始化跟踪目标框；S2、获取首帧输入图像的深度估计结果，将得到的结果进行增强和归一化处理，建立自适应空间正则项初始化权重；S3、将跟踪目标框划分为四个子区域，每个区域内分别设置一个子滤波器，当出现遮挡或出视野等强干扰时，在对应子区域上施加一个空间惩罚系数，每个子区域内的惩罚权重都可根据目标当前状态进行自适应调整；S4、训练分类器，基于分块判别自适应时空正则化的相关滤波目标跟踪的最终分类器训练公式为：式中，x
k
是第k个通道上当前帧提取的目标特征，y是目标在滤波器下理想的高斯响应，μ是时间正则项参数，K是特征提取阶段的总通道数，f是当前帧训练得到的滤波器，f
t
‑1表示上一帧中的滤波器模板，λ1、λ2是正则化参数，φ为基于深度感知的初始参考权重，φ
r
为分块感知参考权重，argmin运算是求取目标函数取最小值时的变量值；S5、输入第t+1帧图像，使用方向交替乘子法计算目标函数的全局最优解即跟踪目标框的位置信息，输出跟踪结果，重复上述步骤3至步骤6直到跟踪结束。2.如权利要求1所述...

【专利技术属性】
技术研发人员：董恩增，张达，佟吉钢，孙磊，杨森，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：