基于自适应正则特征联合时间关联的相关滤波跟踪方法技术

本发明专利技术公开了一种基于自适应正则特征联合时间关联的相关滤波跟踪方法，具体包括如下步骤：步骤1，选取待跟踪视频序列，并初始化该视频序列的第一帧；步骤2，确定目标在跟踪视频序列第二帧的中心位置，并对第二帧中的目标尺度进行估计；步骤3，确定目标在跟踪视频序列第t帧的位置,并对第t帧中的目标尺度进行估计,其中t＞2。本发明专利技术解决了目标在尺度发生变化时，原始加窗会导致滤波器学习到的目标不完整或者背景信息过多的问题。或者背景信息过多的问题。或者背景信息过多的问题。

【技术实现步骤摘要】
基于自适应正则特征联合时间关联的相关滤波跟踪方法


[0001]本专利技术属于机器视觉中的视频图像跟踪
，涉及一种基于自适应正则特征联合时间关联的相关滤波跟踪方法。

技术介绍

[0002]随着计算机技术的飞速发展，目标跟踪成为了计算机视觉研究的热门课题之一。视觉目标跟踪，视觉目标跟踪就是在视频序列的每帧图像中通过一些算法不断标记被跟踪目标的位置，从而获得目标的运动参数，如位置、速度、加速度等，从而进行进一步的处理分析，实现对目标的行为理解，以完成更高级的任务。其作为计算机视觉领域的一个重要分支，在科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域有各种各样的应用，例如智能视频监控、人机交互、机器人和自动驾驶等。相关滤波目标跟踪方法具有处理速度快、跟踪精度高等优点。
[0003]在相关滤波中，提取目标区域的样本特征非常重要，对于提取的特征有以下两种：(1)传统特征，传统特征是人为设定的特征如图像颜色直方图特征、方向梯度直方图特征(HOG)、局部二值模式特征(LBP)；(2)卷积特征，卷积特征是使用深度卷积网络(CNN)提取出的特征，CNN靠后卷积层输出的特征图(称之为深层特征)具有较高的语义信息与平移不变性，对于目标变化来说具有很好的鲁棒性，但对于需要精确定位目标位置的目标跟踪来说，只有深层特征是不够的，因为其空间解析度太低而无法对跟踪目标进行准确定位，而CNN靠前卷基层输出的特征图(称之为浅层特征)具有高空间细节的特点，很有利于目标定位，然而这种特征对于目标外观变化不具有鲁棒性，不利于目标的精确定位。
[0004]现有的相关滤波跟踪方法提取第一帧目标周围矩形区域的特征，基于该特征通过岭回归训练出相关滤波器，对滤波器与特征更新后在后续帧中使用更新过得滤波器与特征对待跟踪帧搜索区域特征进行相关操作，相关操作后会得到响应图，响应图中最大响应值点位置即为目标位置。基于CNN特征的相关滤波则将传统特征替换为多层卷积特征，得到多层相关滤波响应后使用加权融合的方法推断目标位置。
[0005](1)现有技术方法并没有考虑到目标尺度发生变化时，原始加窗会导致滤波器学习到的目标不完整或者背景信息过多，这种滤波器鲁棒性差，跟踪精度低，且可能最终导致跟踪失败。
[0006](2)现有方法对于使用卷积特征的相关滤波目标跟踪方法时，使用对多层相关滤波响应使用加权融合的方法推断目标位置，但其权值每一帧都是固定的，并非自适应权值，这样不能满足跟踪器的需求会降低跟踪器的鲁棒性和精度。

技术实现思路

[0007]本专利技术的目的是提供一种基于自适应正则特征联合时间关联的相关滤波跟踪方法，解决了目标在尺度发生变化时，原始加窗会导致滤波器学习到的目标不完整或者背景信息过多的问题。
[0008]本专利技术所采用的技术方案是，基于自适应正则特征联合时间关联的相关滤波跟踪方法，具体包括如下步骤：
[0009]步骤1，选取待跟踪视频序列，并初始化该视频序列的第一帧；
[0010]步骤2，确定目标在跟踪视频序列第二帧的中心位置，并对第二帧中的目标尺度进行估计；
[0011]步骤3，确定目标在跟踪视频序列第t帧的位置，并对第t帧中的目标尺度进行估计，其中t＞2。
[0012]本专利技术的特点还在于：
[0013]步骤1的具体过程为：
[0014]步骤1.1，人为框定待跟踪视频序列第一帧中的目标区域，得到目标中心位置坐标p1和目标尺度s1，p1＝[x1,y1]T
，其中x1,y1分别为视频序列第一帧目标的中心位置在以图像左上角为原点的x轴和y轴的坐标，s1＝[h1,w1]T
，其中h1,w1是第一帧目标区域的长和宽；
[0015]步骤1.2，根据视频序列第一帧中目标中心位置p1和目标大小s1确定视频序列第一帧训练搜索区域I1；
[0016]步骤1.3，使用卷积神经网络提取视频序列第一帧训练搜索区域I1的分层卷积特征，得到该搜索区域I1的卷积特征为一个(k
×
h1)
×
(k
×
w1)
×
c的矩阵，k
×
h1,k
×
w1分别为卷积特征图的长和宽，c为卷积特征图的通道数，是第一帧由卷积网络第l层提取出的卷积特征，l∈(low，mid，high)，为网络浅层特征，为网络中间层特征，为网络高层特征；
[0017]步骤1.4，根据目标区域大小与第一帧训练搜索区域I1大小对卷积特征进行加窗，加窗后的卷积特征为
[0018]步骤1.5，根据步骤1.4加窗后的卷积特征训练相关滤波器为一个(k
×
h1)
×
(k
×
w1)的矩阵，l与特征层相对应，将训练后的相关滤波器变换到频域，得到
[0019]步骤1.4中加窗的具体过程为：加窗后的总窗函数为余弦窗与高斯窗两种窗函数的叠加，其中：
[0020]余弦窗由第一帧训练搜索区域中卷积特征的尺寸决定，大小不变，则余弦窗函数w
cos
不变化；
[0021]第一帧训练搜索区域高斯窗由如下公式(1)确定：
[0022][0023]其中，(m，n)为高斯窗内每一点的坐标，M＝(k
×
h1)/2，N＝(k
×
w1)/2，δ为调节因子；
[0024]加窗后的总窗函数如下公式(2)所示：
[0025][0026]步骤1.5的具体过程如下：
[0027]令为将在长和宽上分别进行m和n个元素的循环位移后所生成的循环移位样本，每个循环移位样本对应的标签为软标签，由高斯函数产生，ε为高斯方差，此时，采用岭回归来训练相关滤波器α
1l
,如下公式(3)所示：
[0028][0029]公式(3)中，*表示卷积操作，y是大小为h1×
w1的矩阵，该矩阵第m行n列的元素y
m,n
＝y(m，n)＝y，λ为正则化系数，为了加速运算，将公式(3)变换到频域得到如下公式(4)：
[0030][0031]其中，表示第1帧训练搜索区域加窗特征的第i个特征通道，∧为离散傅里叶变换，字母上的横线表示复共轭，
·
为矩阵的哈达玛积，c为特征通道数。
[0032]步骤2的具体过程如下：
[0033]步骤2.1，确定第二帧的检测搜索区域Z2，其中，第二帧的检测搜索区域Z2为在第二帧上以第一帧目标中心p1为中心，以第一帧目标尺度k
×
s1为长和宽裁剪出的矩形区域，k＞1；
[0034]步骤2.2，提取第二帧检测搜索区域Z2的卷积特征该特征为一个(k
×
h1)
×
(k
×
w1)
×
c的矩阵，(k
×
h1,k
×
w1)为特征图的长和宽，c为卷积特征图的通道数，是由卷积网络第l层提取出的卷积特征，l∈(lo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应正则特征联合时间关联的相关滤波跟踪方法，其特征在于：具体包括如下步骤：步骤1，选取待跟踪视频序列，并初始化该视频序列的第一帧；步骤2，确定目标在跟踪视频序列第二帧的中心位置，并对第二帧中的目标尺度进行估计；步骤3，确定目标在跟踪视频序列第t帧的位置，并对第t帧中的目标尺度进行估计，其中t＞2。2.根据权利要求1所述的基于自适应正则特征联合时间关联的相关滤波跟踪方法，其特征在于：所述步骤1的具体过程为：步骤1.1，人为框定待跟踪视频序列第一帧中的目标区域，得到目标中心位置坐标p1和目标尺度s1，p1＝[x1,y1]
T
，其中x1,y1分别为视频序列第一帧目标的中心位置在以图像左上角为原点的x轴和y轴的坐标，s1＝[h1,w1]
T
，其中h1,w1是第一帧目标区域的长和宽；步骤1.2，根据视频序列第一帧中目标中心位置p1和目标大小s1确定视频序列第一帧训练搜索区域I1；步骤1.3，使用卷积神经网络提取视频序列第一帧训练搜索区域I1的分层卷积特征，得到该搜索区域I1的卷积特征f
1l
，f
1l
为一个(k
×
h1)
×
(k
×
w1)
×
c的矩阵，k
×
h1，k
×
w1分别为卷积特征图的长和宽，c为卷积特征图的通道数，f
1l
是第一帧由卷积网络第l层提取出的卷积特征，l∈(low，mid，high)，f
1low
为网络浅层特征，f
1mid
为网络中间层特征，f
1high
为网络高层特征；步骤1.4，根据目标区域大小与第一帧训练搜索区域I1大小对卷积特征f
1l
进行加窗，加窗后的卷积特征为f1′
l
；步骤1.5，根据步骤1.4加窗后的卷积特征f1′
l
训练相关滤波器α
l
，α
l
为一个(k
×
h1)
×
(k
×
w1)的矩阵，l与特征层相对应，将训练后的相关滤波器变换到频域，得到3.根据权利要求2所述的基于自适应正则特征联合时间关联的相关滤波跟踪方法，其特征在于：所述步骤1.4中加窗的具体过程为：加窗后的总窗函数为余弦窗与高斯窗两种窗函数的叠加，其中：余弦窗由第一帧训练搜索区域中卷积特征的尺寸f
1l
决定，f
1l
大小不变，则余弦窗函数w
cos
不变化；第一帧训练搜索区域高斯窗由如下公式(1)确定：其中，(m，n)为高斯窗内每一点的坐标，M＝(k
×
h1)/2，N＝(k
×
w1)/2，δ为调节因子；加窗后的总窗函数如下公式(2)所示：4.根据权利要求3所述的基于自适应正则特征联合时间关联的相关滤波跟踪方法，其特征在于：所述步骤1.5的具体过程如下：
令f1′
l
(m，n)为将f1′
l
在长和宽上分别进行m和n个元素的循环位移后所生成的循环移位样本，每个循环移位样本对应的标签为软标签，由高斯函数产生，ε为高斯方差，此时，采用岭回归来训练相关滤波器α
1l
，如下公式(3)所示：公式(3)中，*表示卷积操作，y是大小为h1×
w1的矩阵，该矩阵第m行n列的元素y
m，n
＝y(m，n)＝y，λ为正则化系数，为了加速运算，将公式(3)变换到频域得到如下公式(4)：其中，表示第一帧帧训练搜索区域加窗特征的第i个特征通道，∧为离散傅里叶变换，字母上的横线表示复共轭，
·
为矩阵的哈达玛积，c为特征通道数。5.根据权利要求4所述的基于自适应正则特征联合时间关联的相关滤波跟踪方法，其特征在于：所述步骤2的具体过程如下：步骤2.1，确定第二帧的检测搜索区域Z2,其中，第二帧的检测搜索区域Z2为在第二帧上以第一帧目标中心p1为中心,以第一帧目标尺度k
×
s1为长和宽裁剪出的矩形区域，k＞1；步骤2.2，提取第二帧检测搜索区域Z2的卷积特征该特征为一个(k
×
h1)
×
(k
×
w1)
×

【专利技术属性】
技术研发人员：刘龙，惠志轩，杨尚其，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：