采用分层特征融合方法的连续滤波目标跟踪方法及系统技术方案

本发明专利技术公开了一种采用分层特征融合方法的连续滤波目标跟踪方法及系统，方法包括S1、参数初始化及初始图像采样，获得图像样本；S2、图像样本特征提取及加窗操作，并对加窗后的样本特征进行快速傅里叶变换，得到特征图谱；S3、使用连续相关滤波器对特征图谱进行相关滤波；S4、对连续滤波响应图谱基于响应突变量化和响应评价函数进行响应融合，得到估计的位移信息；S5、尺度滤波及更新目标尺度信息；S6、基于连续滤波理论的滤波器更新；S7、尺度预测滤波器的更新；S8、结束与循环。本发明专利技术通过自适应提取最优特征、充分利用特征信息进行滤波估计，提高算法的总体准确度与鲁棒性。提高算法的总体准确度与鲁棒性。提高算法的总体准确度与鲁棒性。

【技术实现步骤摘要】
采用分层特征融合方法的连续滤波目标跟踪方法及系统


[0001]本专利技术涉及单目视觉下的单目标跟踪方法设计，尤其涉及一种采用分层特征融合方法的连续滤波目标跟踪方法及系统。

技术介绍

[0002]视觉目标跟踪作为计算机视觉研究领域中的重要应用，是当下的研究热点与难点问题。其主要应用场景包括视频监控、自动驾驶、生物医疗、智能家居、人机交互等。目标跟踪作为计算机视觉的分支领域，根据采样媒介不同，可分为单目视觉、多目视觉、特种视觉及系统联合视觉，根据具体应用场景中需求的追踪目标数量，可分为单目标跟踪和多目标跟踪，根据采用方法的种类可分为基于生成式方法的目标跟踪、基于判别式方法的目标跟踪、基于相关滤波方法的目标跟踪和基于深度学习方法的目标跟踪。
[0003]在实际的相关滤波跟踪算法开发过程中，仍存在诸多问题，如1)模型退化问题。背景混乱，目标相似物干扰，尺度及光照变化以及目标遮挡等环境干扰因素，会向目标外貌模型引入噪声，噪声经过积累后则会进一步导致模型退化问题；2)边界效应问题。相关滤波方法普遍采用余弦窗和循环移位结合的方法来提高算法的精度，但余本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.采用分层特征融合方法的连续滤波目标跟踪方法，其特征在于，包括以下步骤：S1、对连续相关滤波算法中涉及到的评价函数效果参数κ、突变响应度量参数δ、调节因子μ进行初始化，根据初始图像的图像矩阵I的给定位置：目标中心点坐标(x
c
,y
c
)和目标边框的长度W和宽度H，对笛卡尔坐标系下的初始图像的图像矩阵I的进行裁剪采样，获得图像样本b；S2、对图像样本b分别提取HOG特征、CN特征和深度特征vgg
‑
2048，HOG特征和CN特征划分为浅层特征，深度特征vgg
‑
2048划分为深层特征；其次对提取的HOG特征γ、CN特征及深度特征vgg
‑
2048z分别进行加窗操作，得到加窗后的样本特征分别为：γ
′
、和z
′
，然后对加窗后的样本特征γ
′
、z
′
分别进行快速傅里叶变换，分别得到HOG特征图谱Γ
′
，CN特征图谱以及深度特征图谱Z
′
；S3、使用连续相关滤波器对HOG特征图谱Γ
′
，CN特征图谱以及深度特征图谱Z
′
分别进行滤波，得到连续滤波响应图谱y，y包括深层特征的响应图谱y
d
和浅层特征的响应图谱y
s
；S4、对连续滤波响应图谱基于响应突变量化和响应评价函数进行响应融合，响应融合公式为：y
β
(t)＝β
d
y
d
(t)+β
s
y
s
(t)；其中，β
d
为深层特征响应系数，β
s
为浅层特征响应系数，y
d
(t)为深层特征的响应图谱，y
s
(t)为浅层特征的响应图谱；在进行响应融合后，为得到目标在当前帧中的位置信息，对连续滤波响应图谱y进行启发式响应评价函数计算，得到估计的位移信息t
*
；S5、尺度滤波及更新目标尺度信息；使用估计的位移信息t
*
对当前帧进行重采样，得到图像样本并进行HOG特征提取和加窗操作，得到用于尺度预测的单个角点特征图谱再使用尺度滤波器h
a
对进行滤波，得到更新后的目标尺度信息S6、使用估计的位移信息t
*
以及更新后的目标尺度信息进行连续相关滤波器更新的重采样，得到重采样HOG特征图谱重采样CN特征图谱及重采样深度特征图谱根据重采样特征图谱对连续相关滤波器进行更新；S7、使用估计的位移信息t
*
以及更新后的目标尺度信息进行尺度滤波器更新的重采样，得到尺度更新重采样HOG特征图谱Γ；根据重采样HOG特征图谱Γ对尺度滤波器应用分式合成更新法进行更新；S8、将步骤S4中估计的位移信息t
*
，步骤S5中更新后的目标尺度信息步骤S6中经过更新的连续相关滤波器以及步骤S7中经过更新的尺度滤波器y
a
进行保留，将估计的位移信息t
*
和更新后的目标尺度信息应用于下一帧的图像中，得到新的图像块样本b
k+1
，带入到步骤S2中，并对接下来的各帧图像都循环执行步骤S2至S7的操作，直到视频序列结束。2.根据权利要求1所述的采用分层特征融合方法的连续滤波目标跟踪方法，其特征在于，步骤S1中初始图像的图像矩阵I裁剪采样的范围为由样本坐标矩阵对X和Y规定出的四边形区域，对目标中心点位于(x
c
,y
c
)，目标尺度信息为S＝[W,H]的图像样本，生成样本坐标
矩阵对X和Y分别为：矩阵对X和Y分别为：获得的图像样本b为：b＝{θ
ij
}；其中，θ
ij
为位于样本坐标矩阵对中第i行，第j列的元素所指示的样本像素值，i＝1,2,
…
,W，j＝1,2,
…
,H，3.根据权利要求1所述的采用分层特征融合方法的连续滤波目标跟踪方法，其特征在于，步骤S2中HOG特征、CN特征和深度特征的提取方法为：(1)HOG特征提取；HOG特征的提取首先要将具有三个颜色通道的R，G，B图像划归为灰度图像，即将位深度为8的图像划归为位深度为2的图像；令该变换为S
f
，则有：其中，S
f
为从实数域上尺度为W
×
H
×
3的矩阵集合映射到实数域上尺度为W
×
H的矩阵集合变换；灰度化后的图像样本b
′
为：b
′
＝S
f
(b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；加入填充因子α>1后，实际提取样本图像大小变为将N
c
×
N
c
大小的像素作为一个单元，将N
b
×
N
b
大小的单元作为一个块，则对单个块而言，其具有的特征层数为以N
s
个像素为步长，则第i层特征γ
i
的尺度为：S(γ
i
)＝[W
s
,H
s
]，其中W
s
＝W/N
s
‑
1，H
s
＝H/N
s
‑
1；针对图像样本其对应的HOG特征图谱为其中，N
c
为单元的像素行列数，N
b
为块的像素行列数；(2)CN特征提取；CN特征将整个颜色空间分为11个种类，将普通图像投影到11维颜色子空间中，即将坐标矩阵对X和Y中坐标指示的像素点放入颜色空间中进行投影运算S
c
，有：其中，S
f
为从实数域上尺度为W
×
H的矩阵集合映射到实数域上尺度为W
×
H
×
11的矩阵集合的变换；进行CN特征提取时，也需要将图像样本进行灰度化，灰度化后的样本图像为：b
′
＝S
f
(b)；CN特征的表达式为：(3)深度特征vgg
...

【专利技术属性】
技术研发人员：伍雪冬，曹百亨，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：