一种基于尺度自适应和遮挡检测的视觉目标跟踪方法技术

本发明专利技术涉及一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，包括：根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，并提取不同层的卷积特征作为样本特征图；在每一层特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置；在目标位置处采集不同尺寸的样本，并调整至相同尺寸，经过尺度滤波器得到尺度响应，其最大值对应的尺度即为当前帧的最佳尺度；计算响应总图的峰值旁瓣比，判断目标是否发生遮挡；当目标发生遮挡时，利用时空上下文模型重新确定目标位置；更新模型，为下一帧目标位置和尺寸的确定做准备。本发明专利技术提高了视觉目标跟踪的精确度和鲁棒性。

【技术实现步骤摘要】
一种基于尺度自适应和遮挡检测的视觉目标跟踪方法
本专利技术涉及视觉目标跟踪
，特别是涉及一种基于尺度自适应和遮挡检测的视觉目标跟踪方法。
技术介绍
视觉目标跟踪是计算机视觉中一项具有挑战性的任务，它被广泛应用于视频监控、人机交互、医学成像和机器人学。视觉目标跟踪在视频的第一帧给出目标的位置和边界框，然后估计之后每一帧的目标位置和边界大小。由于目标在视频中容易发生外观变化，诸如尺度变化、遮挡、光照变化、旋转等，因此现阶段还没有任何一种目标跟踪方法可以适应于所有的跟踪场景。目前在视觉目标跟踪研究中，使用的特征主要是手工设计特征，如梯度直方图(histogramoforientationgradients，HOG)特征、颜色名称(colornames，CN)特征等，和单层或少层卷积特征，它们对样本没有足够强的表示能力。同时，大多数的视觉目标跟踪方法都采用固定大小的边界框来跟踪目标，不能解决尺度变化的问题。此外，在处理目标遮挡的问题上，现存的视觉目标跟踪方法缺乏一种能够有效检测遮挡的机制来判断目标遮挡的发生，进而避免跟踪模板的污染和算法计算复杂度的提高，实现对遮挡的处理和目标位置的重新确定。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，能够解决目标尺度变化和遮挡的问题，进而提高视觉目标跟踪的精确度和鲁棒性。本专利技术解决其技术问题所采用的技术方案是：提供一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，包括以下步骤：(1)根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，并提取不同层的卷积特征作为样本特征图；(2)在每一层样本特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置；(3)在目标位置处采集不同尺寸的样本，并调整至相同尺寸，经过尺度滤波器得到尺度响应，其最大值对应的尺度即为当前帧的最佳尺度；(4)计算响应总图的峰值旁瓣比，判断目标是否发生遮挡；(5)当目标不发生遮挡时，不更新目标位置，当目标发生遮挡时，利用时空上下文模型重新确定目标位置；(6)更新模型，为下一帧目标位置和尺寸的确定做准备。所述步骤(1)中的提取不同层的卷积特征具体为：将裁剪的图像块输入预训练的VGGNet-19卷积神经网络，分别提取conv1-2，conv2-2，conv3-4，conv4-4和conv5-4层的卷积特征作为样本的特征图，每一层的特征图的尺寸相同。所述步骤(2)具体为：利用上一帧第l层的样本特征图x构建非线性岭回归模型，学习核相关滤波器w；在当前帧到来时，同样提取第l层的样本特征图z，进而求得该层的响应图fl；采用将fl线性叠加的方法得到响应总图f，其最大值的位置即为当前帧的目标位置；所述线性叠加的方法为：其中，μl为第l层响应图的权重。所述步骤(3)具体为：首先在上一帧的目标位置处采集N个样本，N为奇数，每个样本的尺寸为RrP×RrQ，其中，P×Q表示上一帧的目标尺寸，Rr表示集合R中第r个元素，u为尺度乘子；然后将不同尺度的样本放缩至相同尺寸，并将其均调整为一维向量；最后经过尺度滤波器得到尺度响应ys，进而得到当前帧的最佳尺度所述步骤(4)具体为：计算响应总图f的峰值旁瓣比，其中，mp为响应总图f的峰值，μsl和σsl分别为旁瓣的均值和标准差；当PSR≥τ时，判定目标不发生遮挡；当PSR＜τ时，判定目标发生遮挡，τ为设定的阈值。所述步骤(5)中时空上下文模型为：其中和分别表示第t-1帧的时空上下文模型和空间上下文模型，ρ是学习率，为目标可能出现的位置；其中，表示离散傅里叶变换，表示离散傅里叶反变换，b是正则化参数，t*为上一帧确定的目标位置，γ是尺度参数，δ是形状参数，I(t)为t位置处的灰度值；其中，a是正则化参数，ε是尺度参数。所述步骤(6)中更新模型包括更新核相关滤波、尺度和时空上下文模型。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术使用了比手工设计特征和单层或少层卷积特征有更强表示能力的多层卷积特征来表示样本，融入了尺度自适应机制，提出了新的目标遮挡检测和解决的方案。本专利技术和传统方法相比能够解决目标尺度变化和遮挡的问题，进而提高视觉目标跟踪的精确度和鲁棒性。附图说明图1是本专利技术的流程图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，如图1所示，包括以下步骤：根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，并提取不同层的卷积特征作为样本特征图；在每一层特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置；在目标位置处采集不同尺寸的样本，并调整至相同尺寸，经过尺度滤波器得到尺度响应，其最大值对应的尺度即为当前帧的最佳尺度；计算响应总图的峰值旁瓣比，判断目标是否发生遮挡；当目标不发生遮挡时，不更新目标位置，当目标发生遮挡时，利用时空上下文模型重新确定目标位置；更新模型，为下一帧目标位置和尺寸的确定做准备。具体如下：步骤1、根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，将图像块做预处理操作：首先将图像块尺寸调整为225×225像素大小，然后求出所有像素点的像素均值，再用每个像素点的像素值减去像素均值得到归一化的图像块。将预处理后的图像块输入已去除全连接层和分类层的预训练的VGGNet-19卷积神经网络，分别提取conv1-2，conv2-2，conv3-4，conv4-4和conv5-4层的卷积特征作为样本的特征图，每一层特征图的尺寸均为MND。步骤2、在每一层特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置。具体步骤如下：步骤2.1、在当前帧目标位置处采集训练样本，训练核相关滤波器。x为训练样本第l层的特征图，w为对应层的核相关滤波器，其它各层类似。我们通过最小化带有L2约束的平方误差来求解核相关滤波器w：其中，||·||表示L2范数；·表示内积；表示从线性空间到非线性空间的映射；xm,n为x沿M和N方向的循环移位样本，(m,n)∈{0,1,...,M-1}×{0,1,...,N-1}；高斯函数标签σ为核化带宽；λ为正则化参数。公式(1)的结果w可以用样本的线性组合来计算，即其中α是系数。于是将求解w转化为求解α，进而可得其中，表示离散傅里叶变换(discretfouriertransform，DFT)，表示离散傅里叶反变换，y＝{y(m,n)|(m,n)∈{0,1,2,...,M-1}×{0,1,2,...,N-1}}。在这里采用高斯核来计算内积其中，σk是核带宽，⊙表示哈达玛(Hadamard)积，表示复共轭。步骤2.2、当下一帧到来时，在上一帧目标位置处采集测试样本(z为测试样本第l层的特征图)，通过前一帧训练的该层的核本文档来自技高网...

【技术保护点】
1.一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，其特征在于，包括以下步骤：(1)根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，并提取不同层的卷积特征作为样本特征图；(2)在每一层样本特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置；(3)在目标位置处采集不同尺寸的样本，并调整至相同尺寸，经过尺度滤波器得到尺度响应，其最大值对应的尺度即为当前帧的最佳尺度；(4)计算响应总图的峰值旁瓣比，判断目标是否发生遮挡；(5)当目标不发生遮挡时，不更新目标位置，当目标发生遮挡时，利用时空上下文模型重新确定目标位置；(6)更新模型，为下一帧目标位置和尺寸的确定做准备。

【技术特征摘要】
1.一种基于尺度自适应和遮挡检测的视觉目标跟踪方法，其特征在于，包括以下步骤：(1)根据上一帧确定的目标位置和尺寸，在当前帧裁剪出图像块，并提取不同层的卷积特征作为样本特征图；(2)在每一层样本特征图上采用核相关滤波方法得到响应图，然后将不同层的响应图线性叠加得到响应总图，其最大值所对应的位置即为当前帧的目标位置；(3)在目标位置处采集不同尺寸的样本，并调整至相同尺寸，经过尺度滤波器得到尺度响应，其最大值对应的尺度即为当前帧的最佳尺度；(4)计算响应总图的峰值旁瓣比，判断目标是否发生遮挡；(5)当目标不发生遮挡时，不更新目标位置，当目标发生遮挡时，利用时空上下文模型重新确定目标位置；(6)更新模型，为下一帧目标位置和尺寸的确定做准备。2.根据权利要求1所述的基于尺度自适应和遮挡检测的视觉目标跟踪方法，其特征在于，所述步骤(1)中的提取不同层的卷积特征具体为：将裁剪的图像块输入预训练的VGGNet-19卷积神经网络，分别提取conv1-2，conv2-2，conv3-4，conv4-4和conv5-4层的卷积特征作为样本的特征图，每一层的特征图的尺寸相同。3.根据权利要求1所述的基于尺度自适应和遮挡检测的视觉目标跟踪方法，其特征在于，所述步骤(2)具体为：利用上一帧第l层的样本特征图x构建非线性岭回归模型，学习核相关滤波器w；在当前帧到来时，同样提取第l层的样本特征图z，进而求得该层的响应图fl；采用将fl线性叠加的方法得到响应总图f，其最大值的位置即为当前帧的目...

【专利技术属性】
技术研发人员：冯帆，沈波，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31