一种基于新型响应图融合的目标跟踪方法技术

一种基于新型响应图融合的目标跟踪方法，以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，生成相应的训练标记图，进行深度回归模型的训练，使得预设的损失函数最小，得到训练好的深度回归模型；以前一帧预测的目标物体的位置为中心，裁剪出同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，响应图的最大值代表预测的目标物体的位置；当获得目标物体的位置之后，对目标物体的大小进行尺度估计；由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复上述预测后续每一帧中目标的位置和尺寸。本发明专利技术能够更加准确地定位目标位置，从而提高目标跟踪的准确性。

A target tracking method based on new response graph fusion

【技术实现步骤摘要】
一种基于新型响应图融合的目标跟踪方法
本专利技术涉及一种目标跟踪方法。特别是涉及一种基于新型响应图融合的目标跟踪方法。
技术介绍
目标跟踪是计算机视觉算法中很有前途但又困难的研究领域，它因为在自动驾驶、交通流量监控、监视和安全、人机交互和医疗诊断系统等方面的广泛应用而赢得了广泛的赞誉。由于机遇和不同的跟踪挑战，目标跟踪是计算机视觉的一个活跃研究领域。在过去的几十年中，许多研究团队做出了巨大的努力，但是目标跟踪仍然有很大的潜力去进一步探索。目标跟踪的困难在于无数的挑战，例如遮挡、背景杂乱、光照变化、尺度变化、低分辨率、快速运动、视线消失、运动模糊、变形。判别相关过滤器(DCF)在各种计算机视觉应用中得到积极利用，包括对象识别、图像配准、面部验证和动作识别。在目标跟踪中，许多算法使用相关过滤器来提高鲁棒性和有效性。最初，训练的需求使得相关滤波器不适合进行在线跟踪。在随后的几年中，误差最小平方和滤波器MOSSE[1]的发展改变了这种情况，它允许有效的自适应训练，它的目标是使傅里叶域中期望输出与实际输出之间的误差平方之和最小。传统说来，设计相关滤波器进行推理的目的是产生响应图，该响应图的场景中背景值较低而感兴趣区域值较高。一种这样的算法是带有内核的循环结构CSK跟踪器[2]，它利用目标外观的循环结构并使用核正则化的最小二乘法进行训练。核化的相关滤波器KCF算法[3]使用高斯核函数执行目标跟踪，以区分目标物体与其周围环境。得益于卷积神经网络CNN功能的强大表现，基于相关滤波器的跟踪器已经实现了卓越的性能。但是，基于傅立叶域中的相关优化容易受到边界效应的影响，与传统的基于相关滤波器的跟踪器不同，深度回归跟踪器尝试通过空间域中的梯度下降来获得近似解。他们将相关滤波器公式化为卷积运算，并构建了典型的卷积神经网络中使用的单通道输出卷积层。FCNT[4]通过利用特征图选择策略，引入了一种完全卷积网络来利用多个CNN特征。Siamese[5]网络将两个输入连接起来并产生一个输出，目的是确定输入到网络的两个图像块中是否存在相同的对象。DSLT[6]学习跨多个卷积层的残差并使用收缩损失函数解决样本不平衡问题。用于目标跟踪的卷积残差学习算法CREST[7]利用残差学习来适应目标外观，并通过搜索不同尺度的图像块来进行尺度估计。然而，目前的基于深度回归模型的目标跟踪方法，所使用的传统响应图融合方法都是通过简单的相加或者相乘的融合方式，这种融合方式对于目标运动超出视野外、旋转、遮挡等复杂的挑战情况不具有鲁棒性，容易引起边界框的漂移问题。
技术实现思路
本专利技术所要解决的技术问题是，提供一种可以提高目标跟踪准确性的基于新型响应图融合的目标跟踪方法。本专利技术所采用的技术方案是：一种基于新型响应图融合的目标跟踪方法，包括如下步骤：1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1)同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。本专利技术的一种基于新型响应图融合的目标跟踪方法，避免了单一响应图的信息不足，可以结合由不同特征作为输入生成的响应图，所提出的融合策略允许响应图向量的对应位置元素彼此交互，从而明确地捕获响应图每个位置处的复杂相互作用；可以有效地组合两个响应图向量，更好的捕获响应图之间的空间信息关联，并且加强响应图之间的位置信息交互，不单独根据某一响应图得到目标位置，而是综合考虑融合后的响应图，这样能增加目标跟踪的鲁棒性，以促进更加准确地定位目标位置，从而提高目标跟踪的准确性。附图说明图1是本专利技术一种基于新型响应图融合的目标跟踪方法的流程图；图2是在OTB2013数据上实验得到的准确率图；图3是在OTB2013数据上实验得到的成功率图。具体实施方式下面结合实施例和附图对本专利技术的一种基于新型响应图融合的目标跟踪方法做出详细说明。如图1所示，本专利技术的一种基于新型响应图融合的目标跟踪方法，包括如下步骤：1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；其中，(1)所述的用高斯函数生成相应的训练标记图是采用如下公式：其中，x0、y0是搜索区域块中目标物体中心点的横纵坐标，x、y是搜索区域块中其他点的横纵坐标，σx、σy是与目标物体的长和宽成比例的方差。(2)所述的深度回归模型是输入为裁剪得到的搜索区域块，输出为响应图，整个模型包括特征提取和响应图融合两部分，特征提取是使用深度模型中的VGG16进行提取，并生成响应图，响应图融合是使用新型响应图融合方法，即双线性融合方法进行融合。所述的特征提取是使用深度模型中的VGG16进行提取，是提取卷积层conv4_3和卷积层conv5_3的特征，为了保证两者特征尺寸相同，保留VGG16的前两个池化层，卷积层conv4_3和卷积层conv5_3的特征相加得到特征F1，将conv5_3本身作为特征F2；所述的生成响应图，是将特征F1和特征F2分别通过两个卷积层，得到响应图R1和响应图R2，最后响应图R1和响应图R2通过双线性融合的方法得到最终的响应图B。所述的双线性融合方法，具体如下：设定f、g是成对的响应图向量，f、g必须具有相同的空间分辨率大小，维度相同，设定和其中w、h分别代表响应图的宽和高，n是维度大小；对于每个点则和表示实数集，双线性融合运算是外积操作，公式如下，B(l,f,g)＝f(l)Tg(l)结果，得到融合后的响应图向量B输出维度大小是输入维度的平方n2，因此，双线性融合操作不会损失空间分辨率。T表示向量f的转置。(3)所述的预设的损失函数Lreg具体为：Lreg＝||W*X-Y||2+λ||W||2其中，X表示输入的搜索区域块的特征，Y表示由搜索区域块中每个点x、y通过高斯函数生成的训练标记图，*表示卷积操作，W表示卷积层的权重，λ表示正则化系数，防止模型过拟合，当损失函数最小或迭代次数超过上限，训练过程结束，得到训练好的深度回归模型。2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响本文档来自技高网...

【技术保护点】
1.一种基于新型响应图融合的目标跟踪方法，其特征在于，包括如下步骤：/n1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；/n2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1)同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；/n3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；/n4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。/n

【技术特征摘要】
1.一种基于新型响应图融合的目标跟踪方法，其特征在于，包括如下步骤：
1)以给定的第一帧目标物体的位置为中心，裁剪出一个搜索区域块，并用高斯函数生成相应的训练标记图，进行深度回归模型的训练，通过梯度下降法迭代训练深度回归模型使得预设的损失函数最小，得到训练好的深度回归模型；
2)以前一帧预测的目标物体的位置为中心，裁剪出与步骤1)同样大小的搜索区域块，输入训练好的深度回归模型，经过特征提取和响应图融合生成最终的响应图，搜索响应图的最大值即代表预测的目标物体的位置；
3)当获得目标物体的位置之后，对目标物体的大小进行尺度估计，以应对跟踪过程中目标物体的尺寸变化；
4)为适应目标物体在运动过程中的外观变化，由历史帧的搜索区域块和对应的训练标记图，对深度回归模型进行更新，并重复步骤1)～步骤3)预测后续每一帧中目标的位置和尺寸。


2.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤1)所述的用高斯函数生成相应的训练标记图是采用如下公式：



其中，x0、y0是搜索区域块中目标物体中心点的横纵坐标，x、y是搜索区域块中其他点的横纵坐标，σx、σy是与目标物体的长和宽成比例的方差。


3.根据权利要求1所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，步骤1)所述的深度回归模型是输入为裁剪得到的搜索区域块，输出为响应图，整个模型包括特征提取和响应图融合两部分，特征提取是使用深度模型中的VGG16进行提取，并生成响应图，响应图融合是使用新型响应图融合方法，即双线性融合方法进行融合。


4.根据权利要求3所述的一种基于新型响应图融合的目标跟踪方法，其特征在于，所述的特征提取是使用深度模型中的VGG16进行提取，是提取卷积层conv4_3和卷积层conv5_3的特征，保留VGG16的前两个池化层，卷积层conv4_3和卷积层conv5_3的特征相加得到特征F1，将conv5_3本身作为特征F2；所述的生成...

【专利技术属性】
技术研发人员：刘安安，张春婷，刘婧，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12