基于结构化输出相关滤波器的目标跟踪方法技术

本发明专利技术公开了一种基于结构化输出相关滤波器的目标跟踪方法，主要解决因目标光照变化、遮挡、旋转等导致的跟踪失败问题。本发明专利技术实现的步骤如下：(1)对第一帧图像进行预处理；(2)构造结构化输出相关滤波器；(3)求取最优的结构化输出相关滤波器；(4)对当前帧图像进行预处理；(5)确定当前帧图像中待跟踪目标的位置；(6)优化结构化输出相关滤波器；(7)判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则结束，否则，执行步骤(4)。本发明专利技术通过构造结构化输出相关滤波器，更好地描述样本中包含的信息，使结构化输出相关滤波器学习到区分度高的特征，能够稳定准确地跟踪目标。

Target tracking method based on structured output correlation filter

The invention discloses a target tracking method based on structured output correlation filter, which mainly solves the problem of tracking failure caused by light illumination change, occlusion, rotation and so on. The steps of the invention are as follows: (1) preprocessing the first frame image; (2) constructing the structured output correlation filter; (3) obtaining the optimal structured output correlation filter; (4) preprocessing the current frame image; (5) determining the position of the target in the current frame image; (6) optimizing the structured output correlation filter. (7) to determine whether all frame images in the tracking video image sequence should be selected, if so, the execution step (4). By constructing a structured output correlation filter, the invention can better describe the information contained in the sample, and make the structured output correlation filter learn the feature of high degree of segmentation, and can track the target steadily and accurately.

【技术实现步骤摘要】
基于结构化输出相关滤波器的目标跟踪方法
本专利技术属于图像处理
，更进一步涉及计算机视觉图像处理
中的一种基于结构化输出相关滤波器的目标跟踪方法。本专利技术采用一种基于结构化输出相关滤波器的方法，实现视频监控、医疗保健、智能交通、机器人导航、人机交互、虚拟现实等领域的运动目标跟踪。
技术介绍
目标跟踪的主要任务是估计视频中目标的轨迹，即从视频图像序列中检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置。目标跟踪最流行的方法之一是检测跟踪，检测跟踪通常根据判别式学习模型，在线学习一个二进制分类器将目标和背景分离。这类方法的目标是设计一个鲁棒的分类器，动态捕捉目标和背景的差异性特征，适应跟踪过程中的视角、光照、姿态等变化。中国人民解放军国防科学技术大学在其申请的专利文件“一种基于相关滤波的快速稳健视觉跟踪方法”(专利申请号201610943999.2，公开号CN106570893A)中公开了一种基于相关滤波的快速稳健视觉跟踪方法。该方法基于图像局部的时间和空间信息，通过对目标区域进行循环移位来近似模拟采样过程，构建分块循环矩阵并将其变换到频域对所有的采样信息同时进行计算，对下一帧中目标可能出现的位置进行预测和评估。该方法存在的不足之处是，仅对图像中的目标区域进行循环移位构造的相关滤波器对平移中的偏差特别敏感，因此不能很好地推广到其他类型的外观变化，例如照明、视点、尺度、旋转等，从而无法适应实际场景中目标和背景变化时的目标跟踪。HamedKianiGaloogahi等人在其发表的论文“CorrelationFilterswithLimitedBoundaries”(ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2015:4630–4638)中提出的一种基于有限边界相关滤波器的目标跟踪方法。该方法在学习过程中，能够隐式地利用从训练样本中密集提取的所有可能图像块，显著减少了边界效应，从而提高了目标跟踪的准确性。由于有限边界相关滤波器只对样本进行了加工，而未注意到样本与标签的匹配问题，在扩大滤波器尺寸的同时仍采用了传统相关滤波器的平滑高斯函数生成标签，未包含目标的样本块同样被赋予了正标签，因此，该方法存在的不足之处是，有限边界相关滤波器无法学习到区分度高的特征，使得目标跟踪的鲁棒性不高。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种基于结构化输出相关滤波器的目标跟踪方法，以实现当目标发生遮挡、光照变化、旋转、快速运动时对目标进行准确、有效地跟踪。实现本专利技术目的的具体思路是，构造结构化输出相关滤波器，使得样本描述与实际问题相一致，结构化输出相关滤波器可以学习到区分度高的特征，从而实现稳定准确的目标跟踪。为实现上述目的，本专利技术的具体步骤如下：(1)标记待跟踪目标的初始位置：(1a)读取待跟踪视频图像序列的第一帧图像；(1b)在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置；(2)对第一帧图像进行预处理：对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集；(3)构造结构化输出相关滤波器：生成一个行和列全为0、一维向量的维度等于D的结构化输出相关滤波器，其中，D表示第一帧图像中初始位置的待跟踪目标展为一维向量时的维度；(4)获取结构化输出相关滤波器的期望响应：(4a)利用训练样本集，产生一个相关滤波器的期望响应函数；(4b)生成一个行和列全为1、一维向量的维度等于D的标签滤波器，用0扩充标签滤波器的边缘，得到一维向量的维度等于M的已扩标签滤波器，其中，M表示训练样本集中任意一个训练样本展为一维向量时的维度；(4c)用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应；(5)计算第一帧图像的互相关谱能量和自相关谱能量；(6)采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器；(7)从待跟踪视频图像序列中选取一帧图像，作为当前帧图像；(8)对当前帧图像进行预处理：在当前帧图像中，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口，取出与训练样本大小相同的多个矩形框，将所有矩形框作为候选样本；(9)按照下式，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应：其中，Sy表示第y个候选样本对应的结构化输出相关滤波器响应，表示傅里叶域的第y个候选样本；(10)确定当前帧图像中待跟踪目标的位置：(10a)从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置；(10b)在当前帧图像中标记出待跟踪目标的位置；(11)获取当前帧图像的互相关谱能量和自相关谱能量：(11a)计算当前帧图像的互相关谱能量和自相关谱能量；(11b)按照更新公式，更新当前帧图像的互相关谱能量和自相关谱能量；(12)优化结构化输出相关滤波器：采用交替方向乘子算法，得到当前帧图像的最优的结构化输出相关滤波器；(13)判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则执行步骤(14)，否则，执行步骤(7)；(14)结束目标跟踪。本专利技术与现有的技术相比具有以下优点：第一，由于本专利技术构造结构化输出相关滤波器，从空间域截取候选样本，剔除候选样本中的畸形部分，克服了现有技术中仅对图像中的目标区域进行循环移位构造的相关滤波器，对平移中的偏差特别敏感的缺点，使得本专利技术对图像中的目标区域平移中的偏差不敏感，能很好地推广到其他类型的外观变化时的目标跟踪，例如光照、遮挡、旋转等场景变化时的目标跟踪。第二，由于本专利技术用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应，有效地克服了现有技术中因有限边界相关滤波器无法学习到区分度高的特征导致目标跟踪鲁棒性不高的问题，使得本专利技术样本描述与实际问题相一致，可以学习到区分度高的特征，从而实现稳定、准确的目标跟踪。第三，由于本专利技术在跟踪过程中不断优化结构化输出相关滤波器，克服了现有技术中学习目标与背景之间的差异性特征的能力差的问题，使得本专利技术在利用相关滤波密集取样优势的同时，显著减少边界效应带来的性能损失，同时保留了传统频域相关滤波器的许多计算优点，可以通过利用大量负示例以较低的内存成本来学习一个有效的结构化输出相关滤波器，能够适应目标和背景的变化，从而更加稳定地实现目标跟踪，跟踪实时性好。附图说明图1为本专利技术的流程图；图2为本专利技术在输入的第一帧图像中用矩形框标记出待跟踪目标的示意图；图3为本专利技术当目标发生变化时的跟踪结果示意图。具体实施方式下面结合附图对本专利技术做进一步的描述。参照附图1，对本专利技术的具体步骤描述如下。步骤1，标记待跟踪目标的初始位置。读取待跟踪视频图像序列的第一帧图像。在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置。步骤2，对第一帧图像进行预处理。对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集。所述的对第一帧图像进行随机仿射变换的具体步骤如下：第一步，用一个1×4的矩阵，对第一帧进行裁剪，得到裁剪后的图像。第二步，将平本文档来自技高网...

【技术保护点】
1.一种基于结构化输出相关滤波器的目标跟踪方法，其特征在于，包括如下步骤：(1)标记待跟踪目标的初始位置：(1a)读取待跟踪视频图像序列的第一帧图像；(1b)在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置；(2)对第一帧图像进行预处理：对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集；(3)构造结构化输出相关滤波器：生成一个行和列全为0、一维向量的维度等于D的结构化输出相关滤波器，其中，D表示第一帧图像中初始位置的待跟踪目标展为一维向量时的维度；(4)获取结构化输出相关滤波器的期望响应：(4a)利用训练样本集，产生一个相关滤波器的期望响应函数；(4b)生成一个行和列全为1、一维向量的维度等于D的标签滤波器，用0扩充标签滤波器的边缘，得到一维向量的维度等于M的已扩标签滤波器，其中，M表示训练样本集中任意一个训练样本展为一维向量时的维度；(4c)用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应；(5)计算第一帧图像的互相关谱能量和自相关谱能量；(6)采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器；(7)从待跟踪视频图像序列中选取一帧图像，作为当前帧图像；(8)对当前帧图像进行预处理：在当前帧图像中，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口，取出与训练样本大小相同的多个矩形框，将所有矩形框作为候选样本；(9)按照下式，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应：...

【技术特征摘要】
1.一种基于结构化输出相关滤波器的目标跟踪方法，其特征在于，包括如下步骤：(1)标记待跟踪目标的初始位置：(1a)读取待跟踪视频图像序列的第一帧图像；(1b)在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置；(2)对第一帧图像进行预处理：对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集；(3)构造结构化输出相关滤波器：生成一个行和列全为0、一维向量的维度等于D的结构化输出相关滤波器，其中，D表示第一帧图像中初始位置的待跟踪目标展为一维向量时的维度；(4)获取结构化输出相关滤波器的期望响应：(4a)利用训练样本集，产生一个相关滤波器的期望响应函数；(4b)生成一个行和列全为1、一维向量的维度等于D的标签滤波器，用0扩充标签滤波器的边缘，得到一维向量的维度等于M的已扩标签滤波器，其中，M表示训练样本集中任意一个训练样本展为一维向量时的维度；(4c)用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应；(5)计算第一帧图像的互相关谱能量和自相关谱能量；(6)采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器；(7)从待跟踪视频图像序列中选取一帧图像，作为当前帧图像；(8)对当前帧图像进行预处理：在当前帧图像中，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口，取出与训练样本大小相同的多个矩形框，将所有矩形框作为候选样本；(9)按照下式，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应：其中，Sy表示第y个候选样本对应的结构化输出相关滤波器响应，表示傅里叶域的第y个候选样本；(10)确定当前帧图像中待跟踪目标的位置：(10a)从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置；(10b)在当前帧图像中标记出待跟踪目标的位置；(11)获取当前帧图像的互相关谱能量和自相关谱能量：(11a)计算当前帧图像的互相关谱能量和自相关谱能量；(11b)按照更新公式，更新当前帧图像的互相关谱能量和自相关谱能量；(12)优化结构化输出相关滤波器：采用交替方向乘子算法，得到当前帧图像的最优的结构化输出相关滤波器；(13)判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则执行步骤(14)，否则，执行步骤(7)；(14)结束目标跟踪。2.根据权利要求1所述的基于结构化输出相关滤波器的目标跟踪方法，其特征在于，步骤(2)中所述的对第一帧进行随机仿射变换的具体步骤如下：第一步，用一个1×4的矩阵，对第一帧图像进行裁剪，得到裁剪后的图像；第二步，将平移因子取值为0，在(-2,2)的范围内选取一个值作为旋转因子，将比例因子取值为1；第三步，对三个因子进行运算操作，得到3×2的仿射变换矩阵如下：其中，O表示3×2的仿射变换矩阵，[·]表示矩阵符号，*表示相乘操作，cos(·)表示求余弦操作，theta表示旋转因子，-表示负号，sin(·)表示求正弦操作；第四步，用裁剪后的图像与仿射变换矩阵相乘，得到一幅仿射变换后的图像；第五步，返回执行第二步，重复执行8次，得到8幅仿射变换后的图像。3.根据权利要求1所述的基于结构化输出相关滤波器的目标跟踪方法，其特征在于，步骤(4a)中所述的利用训练样本集，产生一个相关滤波器的期望响应函数的具体步骤如下：第一步，从训练样本集中任选一个训练样本；第二步，从所选的训练样本中任选一个像素点；第三步，按照下式，计算所选像素点与位于所选训练样本中心的像素点之间的距离：q＝(x-x0)2+(y-y0)2其中，d表示所选像素点与位于所选训练样本中心的像素点之间的距离，x表示所选像素点的横坐标，x0...

【专利技术属性】
技术研发人员：田小林，贾贺姿，张佳怡，伍丽荣，赵素杰，吴策，赵启明，逯甜甜，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61