自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统技术方案

本发明专利技术公开了一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统，利用在第t帧目标图像中计算得到的颜色直方图和传统的固定余弦窗相结合，得到自适应余弦窗，在第t帧提取目标图像块的Hog特征并利用自适应余弦窗计算相关滤波响应值；结合第t‑1帧和t帧计算视频图像的光流特征，将相关滤波响应，颜色响应和光流特征以固定权值进行求和，得到最终的响应，响应值最大的位置即为跟踪目标的初始位置。本发明专利技术采用基于Hog特征得到的PSR值对得到的跟踪目标位置进行鲁棒性检查，当跟踪目标不鲁棒时，引入反向多任务稀疏表示方法选取多个候选样本，对每个候选样本重新进行相关滤波检测获取响应图，在所有响应图中最大值最大的粒子即为跟踪目标。

Target tracking method and system of adaptive cosine window anti occlusion multi feature fusion

【技术实现步骤摘要】
自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统
本专利技术属于计算机视觉
，尤其涉及一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。目标跟踪属于计算机视觉领域一项重要的研究课题，在智能视频监控、人机交互、视觉导航、无人机驾驶、虚拟现实等领域得到了广泛的应用。目标跟踪的核心在于手动确定视频初始帧中目标的位置，在后续视频帧中估计运动目标的运动状态，包括速度、方向以及所占区域等信息，从而为更高级的任务提供技术支持。尽管国内外学者对目标跟踪技术进行了大量深入的研究，但是由于跟踪视频中存在严重遮挡、光照变化、尺度变化、背景杂乱、运动模糊等严重影响跟踪性能的因素，使得设计一种鲁棒的运动目标跟踪方法仍然是一项充满挑战的任务。根据跟踪目标的外观模型，目标跟踪方法可以分为生成式模型和判别式模型。生成式模型通过建立跟踪目标的表观模型，寻找与先验模型最匹配、重构误差最小的样本作为下一帧中跟踪目标的位置。判别式模型将目标跟踪看成是一个分类问题，通过在线训练分类器，将跟踪目标与背景分离，从而确定目标的位置。2010年相关滤波被引入目标跟踪领域，使得判别式模型无论在跟踪速度还是跟踪鲁棒性方面都比生成式模型取得了较好的跟踪性能。CSK算法引入循环矩阵对样本进行密集采样，并采用傅立叶变换方法在频域进行相关滤波器的训练、检测与更新，有效提高了跟踪速度。但是CSK方法只能采用单通道灰度特征，在跟踪目标的表征上不够鲁棒。此外，为了解决跟踪目标的尺度变化，现有技术提出采用尺度空间滤波器，形成尺度金字塔来适应跟踪目标的尺度变化。为了解决跟踪目标的遮挡及形变问题，现有技术提出将跟踪响应最大值是否小于固定阈值作为判断目标是否被遮挡及发生较大形变的依据。尽管上述算法在部分视频上取得了不错的跟踪性能，但是在大部分比较复杂的跟踪场景下，比较容易跟丢目标，跟踪效果不够鲁棒。现有技术公开了一种快速正则化的目标跟踪方法。该方法融合Hog特征和颜色直方图，在相关滤波框架下引入空间正则化，对背景信息进行抑制，实现对目标的快速跟踪。但是存在的不足之处是只对背景信息进行抑制，没有增强目标区域的信息，没有对跟踪结果进行可靠性判断，当运动目标发生严重遮挡和形变时，容易跟丢目标，不能对目标进行长时间的鲁棒跟踪。现有技术公开了一种基于CNN和CF的多模板目标跟踪方法，该方法将当前帧峰值响应值与旁瓣响应值的比值作为PSR值，与固定阈值进行比较来判断跟踪结果的可靠性，是否需要重新检测。当跟踪结果存在遮挡时，重新进行跟踪目标的定位检测。该方法存在的不足之处是采用固定的阈值，难以适应多个不同场景的视频，导致部分视频能够有效判断跟踪结果的可靠性，部分视频的判断结果不可靠，容易造成跟踪失败。
技术实现思路
本专利技术目的是为了解决现有技术的不足，提出了一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法及系统，能够实现在复杂场景下对运动目标进行准确的跟踪。在一些实施方式中，采用如下技术方案：一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，包括：(1)将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗；(2)提取当前帧中目标图像块的Hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行相关滤波处理，得到基于Hog特征的滤波响应；(3)计算当前帧目标图像块的颜色响应和前后帧的光流特征，利用基于Hog特征的滤波响应、颜色响应及前后帧光流特征的和确定当前帧跟踪目标的初始位置；(4)对得到的当前帧跟踪目标的初始位置进行鲁棒性检查；当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，对每个候选样本，重复步骤(2)-(3)，重新确定当前帧中跟踪目标的位置。在另一些实施方式中，采用如下技术方案：一种自适应余弦窗抗遮挡多特征融合的目标跟踪系统，包括：用于将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗的装置；用于提取当前帧中目标图像块的Hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于Hog特征的滤波响应的装置；用于计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于Hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，确定当前帧跟踪目标的初始位置的装置；用于对得到的当前帧跟踪目标的初始位置进行鲁棒性检查的装置；用于当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，重新确定当前帧中跟踪目标的位置的装置。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的自适应余弦窗抗遮挡多特征融合的目标跟踪方法。与现有技术相比，本专利技术的有益效果是：(1)由于本专利技术采用目标图像块的颜色直方图和传统余弦窗来构建自适应余弦窗，能够突出目标区域，压制候选区域，同时扩大搜索范围，能够有效抑制传统基于相关滤波跟踪方法带来的边界效应，同时对每帧目标图像块求颜色直方图，所以每帧视频图像所采用的余弦窗是不断更新的，使得本专利技术能够很好的识别目标物体，实现对运动目标准确的跟踪。(2)由于本专利技术将基于Hog特征的滤波响应，颜色直方图的积分响应以及前后帧的光流特征进行加权求和得到最终的响应图，能够将多方面特征进行融合，特别是前后帧的光流特征能够很好的描述跟踪目标的运动趋势，使得本专利技术能够很好的找到跟踪目标的准确位置，实现对目标物体的鲁棒定位。(3)由于本专利技术采用基于Hog特征滤波响应计算PSR值，同时建立PSR池判断跟踪结果的可靠性，并进行跟踪模型和颜色直方图更新参数的自适应调整，使得本专利技术能够很好的克服跟踪过程中出现的严重遮挡及较大形变，能够实现在复杂场景对跟踪目标的准确跟踪。(4)当跟踪结果判断为不可靠时，本专利技术采用反向多任务稀疏表示方法重新选取最优的5个粒子进行相关滤波计算，使得本专利技术能够很好的解决跟踪失败后重新对目标进行定位的问题，从而实现对运动目标的鲁棒跟踪。附图说明图1为本专利技术实施例中自适应余弦窗抗遮挡多特征融合的目标跟踪方法流程图；图2为本专利技术实施例在4个视频上的跟踪结果示意图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作本文档来自技高网...

【技术保护点】
1.一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，包括：/n(1)将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗；/n(2)提取当前帧中目标图像块的Hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于Hog特征的滤波响应；/n(3)计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于Hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，得到最终的响应，响应值最大的位置即为当前帧跟踪目标的初始位置；/n(4)对得到的当前帧跟踪目标的初始位置进行鲁棒性检查；当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，对每个候选样本，重复步骤(2)-(3)，重新确定当前帧中跟踪目标的位置。/n

【技术特征摘要】
1.一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，包括：
(1)将当前帧中目标图像块的颜色直方图与传统固定余弦窗进行求和，得到自适应余弦窗；
(2)提取当前帧中目标图像块的Hog特征，采用自适应余弦窗对所述目标图像块进行预处理，对预处理后的目标图像块进行滤波处理，得到基于Hog特征的滤波响应；
(3)计算当前帧目标图像块的颜色响应和前后帧的光流特征，将得到的基于Hog特征的滤波响应、颜色特征响应以及光流特征进行加权求和，得到最终的响应，响应值最大的位置即为当前帧跟踪目标的初始位置；
(4)对得到的当前帧跟踪目标的初始位置进行鲁棒性检查；当跟踪结果不鲁棒时，采用反向多任务稀疏表示方法选取多个候选样本，对每个候选样本，重复步骤(2)-(3)，重新确定当前帧中跟踪目标的位置。


2.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(1)中：
确定第一帧图像中运动目标的位置，在后续视频帧中，利用第t-1帧确定的运动目标位置在第t帧选取目标图像块，计算目标图像块的颜色直方图，并与传统的固定余弦窗求和，得到自适应余弦窗。


3.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(2)中：
利用第t-1帧确定的运动目标位置在第t帧提取目标图像块的Hog特征；
对目标图像块的Hog特征进行预处理，预处理后的目标图像块与在第t-1帧获得的相关滤波模型在频域进行点乘计算，得到基于Hog特征的滤波响应。


4.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(3)中，计算当前帧目标图像块的颜色响应，具体为：
对步骤(1)中当前帧的目标图像块的颜色直方图进行积分计算，得到目标图像块的颜色特征响应。


5.如权利要求1所述的一种自适应余弦窗抗遮挡多特征融合的目标跟踪方法，其特征在于，所述步骤(3)中，计算当前帧目标图像块的前后帧的光流特征，具体为：
利用第t-2帧得到的跟踪目标图像块与第t-1帧提取的目标图像块通过最小化公式计算t-1帧的光流特征；

【专利技术属性】
技术研发人员：王海军，
申请(专利权)人：滨州学院，
类型：发明
国别省市：山东;37