一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法技术

本发明专利技术公开了一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，包括：读取视频流初始帧确定目标位置坐标以及目标框尺寸；提取目标HOG特征与CN特征对检测器进行初始化；读取后续帧图像，对相邻帧抖动情况与目标状态进行评估；根据评估结果判断是否需要对目标位置进行预测以及是否需要对检测器模型进行更新；判断目标是否消失进而是否需要对检测进行脱锁重新初始化。本发明专利技术有效提升基于相关滤波单目标跟踪方法的实时性和稳定性。在目标被遮挡或者跟踪镜头出现抖动时通过对目标一段时间内的运动轨迹的记录结果进行轨迹预测，并根据抖动幅度实时更新目标重搜索范围，从而提升了跟踪器的抗遮挡与抗抖动能力，进而提升了跟踪器的鲁棒性。器的鲁棒性。器的鲁棒性。

【技术实现步骤摘要】
一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法


[0001]本专利技术属于计算机视觉领域中的目标检测和跟踪
，尤其涉及一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法。

技术介绍

[0002]随着计算机视觉领域技术的不断突破，越来越多的功能得以实现。单目标跟踪是目前计算机视觉领域的热门研究方向，旨在实现最为简单的给定一个目标，追踪这个目标的位置的功能，在跟踪过程中，需要保证跟踪器的实时性和稳定性，以确保跟踪的性能。单目标跟踪在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景，尤其在无人平台下的单目标跟踪，能够减少人力资源的浪费，自动进行目标运动轨迹的跟踪和预测，具有很强的实际应用潜力。因此，对在无人平台下的单目标跟踪的研究意义非凡。
[0003]单目标跟踪这部分的方法主要有两大类：生成类和判别类。生成类方法如光流法、粒子滤波、meanshift跟踪算法等，特点是针对目标建模或提取目标特征，在后续帧中进行相似特征搜索，逐步迭代实现目标定位。但这类方法缺点也很明显，一是图像的背景信息未得到很好的利用，二是搜索速度不够，无法达到实时性要求。
[0004]判别式方法是将目标和背景同时考虑，通过对比目标和背景的差异，将目标提取出来，从而得到当前帧中目标位置。将匹配问题转化为了分类问题。2010年,MOSSE首次将通信领域的相关滤波方法引入到目标跟踪中。作为鉴别式方法的一种,相关滤波无论在速度上还是准确率上,都显示出更优越的性能。由于其优越的性能，由此诞生了一大批基于相关滤波的跟踪算法。由于神经网络的快速发展，AlexNet、GoogleNet、ResNet等end
‑
to
‑
end方法已经越来越受重视，神经网络优势在于不再需要明确知道目标的确定特征，能够融合更多的特征，通过训练，网络自己去搜索出最合适的特征。怎样去设计和提取目标的特定特征转变为了怎样去设计网络结构使其能发现和利用更丰富的特征。但由于平台算力的限制，大多基于神经网络的单目标跟踪算法在实时性上有着较差的表现，因此，在实际使用中，基于相关滤波的单目标跟踪算法仍占据着主流地位。
[0005]在一些复杂场景中，由于目标存在着遮挡、形变、尺度变换、运动模糊、光照不均匀等问题，基于相关滤波的单目标跟踪算法由于其固有的在线特性，容易出现模型被污染，丢失目标的问题，极大地影响了算法的鲁棒性。因此需要设计算法具有一定的抗遮挡、抗抖动能力，并能够在确认丢失目标后对目标运动轨迹进行简单的预测，并能够重新找回目标。同时，由于平台算力的限制，设计的算法需要具有复杂度低，简单有效的特点，以保证算法具有实时性，从而具备落实应用的实际意义。

技术实现思路

[0006]本专利技术目的在于提供一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法,在相关滤波的基础上，在遮挡判断、抖动评估、轨迹预测、模型更新、丢失脱锁等方面对跟踪策
略进行补全与改进，提升了跟踪算法的鲁棒性与实时性，以解决在一些复杂场景中，由于目标存在着遮挡、形变、尺度变换、运动模糊、光照不均匀等问题，基于相关滤波的单目标跟踪算法由于其固有的在线特性，容易出现模型被污染，丢失目标的问题，极大地影响了算法的鲁棒性以及实时性的技术问题。
[0007]为解决上述技术问题，本专利技术的具体技术方案如下：
[0008]一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，包括以下步骤：
[0009]步骤1：读取视频流初始帧信息，选定目标，确定目标位置坐标以及目标框尺寸，分别提取目标方向梯度直方图(HOG)特征与颜色(CN)特征信息，采用循环矩阵法获取初始帧目标的多个样本，对检测器进行初始化；
[0010]步骤2：读取下一帧图像信息，采用Lucas
‑
Kanade(LK)光流算法对前一帧与当前帧图像抖动程度计算，对当前帧的抖动情况进行评估，从而确定搜索范围的大小；
[0011]步骤3：采用当前检测器对下一帧图像进行处理，围绕前一帧的目标位置坐标进行搜索，搜索范围设定为步骤2中确定的值，得到最符合结果的相关滤波响应图；根据响应图主峰与第二旁瓣比以及主峰大小判断目标状态，若目标被遮挡，则转到步骤4，若目标未被遮挡，根据相关滤波响应图峰值坐标确定目标当前帧的位置，并记录当前帧目标位置对比前一帧的变化值，然后转到步骤6；
[0012]步骤4：判断目标是否已经被连续遮挡a1帧，若是，则目标判定为消失，转到步骤8，若否，则转到步骤5；a1取值为50～150；
[0013]步骤5：根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹，分别采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，卡尔曼滤波预测结果为(x1,y1)，灰色预测结果为(x2,y2)，对两种预测结果进行评估后择优作为预测结果给出目标位置；
[0014]步骤6：根据响应图主峰与第一旁瓣比、主峰大小以及当前帧与上次更新模型的那一帧之间间隔是否满足大于帧数b1，判断是否应该跟新检测器模型，若是，则将当前帧的目标框信息存入样本库，并对样本库整理，去掉对跟踪影响小的陈旧样本，进而对模型进行更新，若否，则转到步骤2；b1取值为6～30；
[0015]步骤7：判断目标当前帧位置是否超过图像范围，若是，则转到步骤8，若否，则回到步骤2；
[0016]步骤8：读取下一帧图像信息，对检测器进行重新初始化，回到步骤1。
[0017]进一步的，步骤2中，采用LK光流算法提取相邻帧间的光流，评估相邻帧之间画面抖动程度，具体计算抖动公式为：
[0018][0019]其中，R为图像边长，X
ij
(t)为对应t时刻光流场中i行j列的X分量,Y
ij
(t)为对应t时刻光流场中i行j列的的Y分量，共有M行N列光流参量，d为评估图像抖动参数；目标搜索区域尺度为d*5*103+4的值保留一位小数。
[0020]进一步的，步骤3中目标遮挡的判定是基于主峰与第二旁瓣比以及主峰大小二个指标，步骤6中目标遮挡的判定是基于主峰与第一旁瓣比以及主峰大小二个指标，从而能够
对目标遮挡程度进行精确的程度判断；设定阈值c1，c2，若主峰与第二旁瓣比小于c1，则判定为严重遮挡，同时停止目标位置检测与模型更新，采用根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹；若主峰与第一旁瓣比小于c1，则判定为轻微遮挡，停止模型更新，但仍可使用现有检测器模型对目标进行跟踪；若主峰与第一旁瓣比大于等于c1，再对主峰能量集中域进行判断，若主峰能量集中域大于总响应图区域的c2，则判断目标进行了形变、模糊或亮度变化的情况；主峰能量集中域为响应图中能量值在峰值的0.8倍以上的元素个数；c1，c2取值分别为1.5～2.5，0.08％～0.13％。
[0021]进一步的，步骤5中，采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，而非直接对目标位置进行预测，减小了由于预测而带来的目标位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，其特征在于，包括以下步骤：步骤1：读取视频流初始帧信息，选定目标，确定目标位置坐标以及目标框尺寸，分别提取目标方向梯度直方图HOG特征与颜色CN特征信息，采用循环矩阵法获取初始帧目标的多个样本，对检测器进行初始化；步骤2：读取下一帧图像信息，采用LK光流算法对前一帧与当前帧图像抖动程度计算，对当前帧的抖动情况进行评估，从而确定搜索范围的大小；步骤3：采用当前检测器对下一帧图像进行处理，围绕前一帧的目标位置坐标进行搜索，搜索范围设定为步骤2中确定的值，得到最符合结果的相关滤波响应图；根据响应图主峰与第二旁瓣比以及主峰大小判断目标状态，若目标被遮挡，则转到步骤4，若目标未被遮挡，根据相关滤波响应图峰值坐标确定目标当前帧的位置，并记录当前帧目标位置对比前一帧的变化值，然后转到步骤6；步骤4：判断目标是否已经被连续遮挡a1帧，若是，则目标判定为消失，转到步骤8，若否，则转到步骤5；a1取值为50～150；步骤5：根据跟踪目标的前一帧位置变化值与历史位置变化值预测其移动轨迹，分别采用卡尔曼滤波与灰色预测算法对目标在当前帧的位置变化值进行预测，卡尔曼滤波预测结果为(x1,y1)，灰色预测结果为(x2,y2)，对两种预测结果进行评估后择优作为预测结果给出目标位置；步骤6：根据响应图主峰与第一旁瓣比、主峰大小以及当前帧与上次更新模型的那一帧之间间隔是否满足大于帧数b1，判断是否应该跟新检测器模型，若是，则将当前帧的目标框信息存入样本库，并对样本库整理，去掉对跟踪影响小的陈旧样本，进而对模型进行更新，若否，则转到步骤2；b1取值为6～30；步骤7：判断目标当前帧位置是否超过图像范围，若是，则转到步骤8，若否，则回到步骤2；步骤8：读取下一帧图像信息，对检测器进行重新初始化，回到步骤1。2.根据权利要求1所述的基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法，其特征在于，所述步骤2中，采用LK光流算法提取相邻帧间的光流，评估相邻帧之间画面抖动程度，具体计算抖动公式为：其中，R为图像边长，X
ij
(t)为对应...

【专利技术属性】
技术研发人员：王俊波，周鹏，朱伟，常传文，王刚，
申请(专利权)人：东南大学，
类型：发明
国别省市：