一种面向实际工程应用的长期视觉跟踪方法技术

本发明专利技术公开了一种面向实际工程应用的长期视觉跟踪方法，先选取跟踪目标并训练跟踪器，再根据跟踪目标框进行不同尺度系数的缩小和放大，生成一系列不同大小的采样尺度窗，然后结合采样尺度窗对跟踪目标实行正常跟踪，当跟踪目标离开视野后一段时间后，并以较大的尺度及位置变化回到视野时，能够有效的对跟踪目标进行重定位并继续跟踪，保证跟踪精确。

A long-term visual tracking method for practical engineering application

【技术实现步骤摘要】
一种面向实际工程应用的长期视觉跟踪方法
本专利技术属于机器视觉
，更为具体地讲，涉及一种面向实际工程应用的长期视觉跟踪方法。
技术介绍
目标跟踪是机器视觉领域的一个重要研究课题，其研究的问题是：给定跟踪目标在视频流第一帧图像中的矩形框位置，要求在后续视频流中估计出目标新的矩形框位置。2013年发布的OTB50和OTB100使得目标跟踪领域有了一个统一权威的评价标准，同年开始的一年一度的视觉目标跟踪大赛VOT(Visual-Object-TrackingChallenge)则推动着这一领域产生着持续不断的创新与突破，涌现出KCF、DSST、FDSST等基于相关滤波技术的优秀视觉目标跟踪算法。然而以上算法均为短期跟踪算法，无法处理跟踪目标消失在视野画面中随后又回到视野的情况，而这种长期跟踪能力对于实际工程应用至关重要。目前实际工程应用中使用最广泛的仍然是2010年出现的TLD，该算法计算量较大且位置及尺度跟踪精度较差，后续出现的LCT(Long-termCorrelationTracking)在位置跟踪精度上有了较大提升但算法计算量仍然较大，并且也仅具备局部的出视野后重新跟踪目标的能力，比如当跟踪目标从画面右侧消失而后出现在画面左侧并且尺度发生明显变化时，LCT无法正常进行跟踪，但这种情况在实际工程应用中是普遍存在的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种面向实际工程应用的长期视觉跟踪方法，对于跟踪目标出视野后还具有很好的处理能力，实现长期视觉跟踪。为实现上述专利技术目的，本专利技术一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练跟踪器(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；(2.2)、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在L个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；(2.4)、提取在当前帧图像的FHOG特征；(2.5)、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；(3)、获取采样尺度窗对跟踪目标框进行不同尺度系数kn的缩小和放大，k、n均为常数，生成一系列不同大小的采样尺度窗；(4)、正常跟踪阶段(4.1)、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤(2.1)所述方法提取位置滤波器样本；(4.2)、计算步骤(2.1)(4.1)中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；计算相关性响应图的平均峰值相关能量APCE，如果APCE小于预设阈值，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤(4.5)；如果不出界，则直接进入步骤(4.3)；(4.3)、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤(2.3)所述方法提取尺度滤波器样本；(4.4)、计算步骤(4.3)所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；(4.5)、在当前帧图像上pt,temp处以尺度st为基准，按照步骤(2.2)所述方法提取外观滤波器样本；(4.6)、先计算步骤(4.5)所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量APCE，如果APCE或相关性响应图中最大响应值Fmax小于重定位阈值Tr，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则，直接进入步骤(4.7)；(4.7)、根据外观滤波器的相关性响应图中最大响应值Fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；(4.8)、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的FHOG特征得到待分类样本；(4.9)、将提取的SVM分类器样本输入至SVM分类器，然后计算SVM分类器的分类响应分数，若分类响应分数大于0，则分类结果为负样本，那么将步骤(4.8)提取的样本存储为一个高质量正样本，并将高质量正负训练样本计数值加1，然后再进入步骤(4.10)；若分类响应分数小于0，则直接进入步骤(4.10)；(4.10)、在当前帧图像上pt处以尺度st为基准，用SVM分类器执行局部单尺度滑窗检测，若检测出的正样本与本帧跟踪结果矩形框的面积重叠率IOU低于0.1，则将该样本存储为高质量负样本，并将高质量正负训练样本计数值加1；(4.11)、若高质量正负训练样本计数值大于T，则触发一次SVM分类器的增量训练，并将高质量正负训练样本计数值清0；然后更新位置滤波器和尺度滤波器；并判断步骤(4.6)所得相关性响应图的APCE和相关性响应图中最大响应值Fmax是否都满足APCE,Fmax∈Tu，如果满足，则对外观滤波器和SVM分类器进行一次增量训练，并将跟踪失败计数器清零，等待下一帧图像到来后，跳转至步骤(4.1)；(5)、重定位阶段(5.1)、读取跟踪失败计数器的计数值，若计数值小于阈值M帧，则进行入步骤(5.2)，否则跳转至步骤(5.3)；(5.2)、局部单尺度搜索重定位在当前帧图像上以pt-1为中心，按尺度st-1计算SVM分类器样本提取的矩形框大小，在两倍跟踪目标矩形框宽高区域内按计算出的矩形框大小滑动检测正样本，选取最大分类响应正样本，再转至步骤(5.5)，若没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；(5.3)、全帧全尺度概率滑窗搜索重定位a阶段根据步骤(3)获取的一系列采样尺度窗的大小，以从大到小的顺序和某一指定的选中概率分别对当前帧图像进行概率滑窗采样，采样结果使用SVM分类器检测正样本，当在某一个尺度上检测到了正样本，则停止检测，并跳转至步骤(5.4)，若所有尺度窗都没有检测到正样本，则将跟踪失败计数器的计数值加1，并等待下一帧图像到来后返回步骤(5.1)；(5.4)、全帧全尺度概率滑窗搜索重定位b阶段在当前帧图像上以步骤(5.3)中分类响应最大正样本为检测中心，按照采样尺度窗中更小一级的尺度执行一次步骤(5.2)来得到一个分类响应最大的正样本与(5.3)中所得分类响应最大正样本进行比较，若本次检测得到的正分类响应分数比步骤(本文档来自技高网...

【技术保护点】
1.一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练跟踪器(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；(2.2)、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在L个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；(2.4)、提取在当前帧图像的FHOG特征；(2.5)、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；(3)、获取采样尺度窗对跟踪目标框进行不同尺度系数k...

【技术特征摘要】
1.一种面向实际工程应用的长期视觉跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标利用目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练跟踪器(2.1)、在当前帧图像中，以跟踪目标框为提取中心，提取目标框长宽p倍大小区域的FHOG特征作为位置滤波器的训练样本，再利用提取的训练样本训练得到初始位置滤波器；(2.2)、提取跟踪目标框区域的FHOG特征作为外观滤波器的训练样本，再利用提取的训练样本训练得到外观滤波器；(2.3)、对跟踪目标框按缩放比例λ进行处理，然后提取缩放后的目标框区域在L个尺度上的FHOG特征，并作为尺度滤波器的训练样本，最后利用提取的训练样本训练得到尺度滤波器；(2.4)、提取在当前帧图像的FHOG特征；(2.5)、将跟踪目标框区域的FHOG特征进行仿射变换，得到4个新FHOG特征，再将提取的跟踪目标框区域的FHOG特征和仿射变换后4个新FHOG特征作为正样本，通过随机函数在当前帧图像内非跟踪目标框区域随机选取20个负样本，共25个正负样本作为SVM分类器的训练样本，训练得到初始SVM分类器；(3)、获取采样尺度窗对跟踪目标框进行不同尺度系数kn的缩小缩小和放大，k、n均为常数，生成一系列不同大小的采样尺度窗；(4)、正常跟踪阶段(4.1)、在当前帧图像上以前一帧的跟踪目标框中心位置pt-1为基准，按照步骤(2.1)所述方法提取位置滤波器样本；(4.2)、计算步骤(4.1)中所得训练样本与位置滤波器之间的相关性响应图，取相关性响应图中最大值对应位置为pt,temp；计算相关性响应图的平均峰值相关能量APCE，如果APCE小于预设阈值，则跟踪失败，并且跟踪失败计数器加，再跳转至步骤(5.1)；否则继续判断新目标框位置是否超出当前帧图像的边界，如果出界则不更新尺度滤波器，令当前帧跟踪结果的尺度st＝st-1，直接跳转至步骤(4.5)；如果不出界，则直接进入步骤(4.3)；(4.3)、在当前帧图像上pt,temp处以前一帧跟踪目标的尺度st-1为基准，按照步骤(2.3)所述方法提取尺度滤波器样本；(4.4)、计算步骤(4.3)所得样本与尺度滤波器之间的相关性响应图，取相关性响应图中最大值对应的尺度作为当前帧跟踪结果的尺度st；(4.5)、在当前帧图像上pt,temp处以尺度st为基准，按照步骤(2.2)所述方法提取外观滤波器样本；(4.6)、先计算步骤(4.5)所得样本与外观滤波器相关性响应图，再计算相关性响应图的平均峰值相关能量APCE，如果APCE或相关性响应图中最大响应值Fmax小于重定位阈值Tr，则跟踪失败，并且跟踪失败计数器加1，再跳转至步骤(5.1)；否则，直接进入步骤(4.7)；(4.7)、根据外观滤波器的相关性响应图中最大响应值Fmax对应的位置，以0.1的加权值对pt,temp进行漂移校正，得到当前帧跟踪结果的位置pt；(4.8)、在当前帧图像上pt处以尺度st计算矩形框大小，提取矩形框内图像的FHOG特征得到待分类样本；(4.9)、将提取的SV...

【专利技术属性】
技术研发人员：李瑞，史莹晶，刘奇胜，蒋牧曦，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51