一种基于最大响应值变化率更新策略的相关滤波跟踪方法技术

本发明专利技术涉及相关滤波跟踪处理领域，具体涉及一种基于最大响应值变化率更新策略的相关滤波跟踪方法。所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。相比逐帧更新策略的相关滤波跟踪方法，取得了更为稳定的跟踪效果。

A Relevant Filtering Tracking Method Based on Maximum Response Change Rate Updating Strategy

【技术实现步骤摘要】
一种基于最大响应值变化率更新策略的相关滤波跟踪方法
本专利技术涉及相关滤波跟踪处理领域，具体涉及一种基于最大响应值变化率更新策略的相关滤波跟踪方法。
技术介绍
视频目标跟踪是计算机视觉领域的一个研究热点，其目的是为了在视频图像序列中估计目标的位置。该技术在视频监控、人机交互、机器人领域和无人驾驶汽车等众多应用中扮演着十分重要的角色。实时性和稳定性是实现目标跟踪系统的两大目标。卷积原理表明耗时的卷积运算在傅立叶变换域可以转换为元素点积运算。基于卷积原理的相关滤波技术被引入到目标跟踪中，其极高的处理速度满足了目标跟踪系统对实时性的要求。然而，由于复杂场景下光照变化、外观变形、局部遮挡、快速运动、运动模糊、背景相似等诸多因素的干扰，视频目标跟踪仍然是一项具有挑战性的任务。目标模板是跟踪系统判别每帧候选目标是否真实目标的重要依据。目标模板又是一个在线学习的过程，其更新机制的好坏将影响目标模板与真实目标的偏离程度。目前，在大多数相关滤波跟踪系统中，目标模板都采用逐帧更新的方式进行更新。换句话说，无论当前帧跟踪结果正确与否，跟踪系统都根据当前跟踪结果对目标模板进行更新。然而，当目标外观发生重度形变、局部遮挡的情况下，逐帧更新机制下跟踪结果必然给目标模板带来污染进而导致目标模板的漂移。根据上述情况，本专利技术将基于相关滤波跟踪框架，提出一种基于最大响应值变化率更新策略的相关滤波跟踪方法。
技术实现思路
为了解决上述问题，本专利技术提供了：一种基于最大响应值变化率更新策略的相关滤波跟踪方法。具体技术方案为：一种基于最大响应值变化率更新策略的相关滤波跟踪方法，所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。优选的，所述方法包括如下步骤：步骤一、输入第一帧视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height；手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w0,h0)，即选定的跟踪目标；其中，(x0,y0)表示矩形区域的左上角坐标，w0,h0分别表示矩形区域的宽高；第一帧选定目标也称为当前帧跟踪结果(x1,y1,w1,h1)＝(x0,y0,w0,h0)，下标表示当前帧号；步骤二、初始化目标模板1、计算搜寻窗口；2、生成标准高斯响应图；3、提取方向梯度直方图(HOG)特征；4、计算HOG特征的相关滤波器模板；5、提取颜色直方图特征模板；步骤三、定义判别参数由于一般情况下跟踪系统前k帧(5≤k≤15)以内不会跟丢，且跟踪到第k帧之后跟踪系统的响应图方可趋于稳定，因此模型更新判别相关的参数从第k+1帧开始计算；自第k+1帧开始，每帧涉及与模型更新判别相关的参数计算方法如下：令GLt表示当前帧两种特征加权融合响应图，其中t为当前帧号；令GL_maxt表示GLt矩阵中最大元素值即响应图最大值；令Rt＝{GL_maxi|i＝k+1..t}表示从第k+1帧到第t帧的响应图最大值序列；令R_maxt＝max(Rt)表示响应图最大值序列Rt的最大值；令dt＝(R_maxt-GL_maxt)/GL_maxt表示响应图最大值的变化率；令Dt＝{di|i＝k+1..t}表示变化率序列；令bt表示当前帧跟踪结果是否正常，bt＝1表示当前帧跟踪结果正常，bt＝0表示当前帧跟踪结果异常，特别地，第k+1帧bk+1＝1；令V_bt＝{bi|i＝k+1..t}表示从第k+1帧开始跟踪结果是否正常的掩模向量；令E(Dt)和δ(Dt)分别表示去除了异常情况的变化率序列的期望值和标准差，其中令Δt＝{δ(Di)|i＝k+1..t}表示标准差序列，其一阶导数为令和表示判别该一阶导数的两个常量参数，其中且二者绝对值皆接近零；令φt＝(dt-E(Dt-1))/δ(Dt-1)表示第t帧模型更新判别指标，令ξ1和ξ2表示该判别指标相关的两个常量参数，其中2.5≤ξ1≤3.5，4.0≤ξ2≤8.0；令mt＝{Ht,bg_histt,fg_histt}表示当前帧目标模板；令M＝{Modeli|1≤i≤10}表示可靠模板库，其按照先进先出原则保存了最近历史帧的多个可靠目标模板，初始化M为空集，规定最多保存10个模板；如果当前帧目标模板mt是可靠模板的情况下，将mt放入M作为一个可靠模板；步骤四、输入下一帧并提取特征依据步骤二中步骤1的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤3提取当前帧方向梯度直方图(HOG)特征的频域表示Ft，当前帧HOG特征的响应图Gt可以根据公式Gt＝Ft⊙Ht-1计算得到；依据步骤二中步骤5的方法提取当前帧颜色直方图特征bg_histt和fg_histt，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_histt-1和fg_histt-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱Lt，其尺寸与响应图G相同；步骤五、自适应特征融合：1、计算自适应特征融合参数；2、自适应特征融合的结果；步骤六、确定跟踪结果；步骤七、异常判别处理：如果当前帧号t＜k+1，转至步骤8，否则执行以下操作：1、计算步骤三定义的相关参数；2、异常处理；步骤八、更新目标模板；步骤九、更新可靠模板库；步骤十、判断是否最后一帧：如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。优选的，所述步骤二具体包括：1、计算搜寻窗口根据上一帧即t-1帧跟踪结果(xt-1,yt-1,wt-1,ht-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(x0,y0,w0,h0)计算；搜寻窗口的中心点为(x_st,y_st)，其中x_st＝xt-1+wt-1/2、y_st＝yt-1+ht-1/2，宽高分别为w_st＝1.5×wt-1+0.5×ht-1、h_st＝1.5×ht-1+0.5×wt-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高。为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_snt＝w_st×γ、h_snt＝h_st×γ，当前帧的标准目标窗口的宽高为w_ont＝w_snt×0.75-h_snt×0.25、h_ont＝h_snt×0.75-w_snt×0.25；2、生成标准高斯响应图标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_snt/cell、h_g＝h_snt/cell，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为cell表示HOG特征提取过程中每个格子的尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸；3、提取方向梯本文档来自技高网...

【技术保护点】
1.一种基于最大响应值变化率更新策略的相关滤波跟踪方法，其特征在于，所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。

【技术特征摘要】
1.一种基于最大响应值变化率更新策略的相关滤波跟踪方法，其特征在于，所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。2.根据权利要求1所述的方法，其特征在于，包括如下步骤：步骤一、输入第一帧视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height；手工或自动选定第一帧中待跟踪目标的矩形区域(x0,y0,w0,h0)，即选定的跟踪目标；其中，(x0,y0)表示矩形区域的左上角坐标，w0,h0分别表示矩形区域的宽高；第一帧选定目标也称为当前帧跟踪结果(x1,y1,w1,h1)＝(x0,y0,w0,h0)，下标表示当前帧号；步骤二、初始化目标模板(1)、计算搜寻窗口；(2)、生成标准高斯响应图；(3)、提取方向梯度直方图(HOG)特征；(4)、计算HOG特征的相关滤波器模板；(5)、提取颜色直方图特征模板；步骤三、定义判别参数由于一般情况下跟踪系统前k帧(5≤k≤15)以内不会跟丢，且跟踪到第k帧之后跟踪系统的响应图方可趋于稳定，因此模型更新判别相关的参数从第k+1帧开始计算；自第k+1帧开始，每帧涉及与模型更新判别相关的参数计算方法如下：令GLt表示当前帧两种特征加权融合响应图，其中t为当前帧号；令GL_maxt表示GLt矩阵中最大元素值即响应图最大值；令Rt＝{GL_maxi|i＝k+1..t}表示从第k+1帧到第t帧的响应图最大值序列；令R_maxt＝max(Rt)表示响应图最大值序列Rt的最大值；令dt＝(R_maxt-GL_maxt)/GL_maxt表示响应图最大值的变化率；令Dt＝{di|i＝k+1..t}表示变化率序列；令bt表示当前帧跟踪结果是否正常，bt＝1表示当前帧跟踪结果正常，bt＝0表示当前帧跟踪结果异常，特别地，第k+1帧bk+1＝1；令V_bt＝{bi|i＝k+1..t}表示从第k+1帧开始跟踪结果是否正常的掩模向量；令E(Dt)和δ(Dt)分别表示去除了异常情况的变化率序列的期望值和标准差，其中令Δt＝{δ(Di)|i＝k+1..t}表示标准差序列，其一阶导数为令和表示判别该一阶导数的两个常量参数，其中且二者绝对值皆接近零；令φt＝(dt-E(Dt-1))/δ(Dt-1)表示第t帧模型更新判别指标，令ξ1和ξ2表示该判别指标相关的两个常量参数，其中2.5≤ξ1≤3.5，4.0≤ξ2≤8.0；令mt＝{Ht,bg_histt,fg_histt}表示当前帧目标模板；令M＝{Modeli|1≤i≤10}表示可靠模板库，其按照先进先出原则保存了最近历史帧的多个可靠目标模板，初始化M为空集，规定最多保存10个模板；如果当前帧目标模板mt是可靠模板的情况下，将mt放入M作为一个可靠模板；步骤四、输入下一帧并提取特征依据步骤二中步骤(1)的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤(3)提取当前帧方向梯度直方图(HOG)特征的频域表示Ft，当前帧HOG特征的响应图Gt可以根据公式Gt＝Ft⊙Ht-1计算得到；依据步骤二中步骤(5)的方法提取当前帧颜色直方图特征bg_histt和fg_histt，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_histt-1和fg_histt-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱Lt，其尺寸与响应图G相同；步骤五、自适应特征融合：(1)、计算自适应特征融合参数，(2)、自适应特征融合的结果；步骤六、确定跟踪结果；步骤七、异常判别处理：如果当前帧号t＜k+1，转至步骤八，否则执行以下操作：(1)、计算步骤三定义的相关参数，(2)、异常处理；步骤八、更新目标模板；步骤九、更新可靠模板库；步骤十、判断是否最后一帧：如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。3.根据权利要求2所述的方法，其特征在于，所述步骤二具体包括：(1)、计算搜寻窗口根据上一帧即t-1帧跟踪结果(xt-1,yt-1,wt-1,ht-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(x0,y0,w0,h0)计算；搜寻窗口的中心点为(x_st,y_st)，其中x_st＝xt-1+wt-1/2、y_st＝yt-1+ht-1/2，宽高分别为w_st＝1.5×wt-1+0.5×ht-1、h_st＝1.5×ht-1+0.5×wt-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高；为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_snt＝w_st×γ、h_snt＝h_st×γ，当前帧的标准目标窗口的宽高为w_ont＝w_snt×0.75-h_snt×0.25、h_ont＝h_snt×0.75-w_snt×0.25；(2)、生成标准高斯响应图标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_snt/cell、h_g＝h_snt/cell，其矩...

【专利技术属性】
技术研发人员：高赟，赵江珊，周浩，张学杰，
申请(专利权)人：云南大学，
类型：发明
国别省市：云南,53