基于STC和分块重检测的多线程视觉目标跟踪方法技术

本发明专利技术提供了一种基于STC和分块重检测的多线程视觉目标跟踪方法，包括以下步骤：S1、读取第一帧图像，确定跟踪目标；S2、采用STC算法对第一帧图像建立空间上下文模型；S3、对第一帧图像中的跟踪目标所在矩形模板区域进行分块操作，并训练SVM分类器；S4、读取下一帧图像，从上一帧图像中学习得到空间上下文模型，并计算目标邻域上下文先验；S5、更新当前帧图像的时空上下文模型；S6、获取当前帧图像的置信度图；S7、根据置信度概率来判断当前帧图像中跟踪目标被遮挡的程度；S8、根据判断的跟踪目标被遮挡情况，来选择相应的处理策略；S9、循环执行步骤S4～S8，直至当前视频或图像序列处理完。本发明专利技术能够提高目标跟踪的可靠性以及目标跟踪的效率。

Multithreaded visual target tracking method based on STC and block re detection

【技术实现步骤摘要】
基于STC和分块重检测的多线程视觉目标跟踪方法
本专利技术涉及计算机视觉应用目标检测与跟踪领域，尤其涉及一种基于STC和分块重检测的多线程视觉目标跟踪方法。
技术介绍
视觉目标跟踪是计算机视觉中一个重要研究方向，在军事无人飞行器、精确制导以及空中预警和民用视频监控，人机交互和无人驾驶等众多领域有着极其广泛的应用，然而目标跟踪面临着目标尺度变换、重度遮挡、快速移动、超出视野和光照变化等众多挑战，因此提出一种可靠的实时视觉目标跟踪方法具有很重要的现实意义。以往的视觉目标跟踪方法有效的采用了时间上下文信息，根据前面帧的图像目标的位置和尺度信息来跟踪当前帧中目标的位置与尺度，STC在此基础上，基于贝叶斯框架，建立跟踪目标和局部上下文之间的时空关系，将跟踪问题转化为计算置信度图，通过最大化目标位置似然函数来得到目标位置的问题，对于目标轻度遮挡、姿态改变以及光照变化具有很好的跟踪效果，且能达到实时处理的要求，然而对于目标长期跟踪过程中出现的目标重度遮挡、快速移动以及超出视野等情况下，容易导致跟踪失败。考虑到相邻两帧图像间时间间隔很短，即使跟踪目标被严重遮挡，目标附近局部区域仍有可能没有变化，LCT采用基于相关滤波器的核岭回归方法来编码由目标对象及其周围环境组成的外观模板，由提取的特征构建的自适应模板能抵抗重度遮挡，快速运动和严重变形，而且解决了传统的基于相关滤波器的跟踪方法在长时间跟踪过程中产生漂移的问题。此外，LCT训练了另外一个相关滤波器用来估计目标尺度变化，采用HOG特征构建多尺度目标金字塔来详尽搜素最佳目标尺度。对于长期跟踪过程中，目标长时间严重遮挡和超出视野导致跟踪失败需要重检测的情况，LCT通过采用随机蕨分类器(randomfern)来训练在线检测器并在激活时扫描窗口。但是仅采用LCT算法进行目标跟踪存在跟踪速度极慢的问题。
技术实现思路
本专利技术的目的在于提供一种基于STC和分块重检测的多线程视觉目标跟踪方法，旨在用于解决现有的目标跟踪方法对于目标长期跟踪过程中出现的目标重度遮挡、快速移动以及超出视野等情况下，容易导致跟踪失败以及跟踪速度慢的问题。本专利技术提供一种基于STC和分块重检测的多线程视觉目标跟踪方法，包括以下步骤：S1、读取视频或图像序列的第一帧图像，确定跟踪目标；S2、采用STC算法对第一帧图像建立空间上下文模型；S3、对第一帧图像中的跟踪目标所在矩形模板区域进行分块操作，并采用第一帧图像中人为选定的目标矩形区域的分块训练SVM分类器；S4、读取下一帧图像，从上一帧图像中学习得到空间上下文模型；S5、根据步骤S4中从上一帧图像中学习得到的空间上下文模型，更新当前帧图像的时空上下文模型；S6、获取当前帧图像的置信度图，通过最大化置信度图来获得当前帧图像的目标位置及其置信度概率；S7、根据步骤S6中获得的置信度概率来判断当前帧图像中跟踪目标被遮挡的程度；S8、根据步骤S7中判断的跟踪目标被遮挡程度，来选择相应算法更新目标位置；S9、循环执行步骤S4～S8，直至当前视频或图像序列处理完。进一步的，所述步骤S3中对第一帧图像进行的分块包括垂直分块和水平分块，垂直分块中，每个子区域大小为模板区域的半高，十分之一宽的矩形区域，水平分块中，每个子区域为模板区域的半宽，十分之一高的矩形区域，总共分成四十个子区域。进一步的，所述步骤S4具体包括，设当前帧图像为第t+1帧图像，对于上一帧图像即第t帧图像有确定的目标位置x*，从第t帧图像中学习得到空间上下文模型具体方法如下：目标邻域上下文先验概率由下式计算：p(c(z)|o)＝I(z)wσ(z-x*)其中p(c(z)|o)是目标邻域上下文先验概率，描述局部图像区域的特征，z泛指的是目标邻域各个位置，c(z)为当前帧中的上下文特征集Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，o为当前场景中出现的跟踪目标，I(z)为位置z处的图像灰度值，wσ(·)是由下式定义的权值函数：其中a为归一化常量，使得p(c(z)|o)的值位于区间[0,1]内，σ为尺度参数；目标位置似然概率置信度图公式如下：其中为卷积运算，x∈R2为目标位置，b为归一化常量，β为形状参数，Ωc(x*)表示x*的局部上下文区域；为采用FFT进行快速卷积计算，将上式变换到频域：其中为FFT变换，⊙为元素对位相乘运算；由上式推导出空间上下文模型hsc(x)的计算式：其中为FFT逆变换。进一步的，所述步骤S5具体包括，由步骤S4从第t帧图像中学习得到的空间上下文模型用于更新第t+1帧图像的时空上下文模型，公式如下：其中ρ为学习参数，是从第t帧图像中学习得到的空间上下文模型，是视频或图像序列前t帧中累积获得的时空上下文模型。进一步的，所述步骤S6中获取当前帧图像的置信度图的公式如下：表示第t帧中的目标位置。进一步的，所述步骤S7中，当置信度概率值大于a1时，判断跟踪目标不存在遮挡；当置信度概率值在a2～a1之间时，判断跟踪目标处于一般遮挡；当置信度概率值小于a2时，判断跟踪目标严重遮挡或超出视野外；其中1>a1>a2>0；其中a1＝0.75，a2＝0.3。进一步的，所述步骤S8中，(1)若判断跟踪目标不存在遮挡，当前帧图像继续采用STC进行目标跟踪，通过最大化由步骤S6获得的置信度图ct+1(x)来获取目标位置即步骤S6中最大化置信度图获得的当前帧图像的目标位置即为最终的目标位置；并进行目标尺度更新，目标大小在视频图像序列中可能会发生变化，因此权值函数wσ中的尺度参数σ也应更新，σ的更新策略如下：其中ct(·)为置信度分布，s't是由连续两帧图像估计的目标尺度，是之前连续n帧图像尺度估计的平均值，λ>0是给定的滤波参数；同时对当前帧图像中的跟踪目标所在矩形模板区域进行分块操作，采用积分直方图提取每一个子矩形区域的灰度直方图，并用目标所在区域的图像HOG特征来训练SVM分类器；(2)若判断跟踪目标处于一般遮挡，继续采用STC更新目标位置，进一步的当置信度概率值小于0.7时，对当前帧图像中的跟踪目标所在矩形模板区域进行分块操作，采用积分直方图提取每一个子矩形区域的灰度直方图，并用目标所在区域的图像HOG特征来训练SVM分类器；(3)若判断跟踪目标严重遮挡或超出视野外，采用分块来进一步判断当前帧图像帧中跟踪目标被遮挡情况，具体包括：以上一帧图像得到的目标位置为中心，定义半径为r的搜索范围，对于搜索范围内的每一个位置(x，y)，都有一个以(x，y)为中心的矩形目标区域与上一帧的目标区域对应，采用分块操作，将位置(x，y)所在的矩形目标区域矩形分块，采用积分直方图提取每一个分块的灰度直方图；采用EMD来计算分块之间的相似度，对于每一个分块，得到本文档来自技高网...

【技术保护点】
1.一种基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于，包括以下步骤：/nS1、读取视频或图像序列的第一帧图像，确定跟踪目标；/nS2、采用STC算法对第一帧图像建立空间上下文模型；/nS3、对第一帧图像中的跟踪目标所在矩形模板区域进行分块操作，并采用第一帧图像中人为选定的目标矩形区域的分块训练SVM分类器；/nS4、读取下一帧图像，从上一帧图像中学习得到空间上下文模型；/nS5、根据步骤S4中从上一帧图像中学习得到的空间上下文模型，更新当前帧图像的时空上下文模型；/nS6、获取当前帧图像的置信度图，通过最大化置信度图来获得当前帧图像的目标位置及其置信度概率；/nS7、根据步骤S6中获得的置信度概率来判断当前帧图像中跟踪目标被遮挡的程度；/nS8、根据步骤S7中判断的跟踪目标被遮挡程度，来选择相应算法更新目标位置；/nS9、循环执行步骤S4～S8，直至当前视频或图像序列处理完。/n

【技术特征摘要】
1.一种基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、采用STC算法对第一帧图像建立空间上下文模型；
S3、对第一帧图像中的跟踪目标所在矩形模板区域进行分块操作，并采用第一帧图像中人为选定的目标矩形区域的分块训练SVM分类器；
S4、读取下一帧图像，从上一帧图像中学习得到空间上下文模型；
S5、根据步骤S4中从上一帧图像中学习得到的空间上下文模型，更新当前帧图像的时空上下文模型；
S6、获取当前帧图像的置信度图，通过最大化置信度图来获得当前帧图像的目标位置及其置信度概率；
S7、根据步骤S6中获得的置信度概率来判断当前帧图像中跟踪目标被遮挡的程度；
S8、根据步骤S7中判断的跟踪目标被遮挡程度，来选择相应算法更新目标位置；
S9、循环执行步骤S4～S8，直至当前视频或图像序列处理完。


2.如权利要求1所述的基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于：所述步骤S3中对第一帧图像进行的分块包括垂直分块和水平分块，垂直分块中，每个子区域大小为模板区域的半高，十分之一宽的矩形区域，水平分块中，每个子区域为模板区域的半宽，十分之一高的矩形区域，总共分成四十个子区域。


3.如权利要求1所述的基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于：所述步骤S4具体包括，
设当前帧图像为第t+1帧图像，对于上一帧图像即第t帧图像有确定的目标位置x*，从第t帧图像中学习得到空间上下文模型具体方法如下：
目标邻域上下文先验概率由下式计算：
p(c(z)|o)＝I(z)wσ(z-x*)
其中p(c(z)|o)是目标邻域上下文先验概率，描述局部图像区域的特征，z泛指的是目标邻域各个位置，c(z)为当前帧中的上下文特征集Xc＝{c(z)＝(I(z),z)|z∈Ωc(x*)}，o为当前场景中出现的跟踪目标，I(z)为位置z处的图像灰度值，wσ(·)是由下式定义的权值函数：



其中a为归一化常量，使得p(c(z)|o)的值位于区间[0,1]内，σ为尺度参数；
目标位置似然概率置信度图公式如下：



其中为卷积运算，x∈R2为目标位置，b为归一化常量，β为形状参数，Ωc(x*)表示x*的局部上下文区域；
为采用FFT进行快速卷积计算，将上式变换到频域：



其中为FFT变换，⊙为元素对位相乘运算；
由上式推导出空间上下文模型hsc(x)的计算式：



其中为FFT逆变换。


4.如权利要求3所述的基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于：所述步骤S5具体包括，
由步骤S4从第t帧图像中学习得到的空间上下文模型用于更新第t+1帧图像的时空上下文模型，公式如下：



其中ρ为学习参数，是从第t帧图像中学习得到的空间上下文模型，是视频或图像序列前t帧中累积获得的时空上下文模型。


5.如权利要求4所述的基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于，所述步骤S6中获取当前帧图像的置信度图的公式如下：




表示第t帧中的目标位置。


6.如权利要求1所述的基于STC和分块重检测的多线程视觉目标跟踪方法，其特征在于：所述步骤S7中，当置信度概率值大于a1时，判断跟踪目标不存在遮挡；当置信度概率值在a2～a1之间时，判...

【专利技术属性】
技术研发人员：汪鼎文，陈曦，王泉德，孙世磊，瞿涛，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42