一种基于多特征的融合的长时运动目标跟踪方法技术

技术编号:20944841 阅读:86 留言:0更新日期:2019-04-24 02:32
本发明专利技术涉及一种基于多特征的融合的长时运动目标跟踪方法,属于计算机视觉领域。本发明专利技术首先在第一帧初始化目标所在的区域与目标周围的上下文信息区域,用HOG特征融合HSV颜色特征来训练位置滤波器;然后在下一帧的目标区域中提取特征与上一帧进行对比,计算得出置信值,得到响应图,选取响应值最大的位置即为目标所在的位置;定义一个阈值,在目标发生丢失的时候,激活重检测的功能,使用在线随机蕨分类器,在满足最大置信分数小于这个阈值的时候,就开始在整幅图像上重新检测目标。

A Long-term Moving Target Tracking Method Based on Multi-feature Fusion

The invention relates to a long-term moving target tracking method based on multi-feature fusion, which belongs to the field of computer vision. Firstly, the HOG feature is used to fuse the HSV color feature to train the position filter in the region where the target is initialized in the first frame and the context information area around the target; then, the feature is extracted in the target area of the next frame and compared with the previous frame, the confidence value is calculated, and the response graph is obtained, and the location where the maximum response value is selected is defined as the location of the target. Threshold, when the target is lost, the function of re-detection is activated, and the online random fern classifier is used to re-detect the target on the whole image when the maximum confidence score is less than this threshold.

【技术实现步骤摘要】
一种基于多特征的融合的长时运动目标跟踪方法
本专利技术涉及一种基于多特征的融合的长时运动目标跟踪方法,属于复杂场景下对运动目标的实时跟踪

技术介绍
视频跟踪是机器视觉领域的基础问题之一,它是目标识别,行为识别等后续应用的基础,在航空和航天,社会安全等重大项目中有着广阔的应用前景;视频跟踪可以用在自动监控、视频索引、人机交互、交通监控、车辆导航等方面。然而,由于物体的突然运动、目标或者背景外观的改变、目标遮挡、非刚性形变以及摄像机的抖动等外在因素的变化,进行鲁棒的跟踪仍然面临着很大的挑战。由于相关滤波方法的高效性,Bolme等提出了最小输入平方误差和(MinimumOutputSumofSquareError,MOSSE)算法,采用灰度特征进行跟踪,它克服了目标尺度形变的情况,对目标外观的变化有着较强的鲁棒性。Henriques等[1]提出了循环结构的检测跟踪(CirculantStructureofTracking-by-DetectionwithKernel,CSK)算法,采用正则化最小二乘分类器实现对目标的跟踪。之后Henriques等又提出了基于核相关滤波器(KernelCorrelationFilter)的跟踪算法,使用目标的方向梯度(HistogramofOrientedGradients)特征来替代了CSK算法中所使用的灰度特征,对跟踪效果有了进一步提升。KZhang等人提出基于时空上下文的快速跟踪方法(FastVisualTrackingviaDenseSpatio-TemporalContextLearning),融合目标周围的空间信息进行跟踪。上述的算法都仅采用了一种特征进行特征描述,对于有着多种特征的目标跟踪的结果并不是很精确,而且在目标发生遮挡或者丢失的时候并不能做出很好的处理,容易将错误信息一直累计导致目标彻底丢失。
技术实现思路
本专利技术要解决的问题为提供一种基于多特征的融合的长时运动目标跟踪方法,用已解决现有的仅利用单一特征跟踪对目标发生形变等情况的表现不够好,并且在丢失目标后很难再跟回的缺点。本专利技术采用的技术方案为:首先在第一帧初始化目标所在的区域与目标周围的上下文信息区域,用方向梯度直方图(HistogramofOrientedGrandient,HOG)特征融合HSV颜色特征来训练位置滤波器;然后在下一帧的目标区域中提取特征与上一帧进行对比,计算得出置信值,得到响应图,选取响应值最大的位置即为目标所在的位置;定义一个阈值,在目标发生丢失的时候,激活重检测的功能,使用在线随机蕨分类器,在满足最大置信分数小于这个阈值的时候,就开始在整幅图像上重新检测目标。所述方法的具体步骤如下:Step1:初始化目标并选取目标区域以及上下文空间区域;Step2:提取目标区域以及上下文空间区域的方向梯度直方图特征以及HSV颜色特征进行融合作为训练样本,训练出一个位置滤波器模型;Step3:计算比较新一帧与前一帧的置信分数,得到特征的响应图,选取置信值最大的位置为目标所在位置;Step4:在最大置信分数小于预定义的阈值时,激活重检测功能,使用在线随机蕨分类器,开始在整幅图像上重新检测目标。Step5:更新模型,更新在线随机蕨检测器,直到视频序列结束。所述步骤Step1的具体步骤如下:Step1.1、初始化目标,采用循环位移的方法采集样本,使用循环矩阵训练分类器,把数据矩阵转换成一个循环矩阵。Step1.2、根据第一帧目标框两倍的大小选取目标的上下文信息区域。所述Step2的具体步骤为:Step2.1、提取目标框两倍大小区域的上下文信息的HOG和HSV颜色特征进行融合,采用特征向量的多通道的特征串联表示,由于核相关函数只需要计算点积和向量的范数,所以就可以通过多通道提取图像特征,假设数据表示的多个通道用一个向量d=[d1,d2,...,dC]表示,可以对多个特征进行融合采用的高斯核函数可以表示为:式中kdd’表示所求的高斯核函数的结果;σ表示带宽,控制高斯核函数的局部作用范围;d与d’分别代表两个多通道向量;||d||表示二范数;F-1表示逆傅里叶变换;^代表离散傅里叶变换,⊙代表矩阵元素级的乘法,而*代表复共轭。所述Step3的具体步骤为:Step3.1、在已知第一帧目标位置情况下,建立一个滤波器Rc,考虑目标的特征与背景的特征,并且用下式进行逐帧更新其中和分别代表当前帧目标模型和上下文模型的滤波模板,t代表当前帧,η为学习率。Step3.2、当输入新一帧的图像时,计算其置信图,找到置信图最大的位置即为新一帧目标的中心位置。其中响应值最大位置为:其中z表示新一帧的输入;可以由式(1)计算得出;且kxx表示核矩阵的第一行,x表示一个样本的特征向量的一行样本矩阵,y表示x对应的每个回归值组成的列向量,^代表离散傅里叶变换,λ是防止过拟合的正则化参数。所述Step4的具体步骤为:Step4.1、在最大置信分数小于预定义的阈值Гr时,激活重检测功能,使用在线随机蕨分类器,当满足max(f(z))<Гr的情况时,开始在整幅图像上重新检测目标。在满足max(f(z))>Гr的情况时,设这个点的位置为目标新的位置。令ci,i∈{0,1}为类别标签,fj,j∈{1,2,…,N}为一系列的二元特征,它们组合在一起被称为蕨。每个蕨的特征的联合分布为:其中Fk={fσ(k,0),fσ(k,2),...,fσ(k,N)}代表第k个蕨,σ(k,n)是随机惩罚函数。对于每一个蕨Fk,它的条件概率可以写为为第k个蕨的ci类训练样本的个数,根据贝叶斯的角度来看,最优类ci可由如下公式所得:所述Step5的具体步骤为:Step5.1、用式(2)与式(3)更新滤波器,更新在线随机蕨分类器。算法结束,下一帧进入时,重复Step3,若激活了重检测功能,重复Step3与Step4直至视频序列结束。本专利技术的有益效果是:1、使用特征融合的方法:如果仅采用单一特征对需要跟踪的目标进行跟踪,目标的大部分特征都不能很好地被采用,例如:在单独使用HOG特征时,跟踪器对目标的运动模糊或者光照变化时的鲁棒性虽然还不错,但是在发生形变或者快速运动的情况时,却容易跟丢目标。而HSV颜色空间特征在目标发生形变或者快速运动的情况下受到的影响比较小,因为目标在这些干扰下,目标的颜色特征并不会发生太大的变化,所以这两种特征可以进行互补,提升整体的跟踪效果。因此,本专利技术将这两种特征进行融合用于描述目标特征,在目标处于形变或者是快速运动等负面因素的影响下,还是可以精确地跟踪到目标,极大地提高了跟踪的准确性。2、考虑目标周围的上下文信息:大部分的相关滤波方法在跟踪目标的时候,没有把目标周围的相关信息考虑进去,而在连续的帧间,目标周围的局部场景还是存在着很强烈的时空关系,在目标在某一帧发生遮挡的情况下,局部空间上下文信息并不会发生太大的改变,并且有助于把目标与背景信息区分开。本文考虑了目标周围的上下文空间信息,在目标发生局部遮挡的情况下,还是能通过目标周围的上下文时空信息来判断目标是否还处于原位置,以此来提高跟踪的稳定性。3、采用在线随机蕨分类器进行重检测:一般的相关滤波方法,采用逐帧更新方法,在目标发生丢失的情况下,还是继续更新模型,导致目标距离本文档来自技高网
...

【技术保护点】
1.一种基于多特征的融合的长时运动目标跟踪方法,其特征在于:具体步骤如下:Step1:初始化目标并选取目标区域以及上下文空间区域;Step2:提取目标区域以及上下文空间区域的方向梯度直方图特征以及HSV颜色特征进行融合作为训练样本,训练出一个位置滤波器模型;Step3:计算比较新一帧与前一帧的置信分数,得到特征的响应图,选取置信值最大的位置为目标所在位置;Step4:在最大置信分数小于预定义的阈值时,激活重检测功能,使用在线随机蕨分类器,开始在整幅图像上重新检测目标;Step5:更新模型,更新在线随机蕨检测器,直到视频序列结束。

【技术特征摘要】
1.一种基于多特征的融合的长时运动目标跟踪方法,其特征在于:具体步骤如下:Step1:初始化目标并选取目标区域以及上下文空间区域;Step2:提取目标区域以及上下文空间区域的方向梯度直方图特征以及HSV颜色特征进行融合作为训练样本,训练出一个位置滤波器模型;Step3:计算比较新一帧与前一帧的置信分数,得到特征的响应图,选取置信值最大的位置为目标所在位置;Step4:在最大置信分数小于预定义的阈值时,激活重检测功能,使用在线随机蕨分类器,开始在整幅图像上重新检测目标;Step5:更新模型,更新在线随机蕨检测器,直到视频序列结束。2.根据权利要求1所述的基于多特征的融合的长时运动目标跟踪方法,其特征在于:所述步骤Step1的具体步骤如下:Step1.1、初始化目标,采用循环位移的方法采集样本,使用循环矩阵训练分类器,把数据矩阵转换成一个循环矩阵;Step1.2、根据第一帧目标框两倍的大小选取目标的上下文信息区域。3.根据权利要求2所述的基于多特征的融合的长时运动目标跟踪方法,所述步骤Step2的具体步骤如下:Step2.1、提取目标框两倍大小区域的上下文信息的HOG和HSV颜色特征进行融合,采用特征向量的多通道的特征串联表示,由于核相关函数只需要计算点积和向量的范数,所以就通过多通道提取图像特征,假设数据表示的多个通道用一个向量d=[d1,d2,...,dC]表示,可以对多个特征进行融合采用的高斯核函数可以表示为:式中kdd’表示所求的高斯核函数的结果;σ表示带宽,控制高斯核函数的局部作用范围;d与d’分别代表两个多通道向量;||d||表示二范数;F-1表示逆傅里叶变换;^代表离散傅里叶变换,⊙代表矩阵元素级的乘法,而*代表复共轭。4.根据权利要求3所述的基于多特征的融合的长时运动目标跟踪方法,所...

【专利技术属性】
技术研发人员:尚振宏陈强
申请(专利权)人:昆明理工大学
类型:发明
国别省市:云南,53

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1