一种基于目标显著性特征的目标跟踪方法技术

本发明专利技术公开了一种基于目标显著性特征的目标跟踪方法，包括以下步骤：S1、基于第一帧初始化跟踪目标判别模型M1和检测目标判别模型G1；S2、对于第t(t>＝2)帧框定检测区域；S3、提取检测区域的HOG以及前景概率特征；S4、依据Mt‑1，确定出目标位置P1；S5、依据P1对跟踪结果以及前景概率的最大置信度进行判别；S6、若两个置信度都大于阈值A和B，则P1为结果，转S2，否则S7；S7、启动检测器检测得另一个目标位置P2；S8、算出P1和P2的跟踪置信度，较高的作为最终结果；S9、对判别模型Gt和Mt进行模型更新，转S2，进行序列跟踪。本发明专利技术可以对大部分场景目标进行鲁棒性跟踪。

A Target Tracking Method Based on Target Significance

The invention discloses a target tracking method based on target saliency characteristics, which includes the following steps: S1, initialization of tracking target discrimination model M1 and detection target discrimination model G1 based on the first frame; S2, framing detection area for the first t (t >= 2) frame; S3, HOG of detection area and foreground probability characteristics; S4, determination of target location P1 according to Mt 1; S5, and pairing of P1. Tracking results and the maximum confidence of foreground probability are discriminated; S6, if both confidence levels are greater than threshold A and B, then P1 is the result, then S2 is the result, otherwise S7; S7, start detector detects another target position P2; S8, calculate P1 and P2 tracking confidence, as the final result; S9, update the discriminant model Gt and MT, then transfer S2 to sequence tracking. The invention can robustly track most scene targets.

【技术实现步骤摘要】
一种基于目标显著性特征的目标跟踪方法
本专利技术涉及计算机视觉与图像处理
，具体涉及一种基于目标显著性特征的目标跟踪方法。
技术介绍
作为计算机视觉领域的热点之一，目标跟踪在军事、智能交通等领域都得到了广泛应用，比如：无人机中的摄像头的自动跟踪技术、交通系统中的车牌跟踪、人机交互系统中的手势跟踪等。此外，在安防领域，目标跟踪也可以辅助人们完成很多工作。人们都知道现在城市里面的每个角落基本都有一只“天眼”在看着大家的所作所为。一旦发生偷盗，拐卖等案件后，目标跟踪可以辅助办案人员对可疑人员进行追踪进而快速锁定目标。在军事领域，对敌方导弹以及战机的追踪可以辅助国防系统进行精准制导，还可以监视敌方战舰等目标物的一举一动。目标跟踪是最具有挑战性的计算机视觉问题之一，在没有目标的先验信息的前提下利用同一个算法对任意物体实现准确跟踪。所以目标跟踪算法的重点集中在鲁棒的表观特征的设计，基于表观模型的目标跟踪算法，大抵可以划分为两大种类：一种为生成式跟踪模型，另一种为判别式跟踪模型。随着卷积神经网络和相关滤波器在跟踪方面的成功应用，判别式的表观模型越来越受到大家的青睐。判别式的跟踪方法是将跟踪目标和背景看成两种类别的事物，跟踪算法要做的就是学习出分类器对当前的目标和背景做出准确的分类。近几年的跟踪算法主要集中在深度卷积神经网络以及相关滤波器两个方面的扩展以及结合上。
技术实现思路
本专利技术的目的是为了对遮挡等跟踪挑战问题的解决提供一种思路，其中现有的跟踪框架缺少对长期目标跟踪的思考，提供一种基于目标显著性特征的目标跟踪方法，有利于提高跟踪的鲁棒性和精确度。本专利技术的目的可以通过采取如下技术方案达到：一种基于目标显著性特征的目标跟踪方法，所述的目标跟踪方法包括下列步骤：S1、通过视频序列中标定的第一帧对目标位置进行初始化并提取特征进行跟踪目标判别模型M1和检测目标判别模型G1初始化；S2、从第二帧开始，对于第t帧，依据上一帧的目标位置进行检测区域的框定，其中，t>＝2；S3、提取检测区域的HOG以及前景概率特征，获取增强型目标特征；S4、依据跟踪目标判别模型Mt-1，获得新一帧检测区域的置信度图，确定出目标位置区域P1；S5、依据目标位置区域P1对跟踪结果的最大置信度以及前景概率的最大置信度进行判别；S6、若跟踪结果的置信度以及前景概率的最大置信度同时大于阈值A和阈值B，则将步骤S4中的目标位置区域P1作为最终的目标跟踪结果，若不满足则执行步骤S7；S7、启动孪生卷积神经网络为检测器对目标检测区域中的目标进行检测得到另一个目标位置区域P2；S8、依据检测目标位置区域P1和目标位置区域P2进行跟踪置信度的对比，选择置信度较高的一个作为最终的结果；S9、依据各自的更新规则对跟踪目标判别模型Gt和检测目标判别模型Mt进行模型更新，然后跳转到步骤S2，进行接下来图片帧的目标跟踪。进一步地，所述的步骤S1过程如下：S11、给定一系列视频帧，在第一帧中框定出所要跟踪的目标以及位置信息，即宽高和中心点坐标；S12、根据目标的初始位置截取兴趣区域生成到目标的初始类别，并且将目标兴趣区域作为该初始类别的类别中心；S13、利用第一帧的信息对跟踪目标判别模型M1和检测目标判别模型G1初始化。进一步地，所述的步骤S2过程如下：S21、从第t帧图像开始，利用上一帧的跟踪结果确定出目标区域的大小w×h，其中w、h分别是指框定出的目标区域的宽度以及高度；S22、框定出以中心位置为中心，宽高大小为(w+k)×(h+k)的当前帧图像的目标检测区域：k＝α*(w+h)/2其中α为可调整参数，k为检测区域的扩展系数；S23、其中将目标中心周围(w-k)×(h-k)所框定的区域用Zf表示，代表前景区域，在每帧中划定的目标区域与(w+k)×(h+k)之间的区域用Zb表示，代表的是背景区域。进一步地，所述的步骤S3过程如下：S31、利用彩色图的RGB的像素信息对检测区域图片进行方向梯度直方图(HistogramofOrientedGradient,HOG)HOG特征fHOG的提取；S32、将目标检测区域三通道像素归一化到[1,32]，然后依据前景和背景区域进行字典模型βt-1(F)和βt-1(B)的统计其中，zi代表包含三个通道的像素值的三维向量，j是一个三维序列向量，NF和NB分别表示的是前景和背景区域的像素个数，函数φ的作用是判断像素向量zi和序列向量j是否一致，如果一致返回1，否则返回0，然后得到两个32×32×32维的前景和背景的字典，这两个字典用于下一帧前景概率图的计算；S33、对于第t帧的图像，利用t-1帧统计的字典模型进行前景概率图的计算，依据颜色特征提取前景概率图fFPM：其中，ω(F)代表根据βt-1(F)统计出的在第t帧中检测区域中的各个像素位于前景区域的概率图，对应地ω(B)代表在第t帧检测区域中的各个像素属于背景区域的概率图；S34、综合前景概率图和HOG特征得到最终的增强型目标特征，如下：进一步地，所述的步骤S4过程如下：S41、结合跟踪目标判别模型Mt以及步骤S3中得到的增强型目标特征可以得到新的一帧检测区域的置信度图；S42、统计置信度图中的最大置信度X，以最大置信度为中心结合DSST算法确定出目标位置区域P1。进一步地，所述的步骤S7过程如下：S71、启动检测器，以第一帧中目标区域的图片作为模板，当前帧的目标检测区域作为搜索区域输入孪生卷积神经网络；S72、通过检测器的模板和检测通道的互相关得到另一个目标位置区域P2。进一步地，所述的步骤S9过程如下：S91、结合跟踪结果对跟踪目标判别模型Gt更新；S92、判断本帧过程中检测器是否启动，若有启动则检测目标判别模型Mt在本帧跳过不更新，否则对其进行更新。S93、若不为最后一帧则跳转到步骤S2继续执行，直到最后结束跟踪。本专利技术相对于现有技术具有如下的优点及效果：1)、本专利技术将颜色特征与边缘梯度特征融合在一起得到了对光照变化、形态变化等比较鲁棒的综合特征，更加有利于对目标物体的识别和辨别。2)、本专利技术发掘了前景概率图对于前景增强和背景特征抑制，一定程度可以减少背景对于跟踪的影响。3)、本专利技术充分发掘了孪生卷积神经网络的另一个用途——用做检测器，充分利用了孪生卷积神经网络检测图像块区域较大这一优势。4)、本专利技术意识到了跟踪过程中模型不可避免的或多或少会受到污染，所以利用另一种间接更新的方法来更新检测目标判别模型，保证此模型对目标特征的纯净性。5)、本专利技术提出了一套条件检测机制来辅助跟踪以及检测过程，尽可能确保跟踪器和检测器可以协同的运作，提高跟踪的鲁棒性。6)、本专利技术的目标跟踪算法在OTB2015以及VOT2015数据集上进行了整体实验对比以及实验内部模块的测试，实验证明算法的有效性。附图说明图1是本专利技术中公开的基于目标显著性特征的目标跟踪方法流程图；图2(a)是针对Soccer序列中75帧图片框定出的前景以及背景区域；图2(b)是在Soccer序列75帧图片中对应融入前景概率图后的特征效果图；图2(c)是在Soccer序列75帧图片中算法跟踪结果图；图2(d)是针对Football序列中320帧图片框定出的前景以及背景区域；图2(e)是在Football序列320帧图片中对应本文档来自技高网...

【技术保护点】
1.一种基于目标显著性特征的目标跟踪方法，其特征在于，所述的目标跟踪方法包括下列步骤：S1、通过视频序列中标定的第一帧对目标位置进行初始化并提取特征进行跟踪目标判别模型M1和检测目标判别模型G1初始化；S2、从第二帧开始，对于第t帧，依据上一帧的目标位置进行检测区域的框定，其中，t>＝2；S3、提取检测区域的HOG以及前景概率特征，获取增强型目标特征；S4、依据跟踪目标判别模型Mt‑1，获得新一帧检测区域的置信度图，确定出目标位置区域P1；S5、依据目标位置区域P1对跟踪结果的最大置信度以及前景概率的最大置信度进行判别；S6、若跟踪结果的置信度以及前景概率的最大置信度同时大于阈值A和阈值B，则将步骤S4中的目标位置区域P1作为最终的目标跟踪结果，若不满足则执行步骤S7；S7、启动孪生卷积神经网络为检测器对目标检测区域中的目标进行检测得到另一个目标位置区域P2；S8、依据检测目标位置区域P1和目标位置区域P2进行跟踪置信度的对比，选择置信度较高的一个作为最终的结果；S9、依据各自的更新规则对跟踪目标判别模型Gt和检测目标判别模型Mt进行模型更新，然后跳转到步骤S2，进行接下来图片帧的目标跟踪。...

【技术特征摘要】
1.一种基于目标显著性特征的目标跟踪方法，其特征在于，所述的目标跟踪方法包括下列步骤：S1、通过视频序列中标定的第一帧对目标位置进行初始化并提取特征进行跟踪目标判别模型M1和检测目标判别模型G1初始化；S2、从第二帧开始，对于第t帧，依据上一帧的目标位置进行检测区域的框定，其中，t>＝2；S3、提取检测区域的HOG以及前景概率特征，获取增强型目标特征；S4、依据跟踪目标判别模型Mt-1，获得新一帧检测区域的置信度图，确定出目标位置区域P1；S5、依据目标位置区域P1对跟踪结果的最大置信度以及前景概率的最大置信度进行判别；S6、若跟踪结果的置信度以及前景概率的最大置信度同时大于阈值A和阈值B，则将步骤S4中的目标位置区域P1作为最终的目标跟踪结果，若不满足则执行步骤S7；S7、启动孪生卷积神经网络为检测器对目标检测区域中的目标进行检测得到另一个目标位置区域P2；S8、依据检测目标位置区域P1和目标位置区域P2进行跟踪置信度的对比，选择置信度较高的一个作为最终的结果；S9、依据各自的更新规则对跟踪目标判别模型Gt和检测目标判别模型Mt进行模型更新，然后跳转到步骤S2，进行接下来图片帧的目标跟踪。2.根据权利要求1所述的一种基于目标显著性特征的目标跟踪方法，其特征在于，所述的步骤S1过程如下：S11、给定一系列视频帧，在第一帧中框定出所要跟踪的目标以及位置信息，即宽高和中心点坐标；S12、根据目标的初始位置截取兴趣区域生成到目标的初始类别，并且将目标兴趣区域作为该初始类别的类别中心；S13、利用第一帧的信息对跟踪目标判别模型M1和检测目标判别模型G1初始化。3.根据权利要求1所述的一种基于目标显著性特征的目标跟踪方法，其特征在于，所述的步骤S2过程如下：S21、从第t帧图像开始，利用上一帧的跟踪结果确定出目标区域的大小w×h，其中w、h分别是指框定出的目标区域的宽度以及高度；S22、框定出以中心位置为中心，宽高大小为(w+k)×(h+k)的当前帧图像的目标检测区域：k＝α*(w+h)/2其中α为可调整参数，k为检测区域的扩展系数；S23、其中将目标中心周围(w-k)×(h-k)所框定的区域用Zf表示，代表前景区域，在每帧中划定的目标区域与(w+k)×(h+k...

【专利技术属性】
技术研发人员：张鑫，丁新尧，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44