基于特征光流与在线集成学习的视频目标跟踪方法技术

本发明专利技术公开了一种基于特征光流与在线集成学习的视频目标跟踪方法，用于解决现有的数字视频中的特定目标的跟踪方法跟踪结果差的技术问题。技术方案是跟踪部分输入视频序列，用OpenCV自带的函数对每一帧的特征点用迭代金字塔光流法进行跟踪，得到下一帧这些特征点的位置；检测部分选择正样本或者负样本进行adaboost算法的处理；对跟踪部分和检测部分得到的目标可能位置进行机器学习。由于将跟踪和检测的特征提取方式分离开来；在检测过程中添加了目标可能出现的位置限制的过滤，将距离目标较远的可能目标去除；再次得到跟踪和检测结果后，自适应地计算目标与在线模型的Fisher鉴别比来确定对应权重，而不是以一个固定的数值来对两个结果进行融合，因此跟踪效果较好。

【技术实现步骤摘要】
本专利技术涉及一种视频目标跟踪方法，特别是涉及一种基于特征光流与在线集成学习的视频目标跟踪方法。
技术介绍
视频目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广泛地应用到科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域，因而研究目标跟踪技术有着重大的实用价值。现有的特定目标跟踪方法主要有基于检测的方法，如帧间差分方法、背景差分方法、运动场估计方法。基于识别的方法，如区域匹配方法、模型匹配方法、频率域匹配方法和特征匹配方法。文献“Online learning of robust object detectors during unstabletracking, 0LCV, 2009 ”公开了一种数字视频中的特定目标的跟踪方法，该方法采用跟 踪-建模-检测(TMD)方法。跟踪部分采用改进的加入了中值处理的Lucas-Kanade光流法实现的一个短期跟踪器来对特定目标进行跟踪，估计出目标下一帧出现的位置；而在线检测器是基于随机森林形式的分类器，随机森林中每棵树上的每个特征代表了这棵树在某个层面上的一种衡量，特征选用在某个区域衡量梯度方向并将其数字化的2bitBP特征，通过投票的方式决定输入的图像块是否是潜在目标；建模部分的在线模型用一系列15X15的强度归一化的小块来表现，从跟踪器轨迹和模型更新选择出来的适当的样本来添加进在线模型，同时将错检的可能目标移出模型。但是，特征产生过程中采用随机生成一些特征点，利用前向后向误差判定来确定稳定的点，由于特征是随机产生的，所以具有不确定性，而且跟踪部分和检测部分都采用的是同一组特征，若特征发生错误，则跟踪和检测部分的结果将同时不准确，对于错误特征有局限性且容错性差。而且对跟踪结果和检测结果的权重分配也是一个固定值，不能自适应地进行调整。
技术实现思路
为了克服现有的数字视频中的特定目标的跟踪方法跟踪结果差的不足，本专利技术提供一种基于特征光流与在线集成学习的视频目标跟踪方法。该方法将跟踪和检测的特征提取方式分离开来；在检测过程中添加了目标可能出现的位置限制的过滤，将距离目标较远的可能目标去除；再次得到跟踪和检测结果后，自适应地计算目标与在线模型的Fisher鉴别比来确定对应权重，而不是以一个固定的数值来对两个结果进行融合，可以得到较好的跟踪效果。本专利技术解决其技术问题所采用的技术方案是一种基于特征光流与在线集成学习的视频目标跟踪方法，其特点是包括以下步骤步骤一、对原始视频的每帧图像用OpenCV提取稳定的特征点，其中包括图像序列中一直稳定存在的特征点和每一巾贞会新增加的特征点，用OpenCV自带的迭代光流法来跟踪这些特征点在下一帧的位置。进行目标未缩放跟踪的处理，首先判断OpenCV检测出来的特征点的数目是否达到RANSAC算法所要求的最少特征点数目。若特征点数目 <最少特征点数目，则分别统计这几个特征点在X方向和y方向的位移，排序后选择中位值作为整个目标在X方向和y方向的位移；若特征点的数目 >最少特征点数目，则运用RANSAC算法先去除坏点，再计算出前一帧目标边界框到后一帧目标边界框的转换矩阵。得到目标未缩放时前一帧目标边界框对应的后一帧目标边界框的位置。在得到目标未缩放的边界框的位置后进行缩放处理，首先以目标边界框的长和宽中较小的一个为基准，从_5到5个像素进行缩放，对应的另外一边也按照从_5到5个像素进行缩放；采用公式本文档来自技高网...

【技术保护点】
一种基于特征光流与在线集成学习的视频目标跟踪方法，其特征在于包括以下步骤：步骤一、对原始视频的每帧图像用OpenCV提取稳定的特征点，其中包括图像序列中一直稳定存在的特征点和每一帧会新增加的特征点，用OpenCV自带的迭代光流法来跟踪这些特征点在下一帧的位置；进行目标未缩放跟踪的处理，首先判断OpenCV检测出来的特征点的数目是否达到RANSAC算法所要求的最少特征点数目；若特征点数目＜最少特征点数目，则分别统计这几个特征点在x方向和y方向的位移，排序后选择中位值作为整个目标在x方向和y方向的位移；若特征点的数目≥最少特征点数目，则运用RANSAC算法先去除坏点，再计算出前一帧目标边界框到后一帧目标边界框的转换矩阵；得到目标未缩放时前一帧目标边界框对应的后一帧目标边界框的位置；在得到目标未缩放的边界框的位置后进行缩放处理，首先以目标边界框的长和宽中较小的一个为基准，从.5到5个像素进行缩放，对应的另外一边也按照从？5到5个像素进行缩放；采用公式Total=Σi=1mΣj=1n|img2(itemp,jtemp)-img1(i,j)|---(1)计算这几种缩放情况下累计灰度误差，选择累计灰度误差最小的一个缩放比例作为最终的缩放结果；式中，img1为前一帧图像，img2为后一帧图像，m、n分别为前一帧的边界框的宽和高，itemp、jtemp分别是img2中对应img1中i、j的坐标；步骤二、训练集采用第一帧给出的特定目标以及特定目标多个仿射变换后的目标作为正样本，图像不涉及目标部分随机选取作为负样本；接着生成检测部分需要用到的2bitBP特征矩形框，用adaboost算法error=min(ΣWeight(i，j))，if(X(i，j)≠Y(j)，j∈F)α=log((1？error)/error)/2？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？（2）Weight(i,j)=Weight(i,j)×e-α,if(X(i,j)=Y(j))Weight(i,j)=Weight(i,j)×eα,if(X(i,j)≠Y(j))从2bitBP特征矩形框中选择出弱分类器组成一个强分类器，每次选择错误率最小的分类器作为一个弱分类器，最终的强分类器作为在线检测器的分类器；式中，F是特征 集合，i是第i个特征而j是第j个样本，X(i，j)是第i个特征判断第j个样本的标签，Y是第j个样本真正的标签，Weight(i，j)是第j个样本的权值，α是该特征的系数；用一个窗口来扫描一幅图像，将每次产生的图像块输入到检测部分，用公式Ppositive=Σi=1Nflag×xishupositive(i),flag=1,if(StrongClassifer(i)>=0.5)flag=-1,if(StrongClassifer(i)<0.5)？？？？？？？？？？？？？？？？？？？？？？？？？？？？？(3)Pnegative=Σi=1Nflag×xishunegative(i),flag=1,if(NegativeClassifer(i)>=0.5)flag=-1,if(NegativeClassifer(i)<0.5)计算正样本或者负样本图像块，当满足公式Ppositive≥sum(xishupositive)/2Ppositive≥Pnegative---(4)的图像块暂时标记为正样本；式中，Ppositive、xishupositive(i)分别代表是正样本的可能性和第i个特征对应的系数，而Pnegative、xishunegative(i)分别代表是负样本的可能性和第i个特征对应的系数；如果是正样本的可能性不小于是负样本的可能性而且正样本的可能性不小于所有特征系数之和的一半，则暂时判定该图像块是正样本；对初始判定为正样本的图像块再进行过滤：(ⅰ)初始化中用NCCdistance=1？NCC衡量各个样本与最近邻正样本或者最近邻负样本的相关相似性和固有相似性，满足标签为1但相关相似性＜0.65的加入最近邻正样本中，标签为0但相关相似性＞0.5的加入最近邻负样本中；把概率分类器输出的结果输入最近邻分类器，过滤掉与最近邻正样本、负样本的相关相似性≤0.4的结果；(ⅱ)用1？overlap来作为两个边界框的距离，其中overlap是两个边界框的覆盖百分...

【技术特征摘要】
1.一种基于特征光流与在线集成学习的视频目标跟踪方法，其特征在于包括以下步骤 步骤一、对原始视频的每帧图像用OpenCV提取稳定的特征点，其中包括图像序列中一直稳定存在的特征点和每一巾贞会新增加的特征点，用OpenCV自带的迭代光流法来跟踪这些特征点在下一帧的位置； 进行目标未缩放跟踪的处理，首先判断OpenCV检测出来的特征点的数目是否达到RANSAC算法所要求的最少特征点数目；若特征点数目 <最少特征点数目，则分别统计这几个特...

【专利技术属性】
技术研发人员：张艳宁，杨涛，屈冰欣，陈挺，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：