基于TLD改进算法的视频车辆目标跟踪算法制造技术

基于TLD改进算法的视频车辆目标跟踪算法,首先输入视频，标定跟踪目标；其次使用LK光流跟踪器对目标进行跟踪，通过将视频帧均匀画网格，选取每个网格的左上角顶点为特征点，然后使用前向后向轨迹光流法来跟踪预测这些特征点在下一帧中的位置；并且对TLD跟踪器模块进行改进优化，引入Kalman滤波和粒子滤波，同时运用随机蕨分类器进行扫描，生成一个二进制的编码x。编码x指向决策树某个叶子节点的后验概率Pi(y\x)，其中y∈(0,1)。然后求得所有相互独立的决策树输出的后验概率的平均值；接着通过P‑N学习更新分类器；最后通过综合评估，显示准确度最高的跟踪目标。

【技术实现步骤摘要】
基于TLD改进算法的视频车辆目标跟踪算法
本专利技术主要基于对视频中单个物体长时间跟踪算法的研究，并将其应用于车辆检测与目标跟踪领域,并从实际应用的角度出发，提出一种基于机器学习的跟踪算法,属于目标跟踪检测相关领域。
技术介绍
视觉是人类认知世界的重要途径之一，人类所获得的外部世界信息中大约来自于人类视觉系统，人类视觉系统承担了人类生活中的大量信息处理工作，它能够快速准确的完成图形成像、描述、识别与理解等任务。计算机视觉就是在了解人类视觉本质的基础上，用各种成像系统代替人类视觉器官，用计算机代替人脑完成对输入图像的处理和解释。计算机视觉的最终研究目标就是使计算机能够像人类那样通过视觉观察、理解世界，并最终具有自主适应环境的能力。计算机视觉作为人工智能领域的热门学科之一，它是一门综合性的学科，吸引了来自各个学科的研究者加入到对它的研究之中，它融合了信号处理、计算机科学和工程物理学、应用数学与统计学、神经生理学等学科领域的研究方法与成果。同样的，视频目标跟踪也是一项融合了多学科的复杂课题。其中包括图像处理、模式识别和随机过程以及概率论和偏微分方程等。根据目标跟踪系统中实现跟踪的具体过程，从一种全新的角度总结出了一般的目标跟踪方法体系结构。其方法结构分为以下三个部分(1)跟踪目标的特征选取和表示；(2)跟踪目标的跟踪常用的算法框架；(3)跟踪目标预测算法。目前所了解目标跟踪的具体过程分为如下几步，第一步需要在视视频序列中检测出存在有效目标的区域或者有效的目标；第二步对检测出来的有效目标进行科学的分割；提取有效目标的特征特性，并形成有效目标匹配信息模型；根据预测模型预测出在下一时刻目标可能出现的位置信息，从而锁定有效搜索范围；第三步为在预测的搜索范围内用前一时刻的目标信息模板进行有效目标匹配，从而找到最佳的匹配位置。如果在事先预测的范围内没有找到有效目标，就需要进行特定科学处理。方法是首先利用匹配到的疑似目标修正有效目标跟踪的信息模板。并重复上述三步过程。视频目标跟踪技术作为计算机视觉领域的热门研究课题之一，受到了国内外学者和研究机构的广泛关注。所谓的视频目标跟踪技术是指由计算机模仿人类视觉系统，通过对摄像头所得图像序列的分析，计算出用户感兴趣目标的位置参数，如目标的二维坐标位置、目标所占的图像区域、目标的大小等等，并根据目标的不同特征，对图像序列中的同一运动目标进行关联，得到该运动目标的完整运动轨迹。经过多年的发展，视频目标跟踪技术已广泛应用于生活及军事中的多个方面。在这里研究的车辆检测与跟踪,便是其中重要的应用。随着经济的发展，车辆逐渐增多，迅速发展的数字存储、计算能力和视频压缩标准导致视频内容的强劲增长，产生了海量的道路视频数据，人工监测是一项枯燥而且费时的工作。基于视觉的视频检测技术过程很少有人为因素(注意力不集中、反应能力慢等)的不良影响，而且可以一天24小时的不间断工作，节约大量人力、物力、财力等的同时对视频图像帧中出现的异常情况不会发生误报与漏报。这使得基于视频的自动监测技术具有重要的价值、意义重大。
技术实现思路
本专利技术的目的旨在提高长时间视频目标跟踪的准确性，并提高跟踪算法的抗遮挡能力。为达到上述目的，本专利技术提出一种基于TLD改进算法的视频车辆目标跟踪算法，包括以下步骤：步骤1，输入视频，标定跟踪目标；步骤2.1，使用LK光流跟踪器对目标进行跟踪,并提出跟踪器改进优化方法；步骤2.2，运用随机蕨分类器进行扫描；步骤3，通过P-N学习更新分类器；步骤4，显示跟踪目标。基于TLD改进算法的视频车辆目标跟踪算法，其特征在于，包括以下步骤：第一步，输入视频，标定跟踪目标；第二步，初始化LK光流跟踪器和随机蕨分类器，对目标进行扫描和跟踪；TLD中的跟踪器使用的是一种基于前向后向轨迹的LK光流法；当前帧为It下一帧为It+1，前向后向轨迹光流法则在由It预测出It+1之后，利用It+1中预测得到的点，再做反向预测，即由It+1预测到It，通过这种前向后向轨迹预测得到一个位移偏差；如果反向预测得到的It中的特征点与原来已知的It中的特征点位移偏差大于阈值16，则将It+1中预测出的偏差较大的特征点排除；在舍去了当前帧中位移偏差较大的特征点之后，便获得了当前帧和下一帧中完全对应的点；分别对前后两帧中相互对应的点周围的图像区域做模板匹配，计算出图像区域之间的相似度，一旦相似度小于所有图像区域相似度的中值，则将这些相似度小的预测点进一步排除；分别计算剩余对应点之间x方向和y方向偏移量的中间值，作为新的预测框在x和y方向的尺度变化因子，再根据尺度变化因子求出下一帧预测框的位置和大小；以此类推，得到初步跟踪结果；随机蕨分类器由许多个基础分类器组成；分类器的处理对象与跟踪器的处理对象相同,均为当前图像帧,且分类器与检测器的工作同时进行；每一个基础分类器i在图像块上按照初始时确定的像素点对采集像素点对灰度的差值，生成一个二进制的编码x；编码x指向决策树某个叶子节点的后验概率Pi(y\x)，其中y∈(0,1)；然后求得所有相互独立的决策树输出的后验概率的平均值；平均值大于50％的图像块通过该分类器，输出结果作为标记样本进入下一模块；第三步，通过P-N学习更新分类器；通过先验标记样本和未标记的样本来学习分类器；标记样本来源于分类器的输出结果；学习由两类结构约束组成，即正约束和负约束；约束对未被标记的样本进行标记分类，之后训练分类器；正约束是指将未知样本标记为正样本的约束条件，这里将靠近轨迹附近的样本标记为正样本；负约束是指将未知样本标记为负样本的约束条件，这里将远离轨迹的样本标记为负样本；设x为特征空间X中的一个样本，y表示对应的标记空间Y＝{-1,1}中的一个标记，那么用集合{X,Y}来表示样本空间和对应的标记；P-N学习根据已标记的样本集合{Xl,Yl}来建立分类器，并且训练样本，使用没有标记过的数据Xu来引导分类器工作；第四步，显示跟踪目标；根据P-N学习机制更新随记蕨分类器，显示跟踪结果，再利用分类器判断出的目标框和跟踪器预测出的目标框,与实际目标进行比对，综合判断出最终的准确跟踪结果，以目标框的方式在视频中显示。利用Kalman滤波器或粒子滤波器对跟踪器模块进行改进；S1：Kalman滤波改进方法目标在k时刻的状态向量表示为：Xk＝[xk，yk，x′k，y′k]T，其中，xk，ｙｋ分别表示在x、y方向上的坐标，xk，ｙｋ分别表示目标在x、y方向上的速度，k-1表示上一时刻；选取目标的位置作为观察向量,观测向量表示为：z(k)＝[xck，yck]T,其中,xck、yck分别表示通过观测所获得的目标中心在x、y方向上的位置坐标；目标的中心所做的是变加速直线运动,加速度wk-1随机变化,并且服从高斯分布即wk-1～N(0，σ2w)；根据牛顿运动定律：xk＝xk-1+x′k-1t+0.5wk-1t2yk＝yk-1+y′k-1t+0.5wk-1t2x′k＝x′k-1+wk-1ty′k＝y′k-1+wk-1t那么由此得到过程模型；根据Xk＝AkXk-1+Cwwk-1,得：由观测模型Zk＝HkXk+CvVk得到：利用t表示帧率，则状态转移矩阵、观测矩阵表示为：设置初始时刻目标的状态：其中，x0·y0表示第一帧中目标在x方本文档来自技高网...

【技术保护点】
1.基于TLD改进算法的视频车辆目标跟踪算法，其特征在于，包括以下步骤：第一步，输入视频，标定跟踪目标；第二步，初始化LK光流跟踪器和随机蕨分类器，对目标进行扫描和跟踪；TLD中的跟踪器使用的是一种基于前向后向轨迹的LK光流法；当前帧为It下一帧为It+1，前向后向轨迹光流法则在由It预测出It+1之后，利用It+1中预测得到的点，再做反向预测，即由It+1预测到It，通过这种前向后向轨迹预测得到一个位移偏差；如果反向预测得到的It中的特征点与原来已知的It中的特征点位移偏差大于阈值16，则将It+1中预测出的偏差较大的特征点排除；在舍去了当前帧中位移偏差较大的特征点之后，便获得了当前帧和下一帧中完全对应的点；分别对前后两帧中相互对应的点周围的图像区域做模板匹配，计算出图像区域之间的相似度，一旦相似度小于所有图像区域相似度的中值，则将这些相似度小的预测点进一步排除；分别计算剩余对应点之间x方向和y方向偏移量的中间值，作为新的预测框在x和y方向的尺度变化因子，再根据尺度变化因子求出下一帧预测框的位置和大小；以此类推，得到初步跟踪结果；随机蕨分类器由许多个基础分类器组成；分类器的处理对象与跟踪器的处理对象相同,均为当前图像帧,且分类器与检测器的工作同时进行；每一个基础分类器i在图像块上按照初始时确定的像素点对采集像素点对灰度的差值，生成一个二进制的编码x；编码x指向决策树某个叶子节点的后验概率Pi(y\x)，其中y∈(0,1)；然后求得所有相互独立的决策树输出的后验概率的平均值；平均值大于50％的图像块通过该分类器，输出结果作为标记样本进入下一模块；第三步，通过P‑N学习更新分类器；通过先验标记样本和未标记的样本来学习分类器；标记样本来源于分类器的输出结果；学习由两类结构约束组成，即正约束和负约束；约束对未被标记的样本进行标记分类，之后训练分类器；正约束是指将未知样本标记为正样本的约束条件，这里将靠近轨迹附近的样本标记为正样本；负约束是指将未知样本标记为负样本的约束条件，这里将远离轨迹的样本标记为负样本；设x为特征空间X中的一个样本，y表示对应的标记空间Y＝{‑1,1}中的一个标记，那么用集合{X,Y}来表示样本空间和对应的标记；P‑N学习根据已标记的样本集合{Xl,Yl}来建立分类器，并且训练样本，使用没有标记过的数据Xu来引导分类器工作；第四步，显示跟踪目标；根据P‑N学习机制更新随记蕨分类器，显示跟踪结果，再利用分类器判断出的目标框和跟踪器预测出的目标框,与实际目标进行比对，综合判断出最终的准确跟踪结果，以目标框的方式在视频中显示。...

【技术特征摘要】
1.基于TLD改进算法的视频车辆目标跟踪算法，其特征在于，包括以下步骤：第一步，输入视频，标定跟踪目标；第二步，初始化LK光流跟踪器和随机蕨分类器，对目标进行扫描和跟踪；TLD中的跟踪器使用的是一种基于前向后向轨迹的LK光流法；当前帧为It下一帧为It+1，前向后向轨迹光流法则在由It预测出It+1之后，利用It+1中预测得到的点，再做反向预测，即由It+1预测到It，通过这种前向后向轨迹预测得到一个位移偏差；如果反向预测得到的It中的特征点与原来已知的It中的特征点位移偏差大于阈值16，则将It+1中预测出的偏差较大的特征点排除；在舍去了当前帧中位移偏差较大的特征点之后，便获得了当前帧和下一帧中完全对应的点；分别对前后两帧中相互对应的点周围的图像区域做模板匹配，计算出图像区域之间的相似度，一旦相似度小于所有图像区域相似度的中值，则将这些相似度小的预测点进一步排除；分别计算剩余对应点之间x方向和y方向偏移量的中间值，作为新的预测框在x和y方向的尺度变化因子，再根据尺度变化因子求出下一帧预测框的位置和大小；以此类推，得到初步跟踪结果；随机蕨分类器由许多个基础分类器组成；分类器的处理对象与跟踪器的处理对象相同,均为当前图像帧,且分类器与检测器的工作同时进行；每一个基础分类器i在图像块上按照初始时确定的像素点对采集像素点对灰度的差值，生成一个二进制的编码x；编码x指向决策树某个叶子节点的后验概率Pi(y\x)，其中y∈(0,1)；然后求得所有相互独立的决策树输出的后验概率的平均值；平均值大于50％的图像块通过该分类器，输出结果作为标记样本进入下一模块；第三步，通过P-N学习更新分类器；通过先验标记样本和未标记的样本来学习分类器；标记样本来源于分类器的输出结果；学习由两类结构约束组成，即正约束和负约束；约束对未被标记的样本进行标记分类，之后训练分类器；正约束是指将未知样本标记为正样本的约束条件，这里将靠近轨迹附近的样本标记为正样本；负约束是指将未知样本标记为负样本的约束条件，这里将远离轨迹的样本标记为负样本；设x为特征空间X中的一个样本，y表示对应的标记空间Y＝{-1,1}中的一个标记，那么用集合{X,Y}来表示样本空间和对应的标记；P-N学习根据已标记的样本集合{Xl,Yl}来建立分类器，并且训练样本，使用没有标记过的数据Xu来引导分类器工作；第四步，显示跟踪目标；根据P-N学习机制更新随记蕨分类器，显示跟踪结果，再利用分类器判断出的目标框和跟踪器预测出的目标框,与实际目标进行比对，综合判断出最终的准确跟踪结果，以目标框的方式在视频中显示。2.根据权利要求1所述的方法，其特征在于：利用Kalman滤波器或粒子滤波器对跟踪器模块进行改进；S1:Kalman滤波改进方法目标在k时刻的状态向量表示为:Xk＝[xk，yk，x′k，y′k]T，其中，xk、yk分别表示在x、y方向上的坐标，xk、yk分别表示目标在x、y方向上的速度，k-1表示上一时刻；选取目标的位置作为观察向量,观测向量表示为:z(k)＝[xck，yck]T,其中,xck、yck分别表示通过观测所获得的目标中心在x、y方向上的位置坐标；目标的中心所做的是变加速直线运动,加速度wk-1随机变化,并且服从高斯分布即wk-1～N(0，σ2w)；根据牛顿运动定律:xk＝xk-1+x’k-1t+0.5wk-1t2yk＝yk-...

【专利技术属性】
技术研发人员：孙光民，史殊凡，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11