一种基于样本学习和目标检测结合的目标跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种基于样本学习和目标检测结合的目标跟踪方法和装置，读取视频序列，将视频序列中当前视频帧转化为灰度图像；采用Lucas‑Kanade光流法跟踪灰度图像中的目标；检测当前视频帧中目标，获取正确的样本区域中心集合；对正确的样本区域中心集合进行一致性检查，得到小于设定距离阈值的样本区域集合，并进行正负样本学习；计算正负样本学习得到的样本区域集合中每个样本区域与目标跟踪获得的跟踪结果的面积重叠百分比，并计算重叠百分比超过50％的样本区域所在中心的均值，得到跟踪结果。本发明专利技术以目标跟踪算法作为基础框架，引入HOG特征和SVM分类器，解决了行人跟踪中的诸多问题，达到更好的跟踪效果。

A target tracking method and device based on sample learning and target detection

The invention discloses a target tracking method and device based on the combination of sample learning and target detection, which reads the video sequence, converts the current video frame into gray-scale image, tracks the target in gray-scale image by using Lucas_Kanade optical flow method, detects the target in the current video frame, and obtains the correct sample area. Center set; check the consistency of the center set of the correct sample area, get the sample area set less than the set distance threshold, and learn the positive and negative samples; calculate the area overlap percentage of each sample area in the sample area set learnt from the positive and negative samples and track the target, and calculate The average value of the center of the sample area with a overlap percentage of more than 50% is obtained, and the tracking results are obtained. The invention takes the target tracking algorithm as the basic frame, introduces the HOG feature and SVM classifier, solves many problems in pedestrian tracking, and achieves better tracking effect.

【技术实现步骤摘要】
一种基于样本学习和目标检测结合的目标跟踪方法和装置
本专利技术涉及视频图像处理
，具体涉及一种基于样本学习和目标检测结合的适合对视频行人进行长时间稳定的目标跟踪方法和装置。
技术介绍
行人跟踪作为视频图像处理的一个重要研究方向，对后期的人体运动信息提取、处理、理解，环境信息三维立体重建等，具有先导作用，也被用作行人识别的辅助方法，其用途广泛。目前比较成熟的行人跟踪算法从技术角度主要分为两类：第一类是传统的经典跟踪算法，包括基于点的跟踪、基于统计的跟踪、基于轮廓的跟踪等，这类方法所建立的数学模型相对简单，运用单纯的目标跟踪理论，技术已经比较成熟，实际应用已经非常广泛；第二类是综合跟踪算法，包括基于机器学习的跟踪算法和目标检测与跟踪综合算法等，这一类算法综合运用了机器学习、检测、识别等多种手段，已经不再是单纯的目标跟踪，在提高跟踪效果的同时，对运算速度较为敏感，算法复杂度方面也有待进一步改进。目前，在国内外有众多机构都在进行行人跟踪方向的研究。Kalal等提出了多种视频跟踪算法，包括TLD方法、在线检测方法、错误目标自动检测方法和boosting方法；AlbertoBroggi在其主导的ARGO项目中采用了一种基于外形的行人跟踪方法，该算法首先根据人体左右对称的特点，收集目标行人在垂直方向上边缘对称、外貌和尺寸比例等特征，在图像中找到感兴趣的候选区域，然后提取出垂直边缘,选取具有较高对称性的区域。美国麻省理工大学的M.Oren与C.Papageorgiou合作创建了Haar小波模板，并将其引入到行人跟踪领域中。Haar小波模板比较适合用于表示结构较为简单的物体，效果较好而且速度快，目前已经被广泛应用于行人跟踪过程中。Haar小波模板行人跟踪算法依靠其优异的特性，成为了行人跟踪的经典算法之一。NavneetDalal和BillTriggs使用梯度方向直方图(HOG)来表示人体特征，通过在INRIAPerson数据集中的测试，该方法成功率高，在行人方面有着很强的鲁棒性，特别是在道路行人跟踪的应用场景中，效果非常好。伊利诺伊大学的Niebles.J.C等人，采用将AdaBoost分类器级联的方法进行人体的识别，并将该算法引入到了行人跟踪的领域，使得行人跟踪的效果有了进一步提高。中国科学院自动化所谭铁牛等人对人体运动进行了图像分析,该方法的思路是利用机器视觉技术在视频流中检测、跟踪、识别行人，然后对目标行人的动作、行为等进行理解和描述,该方法主要应用在监控领域和基于姿态的身份识别中。通过实验，该算法不仅在对行人的跟踪和识别方面具有良好的特性，而且，更难能可贵的是其算法的时间复杂度也比其他类似算法要低。但是，当行人停止运动时，该算法会失效。西安交通大学郑南宁等通过稀疏Gabor滤波器提取目标行人的特征,然后使用这些特征来对SVM分类器进行训练。这种方法时间复杂度较高，难以达到实时处理的要求。上海交通大学的田广等人提出了一种coarse-to-fine的行人跟踪方法,先用一个训练好的形体整体分类器在图像中搜索和判别是否有行人，产生候选区域后，再使用各人体部位的局部分类器进一步确定候选区域中的行人。结果显示该方法能够在较为复杂的背景环境中跟踪行人，但是该算法的模型比较难构建，而且求解也比较复杂。综上所述，现有技术中对于行人停止运动时，如何进行行人的跟踪和识别，算法时间复杂度较高，难以达到实时处理，在较为复杂的背景环境中跟踪行人，难构建算法模型，求解比较复杂的问题，尚缺乏有效的解决方案
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种基于样本学习和目标检测结合的适合对视频行人进行长时间稳定的目标跟踪方法和装置，以TLD目标跟踪算法作为基础框架，引入HOG特征和SVM分类器，解决了现有跟踪算法求解复杂，难以达到实时处理的问题，实现了对视频目标的实时准确跟踪。本专利技术所采用的技术方案是：一种基于样本学习和目标检测结合的目标跟踪方法，该方法包括以下步骤：步骤1：读取视频序列，将视频序列中当前视频帧转化为灰度图像；步骤2：采用Lucas-Kanade光流法跟踪灰度图像中的目标；步骤3：检测当前视频帧中目标，获取正确的样本区域中心集合；步骤4：对正确的样本区域中心集合进行一致性检查，得到小于设定距离阈值的样本区域集合，并进行正负样本学习；步骤5：计算步骤4得到的样本区域集合中每个样本区域与步骤2获得的跟踪结果的面积重叠百分比，并计算重叠百分比超过50％的样本区域所在中心的均值，得到跟踪结果。进一步的，所述检测当前视频帧的采样区域，包括：初始化采样网格、方差分类器和SVM分类器；训练方差分类器、集合分类器、最近分类器和SVM分类器。进一步的，所述初始化采样网格、方差分类器和SVM分类器，包括：初始化采样网格，确定在当前视频帧中采样区域的中心点坐标及采样区域的宽和高；初始化方差分类器，得到方差分类器阈值；初始化SVM分类器，将SVM分类器的核函数设定为SVM分类器的径向基函数。进一步的，所述训练方差分类器、集合分类器、最近分类器和SVM分类器的方法为：比较采样区域集合中每个采样区域中心点和上一视频帧的目标的欧氏距离与设定的欧式距离阈值的大小，获取正样本中心集合和负样本中心集合；将正样本中心集合和负样本中心集合分别输入SVM分类器的径向基函数，计算分类超平面；计算正样本中心集合中每个正样本对应区域的方差，将方差大于方差分类器阈值的区域的中心作为第一正样本中心；利用随机四叉树模型对第一正样本中心对应的区域进行分类，将分类后的正样本对应的区域中心作为第二正样本中心；将第二正样本中心对应的区域进行近邻聚类，将聚类结果中与上一帧检测到的跟踪目标相似程度最高的区域的中心为第三样本中心；提取第三样本中心对应区域的梯度直方图特征，计算最优超平面作为决策函数，对SVM分类器进行训练；通过训练后的SVM分类器对第三样本中心进行分类，得到正确的样本区域中心集合。进一步的，所述获取正样本中心集合和负样本中心集合的方法为：比较当前视频帧的采样区域集合中每个采样区域中心点与上一视频帧中的目标所在区域的欧氏距离与距离阈值的大小；若采样区域中心点与上一视频帧中的目标所在区域的欧氏距离小于或等于距离阈值，则该采样距离中心为正样本，建立正样本中心集合；若采样区域中心点与上一视频帧中的目标所在区域的欧氏距离大于距离阈值，则该采样距离中心为负样本，建立负样本中心集合。进一步的，所述对正确的样本区域中心集合进行一致性检查，得到小于设定距离阈值的样本区域集合，并进行正负样本学习，包括：比较正确的样本区域中心集合中每个样本区域和当前视频帧中的目标所在区域的距离与设定的距离阈值的大小，从正确的样本区域中心集合中搜索距离小于设定的距离阈值的样本区域；将搜索到的样本区域加入正样本集合；将负样本中心集合加入负样本集合；利用正样本集合和负样本集合重新计算随机四叉树模型；利用正样本集合和负样本集合重新训练SVM分类器的径向基函数。进一步的，若正确的样本区域中心集合中每个样本区域和当前视频帧中的目标所在区域的距离均不小于设定的距离阈值，则返回步骤1，重新读取当前视频帧。一种基于学习和检测结合的视频行人跟踪装置，该装置包括：视频序列输入模块，用于读取视频序列，将视频序列中当前本文档来自技高网...

【技术保护点】
1.一种基于样本学习和目标检测结合的目标跟踪方法，其特征是，包括以下步骤：步骤1：读取视频序列，将视频序列中当前视频帧转化为灰度图像；步骤2：采用Lucas‑Kanade光流法跟踪灰度图像中的目标；步骤3：检测当前视频帧中目标，获取正确的样本区域中心集合；步骤4：对正确的样本区域中心集合进行一致性检查，得到小于设定距离阈值的样本区域集合，并进行正负样本学习；步骤5：计算步骤4得到的样本区域集合中每个样本区域与步骤2获得的跟踪结果的面积重叠百分比，并计算重叠百分比超过50％的样本区域所在中心的均值，得到跟踪结果。

【技术特征摘要】
1.一种基于样本学习和目标检测结合的目标跟踪方法，其特征是，包括以下步骤：步骤1：读取视频序列，将视频序列中当前视频帧转化为灰度图像；步骤2：采用Lucas-Kanade光流法跟踪灰度图像中的目标；步骤3：检测当前视频帧中目标，获取正确的样本区域中心集合；步骤4：对正确的样本区域中心集合进行一致性检查，得到小于设定距离阈值的样本区域集合，并进行正负样本学习；步骤5：计算步骤4得到的样本区域集合中每个样本区域与步骤2获得的跟踪结果的面积重叠百分比，并计算重叠百分比超过50％的样本区域所在中心的均值，得到跟踪结果。2.根据权利要求1所述的基于样本学习和目标检测结合的目标跟踪方法，其特征是，所述检测当前视频帧的采样区域，包括：初始化采样网格、方差分类器和SVM分类器；训练方差分类器、集合分类器、最近分类器和SVM分类器。3.根据权利要求2所述的基于样本学习和目标检测结合的目标跟踪方法，其特征是，所述初始化采样网格、方差分类器和SVM分类器，包括：初始化采样网格，确定在当前视频帧中采样区域的中心点坐标及采样区域的宽和高；初始化方差分类器，得到方差分类器阈值；初始化SVM分类器，将SVM分类器的核函数设定为SVM分类器的径向基函数。4.根据权利要求2所述的基于样本学习和目标检测结合的目标跟踪方法，其特征是，所述训练方差分类器、集合分类器、最近分类器和SVM分类器的方法为：比较采样区域集合中每个采样区域中心点和上一视频帧的目标的欧氏距离与设定的欧式距离阈值的大小，获取正样本中心集合和负样本中心集合；将正样本中心集合和负样本中心集合分别输入SVM分类器的径向基函数，计算分类超平面；计算正样本中心集合中每个正样本对应区域的方差，将方差大于方差分类器阈值的区域的中心作为第一正样本中心；利用随机四叉树模型对第一正样本中心对应的区域进行分类，将分类后的正样本对应的区域中心作为第二正样本中心；将第二正样本中心对应的区域进行近邻聚类，将聚类结果中与上一帧检测到的跟踪目标相似程度最高的区域的中心为第三样本中心；提取第三样本中心对应区域的梯度直方图特征，计算最优超平面作为决策函数，对SVM分类器进行训练；通过训练后的SVM分类器对第三样本...

【专利技术属性】
技术研发人员：许化强，万洪林，白成杰，李奇林，高鉴，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37