视频序列中人脸的实时检测与持续跟踪的方法及系统技术方案

本发明专利技术提出一种视频序列中人脸的实时检测与持续跟踪的方法及系统，该方法包括以下步骤：输入视频图像；采用实时人脸检测算法对输入的视频图像进行人脸检测；再采用粗细两级人脸检测算法对检测到的人脸进行检测验证；采用物体跟踪算法跟踪验证后的人脸；通过对跟踪区域的验证对跟踪的人脸进行验证处理。本发明专利技术采用基于ＡｄａＢｏｏｓｔ统计分层分类器的人脸检测方法，实现正面直立人脸的实时检测，并结合基于Ｍｅａｎ　　ｓｈｉｆｔ和直方图特征的人脸跟踪方法，实现了人脸的实时检测和跟踪，本发明专利技术具有检测及跟踪迅速、实时性强的优点。

【技术实现步骤摘要】

本专利技术涉及人脸检测和跟踪领域，尤其是指一种在视频序列中人脸的实时检测与持续跟踪的方法及系统。
技术介绍
人脸是计算机视觉系统中人机交互最便捷的方式之一。人脸检测就是在图像或图像序列中确定所有人脸的位置、大小等信息，而人脸跟踪则是持续跟踪视频序列中的一个或多个检测人脸。人脸检测与跟踪技术不仅是人脸识别、表情识别、人脸合成等技术的必要前提，而且其在智能人机交互、视频会议、智能监控、视频检索等领域有着广泛的应用价值。人脸检测的重要性以及人脸模式的复杂性使得人脸检测课题一直是计算机视觉领域的一个研究热点，相关文献和方法非常多，主要分为基于启发式规则和基于统计模型两类。基于启发式规则的方法首先提取人脸的边缘、肤色、运动、对称性、轮廓、脸部器官等具有明确物理含义的特征，然后按照对人脸的先验知识制定一系列规则，最后通过检验特征是否符合这些先验规则来检测人脸。这类方法速度一般比较快，但要依赖于固定的先验规则，适应变化的能力差，虚警较多。基于统计的方法则是采用大量的“人脸”与“非人脸”样本，通过所采用的像素灰度特征或者其它变换域特征，训练和构造分类器，并利用所构造的分类器对所有可能大小的候选人脸区域进行判断，从而检测得到所有可能位置和大小的人脸。尽管上述的方法是有大量样本训练得到，在统计意义上更为可靠，扩充了检测的范围，提高了检测系统的鲁棒性，较适合于复杂场景中的人脸检测，但是需要的时间比较长，实时性比较差。尽管现有技术中也采用了AdaBoost的人脸检测算法，但是基于上述方法可见，仍然存在训练时间过长、提取的人脸特征数过多的问题，同时现有人脸检测及跟踪技术在获取当前帧目标的位置时仅考虑了前一帧的直方图，将前一帧的直方图作为模板，这样容易导致一些不稳定结果，如果某帧跟踪结果不够准确，则后续帧的跟踪结果也会连续出错，还存在检测左右光照不均匀的人脸的能力差，且容易受噪声干扰，稳定性比较差的问题。并且由于图像是视频摄像头输入的视频序列，这意味着输入摄像头的人脸存在着很大的不确定性，经常受表情、外貌的干扰，胡须、眼镜、头发也会影响人脸的外观。另外，人脸尺寸、旋转、姿态、俯仰的变化、局部区域的遮挡，以及成像条件造成的变化等，都极大地影响人脸的外观，从而影响算法性能。
技术实现思路
本专利技术解决现有技术中采集到的视频序列中进行人脸的实时检测与持续跟踪的方法及系统计算时间比较长、实时性比较差的技术问题，本专利技术的目的是采用基于AdaBoost统计分层分类器的人脸检测方法，实现正面直立人脸的实时检测，并结合基于Mean shift和直方图特征的人脸跟踪方法，实现了人脸的实时检测和跟踪，本专利技术的方法具有检测及跟踪迅速、实时性强的优点。本专利技术的目的是这样实现的一种视频序列中人脸的实时检测与持续跟踪的方法，包括以下步骤输入视频图像；采用实时人脸检测算法对输入的视频图像进行人脸检测；再采用粗细两级人脸检测算法对检测到的人脸进行检测验证；采用物体跟踪算法跟踪验证后的人脸；通过对跟踪区域的验证对跟踪的人脸进行验证处理。所述的实时人脸检测算法是基于AdaBoost算法由多级分类器实现。所述的人脸检测包含以下步骤接收到的图像信息，进行图像缩放，搜索到人脸窗口；对检测到的人脸进行特征点定位，对人脸进行几何归一化；对人脸进行灰度均衡化处理；对人脸进行旋转缩放；得到检测的标准人脸图像。在接收到的图像中检测人脸图像，包括以下步骤对输入的每帧图像进行搜索，如在某帧图像中检测到一个或多个人脸，在接下来的两帧图像中跟踪这些人脸，并对后续两帧图像中跟踪的人脸进行检测和验证；在某位置连续三帧检测到人脸后，确定人脸存在，选择其中一个开始跟踪。本专利技术的方法在对人脸进行灰度均衡化处理后，还包括对人脸两侧灰度分别归一化的步骤，使人脸左右半边灰度的均值和方差相等。所述的人脸旋转缩放后还包括微特征计算以及分类器判决的步骤，该步骤是采用处理后的人脸图像的积分图和平方积分图得到图像中任意尺度、位置的微结构特征。所述的对检测到的人脸进行验证的步骤包括在后续帧中持续跟踪选择的人脸，如相邻帧中后一帧与前一帧的跟踪结果相似度低于设定值，停止跟踪；前一目标停止跟踪后，在后续图像中重新进行人脸检测，直到找到新的人脸，验证后进行跟踪步骤。所述的粗细两级人脸检测算法是将人脸的检测验证分两级实现，粗检测的人脸窗口的分辨率小于细检测的人脸窗口的分辨率。在进行跟踪验证后的人脸步骤中，所述的物体跟踪算法是基于Meanshift和直方图特征做出。所述的直方图包括长期直方图、短期直方图以及颜色直方图。对跟踪区域验证的步骤是指每隔数帧在跟踪区域进行人脸检测。本专利技术还提出一种视频序列中人脸的实时检测与持续跟踪系统，包括人脸检测装置与人脸跟踪装置，人脸检测装置包括人脸处理单元、微特征计算单元及分类器单元；所述的人脸处理单元接收到图像信息，对接收到的图像进行缩放，穷举搜索候选人脸窗口，计算窗口灰度的均值和方差；所述的特征计算单元根据AdaBoost算法计算出各个窗口的微结构特征，并将其传送给所述的分类器单元进行判决，分类器单元进行判决后将其传送给人脸跟踪装置；所述的人脸跟踪装置包括物体跟踪单元和跟踪区域验证单元，物体跟踪单元采用直方图特征进行计算，实现对图像跟踪，跟踪区域验证单元对跟踪的图像进行区域检测，对跟踪的人脸进行验证。所述的人脸检测装置的分类器单元还包含粗细两级人脸检测单元，接收微结构特征，进行粗细两级检测，确定人脸窗口。所述的直方图包括长期直方图、短期直方图以及颜色直方图。本专利技术产生的技术效果是显著的本专利技术所述的方法和系统是基于AdaBoost算法进行检测的，并采用粗模型和细模型进行人脸检测验证，使本专利技术取得非常高的检测率，且检测速度非常快，效率高，可实时实现；本专利技术在检测过程中根据标准人脸灰度的均值和方差对左右人脸分辨率进行灰度的归一化，消除左右人脸光照不均匀的影响；本专利技术在人脸检测完毕后在短时间内继续进行人脸的跟踪和验证，消除人脸检测虚警的影响；人脸跟踪过程中引入长期直方图和短期直方图两个局部特征，反映前面图像中目标直方图的变化过程，保证算法可以跟踪姿态不断变化的运动目标。附图说明图1为本专利技术的人脸检测与跟踪方法的流程图。图2a和图2b为本专利技术的人脸检测与跟踪方法的检测及跟踪结果的示意图。图3为基于AdaBoost分层分类器实现的人脸检测流程示意图。图4为分类器中的部分正样本人脸图像。图5为分类器中部分不包含人脸的反样本图像。图6a至图6d为人脸样本的标定与采集的示意图。图7为经过两侧灰度归一化处理后的样本。图8为原始样本和经过镜像、左右旋转、放大处理后的样本。图9为尺度归一化后的反样本数据。图10为本专利技术的人脸检测算法的实施例选择的七组微特征。图11为AdaBoost训练算法第K层分类器的训练流程示意图。图12a和12b为人脸检测后处理结果一个实施例的示意图。图13a和图13b为本专利技术的人脸跟踪示意图。图14为人脸检测结果示意图。图15为人脸检测与跟踪结果的示意图。图16为本专利技术的系统一种构成框图。图17为本专利技术的系统的另一种构成框图。具体实施例方式本专利技术提出一种在视频序列中人脸的实时检测与持续跟踪的方法，结合图1所示的内容首先，输入视频图像，在该步骤中由摄像头实时输入视频图像；然后，采用实时本文档来自技高网...

【技术保护点】
一种视频序列中人脸的实时检测与持续跟踪的方法，其特征在于，包括以下步骤：输入视频图像；采用实时人脸检测算法对输入的视频图像进行人脸检测；再采用粗细两级人脸检测算法对检测到的人脸进行检测验证；采用物体跟踪算法跟 踪验证后的人脸；通过对跟踪区域的验证对跟踪的人脸进行验证处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄英，王浩，俞青，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11[中国|北京]