基于视频流的三维人脸动作检测和跟踪方法技术

本发明专利技术提出了一种基于视频流的三维人脸动作检测和跟踪方法。该方法首先在视频图像中检测到人脸和人脸上关键点的位置，初始化用于跟踪的三维可变形人脸网格模型和人脸纹理模型；然后使用这两个模型，采用图像配准的方法，对后续视频图像中人脸的位置、姿态和面部动作进行实时、持续的跟踪；一个ＰＣＡ人脸子空间模型用于对检测、定位和跟踪的结果进行评估，如果发现跟踪中断，则自动采取措施重新恢复跟踪。本方法不需要对特定的使用者进行训练，头部姿态跟踪范围大，面部动作细节准确，且对光照和遮挡具有一定鲁棒性，在人机交互，表情分析，游戏娱乐等领域具有较高的实用价值和广泛的应用前景。

【技术实现步骤摘要】

本专利技术涉及人脸检测和跟踪领域，尤其是指一种在视频流中对三维人 脸及人脸动作进行检测和跟踪的方法。
技术介绍
人脸是每个人都具有的重要特征，是最自然、最常用的交互手段之一， 在计算机视觉和图形学等领域具有相当广泛的应用，例如人机交互，安全 监控，游戏娱乐，计算机动画等。对人脸和人脸动作进行实时、准确的检 测和跟踪，在理论上和实际中都具有重要的意义。如何建立有效的模型， 选择最具表达能力的特征，构造准确的分类器，实现高效稳定的跟踪算法， 都是人们关心的理论问题。如果能够得到对人脸及人脸动作的准确的检测 和跟踪结果，就可以用来控制电脑中的对象或角色，或者用来辅助生成具 有真实感的人脸动画，或者从中获得表情信息。以往对这方面问题的研究， 主要集中在人脸检测，人脸关键点定位，人脸和人脸关键点跟踪这几个方 面。人脸检测可以分为基于规则的检测方法和基于统计的检测方法两类。 基于规则的检测方法是指，首先从候选图像中抽取几何形状、灰度、纹理 等特征，然后检验它们是否符合关于人脸的先验知识。基于统计的检测方 法，将人脸区域看作一类模式，使用大量的人脸与非人脸样本进 行训练，构造分类器，然后使用分类器判断候选图像是否具有人脸模式。因此，人脸检测问题被转化为统计模式识别的二分类问题。P. Viola等人 在2001年提出的综合Adaboost和Cascade算法实现的实时人脸检测算法， 在提高人脸检测精度的同时也大幅度地提高了检测速度，使得人脸检测从 真正意义上走向实用。5人脸关键点定位即是检测由眉毛，眼睛，鼻子，嘴巴，以及人脸轮廓 等确定的一系列关键点的位置。人脸关键点定位方法可以分为基于可变形 人脸模型的方法，基于投影直方图分析的方法和模板匹配的方法三类。可 变形人脸模型的方法即首先通过训练的方法建立一个包含人脸关键点分 布的模型，使用形状，纹理等特征，对模型参数进行调整，得到输入人脸上关键点的位置。典型的例子是Cootes等人提出的ASM方法和AAM方法。 基于投影直方图分析的方法是早期的人脸关键点定位常用的方法，这种方 法基于人脸器官的灰度分布特点，对一定宽度的一个区域带，利用灰度的 水平和垂直积分直方图的峰谷特征，进行人脸器官和关键点的定位。模版 匹配的方法是指，利用人脸或器官的模板在候选窗口逐点滑动进行特征匹 配定位。例如首先使用眼睛样本建立分类器，然后在人脸区域上部使用这 一分类器搜索最符合眼睛模式的区域，从而实现眼睛的定位。人脸和人脸关键点跟踪的是在已经确定人脸和人脸关键点位置、姿态 等参数的条件下，在后续视频序列保持这些参数的输出。人脸跟踪等价于 在连续的视频帧间创建基于位置、速度、形状、纹理、色彩等有关特征的 对应匹配问题，常用的跟踪算法可以分为基于模型的方法和不使用模型的 方法两类，二者的区别在于是否使用到人脸这一特定对象的知识。人脸检测，关键点定位，以及跟踪，常常结合在一起形成一个统一的 整体，以获得对人脸位置、姿态和动作的完整表达。在对视频序列进行处 理和分析的过程中，算法的准确性常常受到很多干扰因素的影响，例如光 照条件的变化，人脸区域受到遮挡等。另外，当人脸位置、姿态或动作参 数变化比较剧烈时，检测和跟踪的结果往往也会产生较大的误差。这些都 是设计人脸及人脸动作检测和跟踪方法需要考虑的问题。现有技术在人脸及人脸动作跟踪方面，仍然存在一些缺陷，制约着相 关应用的实现。在跟踪精度方面，现有技术难以达到很高的精度，表现在 对面部器官形状和动作细节的刻画能力不足。在跟踪的稳定性方面，当头 部动作变化范围较大，或者运动速度过快，或者面部表情较大时，很多跟 踪方法无法收敛到正确的结果。在实用性方面，现有技术对于检测、定位、 跟踪这三者的结合，仍然缺少完整有效的解决方案。本专利技术针对这些问题， 平衡各方面性能的需求，同时考虑到实际应用中对计算速度的要求，给出了有效的解决方法。
技术实现思路
本专利技术的目的在于提供一种基于视频流的人脸及人脸动作检测和实 时跟踪的方法。三维可变形人脸网格的位置、姿态、形状和动作参数用来 描述人脸和人脸动作。本专利技术提供的方法不需要对特定的使用者进行训 练，不需要使用者手工参与，可以实现自动从视频流的前若干帧中检测出 人脸及人脸关键点的位置，然后就可以在头部存在较大范围的转动，较高 速度的运动，以及在较大程度的表情变化的情况下，进行人脸位置、姿态 和动作的跟踪。唯一的限制是用户在视频流的起始阶段为正面姿态和中性 表情。本专利技术提供的方法具有检测和跟踪准确，动作跟踪精细，实时性强 的优点。本专利技术提供的基于视频的人脸及人脸动作检测和跟踪方法，包括以下 步骤(1) 采用自动人脸检测和定位算法，对输入视频图像上人脸及人脸关键点位置进行检测和定位。人脸检测方法采用了 Adaboost和Cascade 结合的人脸分类器，人脸关键点定位采用了 AAM算法。(2) 使用检测和定位的结果对三维可变形人脸网格模型的形状、位 置和姿态进行初始化。包括以下步骤(21) 使用将双眼和嘴巴中心三个点对齐的人脸样本，训练一个PCA 人脸子空间，用于对检测和定位的结果进行评估；(22) 根据检测和定位的结果，采用最大化后验概率的方法，调整三 维可变形人脸网格模型的形状、位置和姿态参数；(23) 根据三维可变形人脸网格的形状、位置和姿态参数，采用纹理 映射的方法，计算出形状和动作无关纹理图像；(24) 使用(21)中所述的PCA人脸子空间，对二维形状和动作无关 纹理图像进行评估；(25) 根据评估的结果，决定如何采用本次人脸检测和定位的结果对 三维可变形人脸网格模型的形状、位置和姿态参数进行初始化。如果评估 显示本次人脸检测和定位准确，则将这一结果记录下来，当准确检测和定7位次数达到设定值时，使用所有已经记录的结果的均值对三维可变形人脸 网格模型的形状、位置和姿态参数进行初始化。(3) 在对三维可变形人脸网格模型的形状、位置和姿态进行初始化 的同时，初始化人脸纹理模型。包括以下步骤(31) 建立人脸纹理模型为每个像素都符合高斯分布的灰度图像，并 为每个像素设置可信度指标和初始化完成度指标。(32) 根据三维可变形人脸网格的形状、位置和姿态参数，采用纹理 映射的方法，计算出形状和动作无关纹理图像；(33) 根据三维可变形人脸网格的形状、位置和姿态参数，计算出形 状和动作无关纹理图像上每个像素的可信度指标。(34) 使用形状和动作无关纹理图像，设置人脸纹理模型中每个像素 高斯分布的均值，设置每个像素的可信度指标，并根据可信度指标计算每 个像素的初始化完成度指标。(4) 使用三维可变形人脸网格模型和人脸纹理模型，采用图像配准 的方法，在视频图像序列中对人脸位置、姿态和动作进行实时跟踪。在图 像配准过程中，使用人脸纹理模型上每个像素的可信度指标和初始化完成 度指标，参与计算三维可变形人脸网格模型的位置、姿态和动作参数。每 个像素的可信度指标是由对当前帧进行跟踪后的三维可变形人脸网格模 型的姿态确定的。具体来说，是由三维可变形人脸网格上三角形面法线方 向与图像平面法线方向的夹角确定的。(5) 使用人脸纹理模型和PCA人脸子空间，对实时跟踪的结果进行 评估。进行评估时，使用人脸纹理模型上每个像素的可信度指标和初始化 完成本文档来自技高网...

【技术保护点】
一种基于视频流的三维人脸动作检测和跟踪方法，其特征在于，包括以下步骤：　（１）采用自动人脸检测和定位算法，对输入视频图像上人脸及人脸关键点位置进行检测和定位；　（２）使用检测和定位的结果对三维可变形人脸网格模型的形状、位置和姿态 进行初始化；　（３）在对三维可变形人脸网格模型的形状、位置和姿态进行初始化的同时，初始化人脸纹理模型；　（４）使用三维可变形人脸网格模型和人脸纹理模型，采用图像配准的方法，在视频图像序列中对人脸位置、姿态和动作进行实时跟踪；　 　（５）使用人脸纹理模型和ＰＣＡ人脸子空间，对实时跟踪的结果进行评估；　（６）根据评估结果，确定是否更新人脸纹理模型，是否在下一帧视频图像中重新进行人脸及人脸关键点的检测和定位，以及是否重新初始化人脸纹理模型。

【技术特征摘要】
1. 一种基于视频流的三维人脸动作检测和跟踪方法，其特征在于，包括以下步骤(1)采用自动人脸检测和定位算法，对输入视频图像上人脸及人脸关键点位置进行检测和定位；(2)使用检测和定位的结果对三维可变形人脸网格模型的形状、位置和姿态进行初始化；(3)在对三维可变形人脸网格模型的形状、位置和姿态进行初始化的同时，初始化人脸纹理模型；(4)使用三维可变形人脸网格模型和人脸纹理模型，采用图像配准的方法，在视频图像序列中对人脸位置、姿态和动作进行实时跟踪；(5)使用人脸纹理模型和PCA人脸子空间，对实时跟踪的结果进行评估；(6)根据评估结果，确定是否更新人脸纹理模型，是否在下一帧视频图像中重新进行人脸及人脸关键点的检测和定位，以及是否重新初始化人脸纹理模型。2. 如权利要求l所述的方法，其特征在于，所述步骤(2)包括(21) 使用将双眼和嘴巴中心三个点对齐的人脸样本，训练一个PCA 人脸子空间，用于对检测和定位的结果进行评估；(22) 根据检测和定位的结果，采用最大化后验概率的方法，调整三 维可变形人脸网格模型的形状、位置和姿态参数；(23) 根据三维可变形人脸网格的形状、位置和姿态参数，采用纹理 映射的方法，计算出形状和动作无关纹理图像；(24) 使用(21)中所述的PCA人脸子空间，对二维形状和动作无关 纹理图像进行评估；(25) 根据评估的结果，决定如何采用本次人脸检测和定位的结果对 三维可变形人脸网格模型的形状、位置和姿态参数进行初始化。3. 如权利要求l所述的方法，其特征在于，所述步骤(3)包括 (31)建立人脸纹理模型为每个像素都符合高斯分布的灰度图像，并为每个像素设置可信度指标和初始化完成度指标；(32) 根据三维可变形人脸网格的形状、位置和姿态参数，采用纹理 映射的方法，计算出形状和动作无关纹理图像；(33) 根据三维可变形人脸网格的...

【专利技术属性】
技术研发人员：王阳生，冯雪涛，汪晓妍，姚健，丁宾，
申请(专利权)人：中国科学院自动化研究所，北京盛开交互娱乐科技有限公司，
类型：发明
国别省市：11[中国|北京]