基于深度视频流的实时人脸姿态估计方法技术

本发明专利技术公开了一种基于深度视频流的实时人脸姿态估计方法，其步骤包括抽样及训练和实时估计两个阶段，在抽样及训练阶段，获取各个脸部角度的景深图；然后对各个角度的景深图做随机取样，得到训练样本集；再采用监督学习方法做训练，得到分类器，在实时估计阶段，首先提取采集设备输出的深度视频流中的实时人脸景深图并转化为积分图；再对积分图进行随机切片抽样，并利用训练得到的分类器对样本进行分类，得到若干个估计结果；对这些结果剔除异常结果并进行加权平均，得到最终的人脸姿态结果。本发明专利技术提供的基于深度视频流的实时人脸姿态估计方法，避免了光照等因素对最终结果的影响，并且拥有良好的实时性和准确性。

【技术实现步骤摘要】

本专利技术涉及了一种识别方法，特别是涉及了一种。
技术介绍
目前用户与计算机的交互方式主要通过键盘、鼠标和触摸屏，这种交互方式都要借助于特定的硬件输入设备。自然人机交互方式成为目前研究的重点，例如:人体姿态、人脸姿态、人脸表情分析等。另外，在人脸识别中，人脸姿态估计也有着很重要的应用。通过人脸姿态估计后，可以在识别之前根据人脸姿态先对照片做变形处理，然后再进行识别，可大大提闻人脸识别的准确率。现有的人脸姿态估计方法都是基于二维图像和视频的，此类方法还存在如下的问题: I)采集数据易受到噪声干扰。传统的二维图像和视频易受到光照影响，光照会完全改变图片中某些区域的灰度值和纹理信息，使得训练阶段样本集不可能照顾到所有可能的情况，从而在泛化阶段准确率直线下降。2)特征缺失条件下准确率下降严重。这类方法通过某个脸部特征(鼻子、眼睛等)去估计脸部姿态。该类方法首先将需要的特征从整个人脸中提取出来，然后根据该特征的几何形状去判断实际脸部姿态。但是，在该特征无法辨认或遮挡的情况下，该类方法就无法判断人脸姿态或给出一个及其不准确的结果。3)系统运行过程中需要人工干预。这类方法将物体跟踪的思想应用于人脸姿态估计。该类方法需要在系统开始运行时初始化人脸位置，并且，当人脸快速移动或遇到遮挡物时容易丢失目标。近年来,随着深度视频流采集设备(例如微软的kinect、爱动体感设备、CyWee、绿动体感运动机iSec等)逐步进入普通消费群体，深度视频流所提供的时间轴上的三维景深数据为人脸姿态估计提供了新的参考信息，同时也为新方法的提供了基础。
技术实现思路
本专利技术主要是针对现在市场的要求，提供了一种具有及时性高、准确性强的。为了实现上述目的，本专利技术提供以下技术方案: 本专利技术提供了一种，其步骤包括:抽样及训练阶段和实时估计阶段；在抽样及训练阶段，其步骤包括:获取头部各个角度的人脸景深图，并标注其鼻尖位置和偏转角度；将人脸景深图转换为人脸积分图；在人脸积分图中随机抽样得到训练样本集；采用监督学习方法进行训练，得到分类器；在实时估计阶段，其步骤包括:实时采集得到景深图视频流和普通视频流；获取景深图视频流和普通视频流的视频帧中的脸部位置；针对视频帧中的脸部位置进行随机取样得到待分类样本集；将待分类样本集中所有样本输入分类器，得到姿态估计结果；剔除异常的姿态估计结果；采用加权平均法处理剩下的姿态估计结果，得到最终姿态结果。在本专利技术一个较佳实施例中，所述的获取头部各个角度的人脸景深图的方法具体为利用三维人脸模型重新渲染生成人脸景深图或利用实际采集的方式获取人脸景深图。在本专利技术一个较佳实施例中，所述在人脸积分图中随机抽样得到训练样本集的具体步骤包括:从人脸积分图中随机抽取一定规格的切片样本；去除删除空白区域过多的切片样本和深度值过于平缓的切片样本；在每个切片样本上标记其中心点与鼻尖位置的偏移量和对应的脸部姿态，得到训练样本集。在本专利技术一个较佳实施例中，所述的监督学习方法所采用的学习模型包括随机森林、决策树、神经网络和贝叶斯网络。在本专利技术一个较佳实施例中，所述的获取景深图视频流和普通视频流的视频帧中的脸部位置的具体步骤包括:利用景深图视频流中的深度信息过滤背景；利用普通视频流的图像帧中的肤色和纹理信息找到脸部位置。在本专利技术一个较佳实施例中，所述的针对视频帧中的脸部位置进行随机取样得到待分类样本集的具体步骤包括:在视频帧中的脸部位置上抽取一定规格的切片样本；抛弃空白区域过多的切片样本和深度值过于平缓的的切片样本；利用切片样本得到待分类样本集。在本专利技术一个较佳实施例中，所述的剔除异常的姿态估计结果具体步骤包括:采用均值漂移算法找到最密集的姿态估计结果的中心；抛弃离最密集的姿态估计结果的中心相差较远的结果。本专利技术的有益效果是:本专利技术所述的基于深度视频流的实时人脸姿态估计 方法，这种景深数据较二维照片而言，不受光照等噪声的影响，增加了估计结果的准确性，并使得实时姿态估计成为可能；本专利技术采不会出现丢失目标的情况，本专利技术可以作为自然人机交互的有效途径，还可以为人脸相关的模式识别问题提供预处理。附图说明图1是本专利技术一较佳实施例的流程示意 图2是切片样本和测试选取不意 图3是空白区域过多的切片示意图。具体实施例方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。请参阅图1至图3，图1是本专利技术一较佳实施例的结构示意图；图2是切片样本和测试选取示意图；图3是空白区域过多的切片示意图。本专利技术提供了一种，其步骤包括:抽样及训练阶段和实时估计阶段；在抽样及训练阶段，其步骤包括:获取头部各个角度的人脸景深图，并标注其鼻尖位置和偏转角度；将人脸景深图转换为人脸积分图；在人脸积分图中随机抽样得到训练样本集；采用监督学习方法进行训练，得到分类器；在实时估计阶段，其步骤包括:实时采集得到景深图视频流和普通视频流；获取景深图视频流和普通视频流的视频帧中的脸部位置；针对视频帧中的脸部位置进行随机取样得到待分类样本集；将待分类样本集中所有样本输入分类器，得到姿态估计结果；剔除异常的姿态估计结果；采用加权平均法处理剩下的姿态估计结果，得到最终姿态结果。本专利技术能直接从脸部全局入手估计脸部姿态，计算量较低；以三维景深图为估计依据，利用随机森林作为学习模型构建分类器，训练时间和泛化时间都较快；对各种脸部情况都能保持一定的鲁棒性和完全的实时性。所述的获取头部各个角度的人脸景深图的方法具体为利用三维人脸模型重新渲染生成人脸景深图或利用实际采集的方式获取人脸景深图。所述在人脸积分图中随机抽样得到训练样本集的具体步骤包括:从人脸积分图中随机抽取一定规格的切片样本；去除删除空白区域过多的切片样本和深度值过于平缓的切片样本；在每个切片样本上标记其中心点与鼻尖位置的偏移量和对应的脸部姿态，得到训练样本集。所述的监督学习方法所采用的学习模型包括随机森林、决策树、神经网络和贝叶斯网络。以随机森林作为模型进行学习时，首先采用bootstrap方法为森林中各颗树抽取样本集。树中的每个 节点，都代表一个样本测试。测试选取的特征为切片样本中任意两个不相交的一定规格的矩形块的景深均值的差值。到达节点的样本集经过测试之后会被分为2部分。选取具有最佳区分度的测试。最佳区分度是指进入左右节点的样本子集对应的脸部姿态和鼻尖位置差异最大。当到达节点的样本集数量过少或生成新节点将超过可允许的树最大深度时，就不再为该节点安排测试生成子节点。重复以上步骤可以得到一个完整的随机森林模型。采用随机森林作为基本学习模型，该模型在训练时间和泛化时间上都有较为满意的表现，所以使得实时姿态估计成为可能。下面结合附图说明随机森林训练和泛化过程，对本专利技术做进一步阐述: 切片样本: 在切片样本和测试选取示意图中，虚线矩形框部分为实际采用的切片样本；在空白区域过多的切片示意图中，虚线框部分是需要抛弃的切片样本。实际训练时，样本集由若干的切片样本和测试选取示意图中的虚线矩形切片组成。测试特征选取: 在切片样本和测试选取示意图中，在虚线矩形框中包含有2个小矩形。这两个小矩形就代表了测试时一种可能的矩形区域选取情况。计算时，将矩形I中的所有深度值的本文档来自技高网...

【技术保护点】
一种基于深度视频流的实时人脸姿态估计方法，其特征在于：步骤包括：抽样及训练阶段和实时估计阶段；在抽样及训练阶段，其步骤包括：获取头部各个角度的人脸景深图，并标注其鼻尖位置和偏转角度；将人脸景深图转换为人脸积分图；在人脸积分图中随机抽样得到训练样本集；采用监督学习方法进行训练，得到分类器；在实时估计阶段，其步骤包括：实时采集得到景深图视频流和普通视频流；获取景深图视频流和普通视频流的视频帧中的脸部位置；针对视频帧中的脸部位置进行随机取样得到待分类样本集；将待分类样本集中所有样本输入分类器，得到姿态估计结果；剔除异常的姿态估计结果；采用加权平均法处理剩下的姿态估计结果，得到最终姿态结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：姚莉，肖阳，
申请(专利权)人：东南大学，
类型：发明
国别省市：