基于深度信息和彩色图像的头部姿势估计方法技术

本发明专利技术公开了一种基于深度信息和彩色图像的头部姿势估计方法，该方法首先在深度信息灰度图中使用直方图投影方法快速定位头部位置；然后在彩色图像中使用肤色检测算法去除头部区域肤色之外的头发噪声和衣服噪声；再利用摄像机成像原理归一化头部区域分辨率，并对深度信息灰度图做均衡化处理；最后对所得归一化深度图像提取切片子区域几何向量集来描述头部姿势的变化规律。本发明专利技术利用了深度信息灰度图和彩色图像的特性、人脸的几何特性尤其是人脸关于鼻尖的对称性，设计了一种新颖的头部姿势描述特征码，并使用随机森林回归器来估计头部姿势，具有实时性好、精度高、鲁棒性高和可靠性高的优点，可广泛应用于人脸识别和人机交互等应用场景。

【技术实现步骤摘要】

本专利技术涉及数字图像处理、模式识别和统计学习等
，特别是一种。
技术介绍
二十世纪50年代以来，计算机技术的出现极大地改变了人类生产生活的方式。与此同时，人类的日益增长的需求也推动着计算机技术的飞速发展。随着社会的进步，基于键盘和鼠标这种传统输入方式的计算机技术已经满足不了人们生活的需要，人们呼吁一种基于视觉的智能交互技术，这种技术能让机器掌握人的姿势或动作进而理解人的意图。智能交互领域的重要研究课题之一——头部姿势估计，在人脸识别、视点跟踪和辅助驾驶等方 向上有着广泛的应用。关于头部姿势估计的传统方法大多基于二维灰度或彩色图像。谭铁牛等(CN1601549)融合了人脸的形状、肤色、纹理、运动等信息使用机器学习的方法得到人脸的位置和姿态参数。Y·胡等(CN1573660)通过检测面部关键点包括左右眼中心、左右嘴角、鼻尖等5个关键点，采用由粗到精的方法来确定用户的头部姿势信息。谢东海等(CN1866271)使用主动形状模型ASM检测定位人脸器官，进而估计出人脸的姿态。赵清杰等(CN101889928A)把人脸划分为7个状态无头势、右侧、左侧、半右侧、半左侧、仰头、低头，通过鼻尖信息来判断脸部所处状态，进而控制轮椅的运动。这些方法在一定程度上满足了 实时应用需求，具有独特价值，但是这类方法的精度不够高并且受光照和噪声的影响较大，有待进一步改善。相对于上述方法，基于深度信息的头部姿势估计方法具有天然的优越性。第一，深度图中的像素值具有明确的物理意义，它可以度量空间中一点到摄像机的距离信息。第二，基于深度信息的图像处理方法可以快速精确地从场景中分割出感兴趣的区域。第三，该类方法受光照变化的影响较小。这类方法可实时地、较为准确地估计出变化幅度较大的头部姿势。例如，文献 M. D. Breitenstein, D. Kuettel, T. Weise, L. Van Gool, H. Pfister,Real-time face pose estimation from single range images, IEEE ConferenceonComputer Vision and Pattern Recognition, 2008,提出了一种基于单幅深度信息图的实时头部姿势估计系统，该系统在10度误差范围内估计精度可达80.8%，但是它需要 GPU 的辅助，应用有限。文献 G.Fanelli，J. Gall, L. Van Gool, Real Time Head PoseEstimation with Random Regression Forests, IEEE Conference on Computer Visionand Pattern Recognition, 2011,也提出了一种基于单幅深度信息图的实时头部姿势估计系统，它利用随机森林的快速高效性也可满足实时应用需求，10度误差范围内的估计精度可达90. 4%，可较为精确地估计出头部姿势，但是估计精度还有很大的改进空间。近年来，随着深度传感技术Light coding的出现深度摄像机的制作成本大大降低。基于此技术，2010年底微软推出一款名为“Kinect”的游戏传感器，可实时地获取场景的深度信息和彩色图像，并以大众消费品价格出售。Kinect的出现为头部姿势方法提供了新的发展平台。本专利技术设计一种基于Kinect的头部姿势估计方法,该方法利用Kinect所获取的深度图像和彩色图像的特性，实时、精确地完成头部姿势估计。基于深度图像的特性简单快速地把目标从背景中分割出来并定位到头部区域；基于彩色图像的特性实时地除去头部区域的头发噪声和服饰噪声。同时，本方法还设计了一种新颖、鲁棒的头部姿势描述子——切片子区域几何向量，它以头部深度图像的物理属性为基础，利用人脸关于鼻尖的对称特性，可准确地表达头部姿势的变化规律，具备精度高、鲁棒性高的优点。
技术实现思路
本专利技术的目的是提供一种基于深度信息和彩色图像相结合的头部姿势估计方法，即利用头部的深度信息和彩色图像来实时地估计头部姿势。 本专利技术提出的一种，其特征在于，该方法包括以下步骤步骤SI，建立头部姿势训练图像库，该训练图像库中的每一训练样本均包括一一对应的深度信息灰度图和彩色图像；步骤S2，基于深度信息灰度图对其中的头部位置进行粗定位，得到粗定位的头部图像；步骤S3，基于与所述深度信息灰度图对应的彩色图像对所述步骤S2得到的粗定位的头部图像进行噪声去除；步骤S4，对去噪后的头部图像中的头部分辨率和深度信息灰度图像素值进行归一化处理；步骤S5，对于归一化后的头部深度信息灰度图，提取其切片子区域三维质心向量集A ；步骤S6，对于归一化后的头部深度信息灰度图，提取其切片子区域几何向量集B;步骤S7，基于所述步骤S5提取出的切片子区域三维质心向量集A、所述步骤S6提取出的切片子区域几何向量集B，使用训练图像库中的训练图像数据训练随机森林回归器，得到随机森林回归器模型；步骤S8，采集需要进行头部姿势估计的一一对应的深度信息灰度图和彩色图像，并利用所述步骤S2-S5提取出待估计图像的切片子区域三维质心向量集A ；步骤S9，基于所述待估计图像的切片子区域三维质心向量集A，使用所述步骤S7中训练得到的随机森林回归器模型粗步估计待估计图像中的头部姿势；步骤S10，根据粗步估计出的头部姿势检测鼻尖的位置，并根据检测得到的鼻尖的位置，利用所述步骤S6提取出待估计图像的切片子区域几何向量集B ；步骤S11，基于所述步骤SlO得到的待估计图像的切片子区域几何向量集B，使用所述步骤S7中训练得到的随机森林回归器模型精确估计待估计图像中的头部姿势。本专利技术方法对于人脸识别、人机交互等领域的发展具有重要意义，其主要优点如下I.本专利技术充分利用了深度信息和彩色图像的特性，深度信息灰度图用于头部定位分割与特征提取，彩色图像用于噪声去除，具有实时性好的特性。2.本专利技术基于人脸的几何对称特性，设计的切片子区域几何向量集能很好地描述头部姿势的变化规律，对噪声有很好的抑制作用，具有良好的鲁棒性和较高的估计精度。3.本专利技术使用随机森林回归器来估计头部姿势，具有训练速度快、泛化性能好、回归结果稳定等优点。4.本专利技术所使用的特征简单有效，对硬件没有特殊要求，而且不涉及复杂的计算，易于使用。 综上所述，在不依赖任何特殊硬件的情况下，本专利技术可实时、准确地估计出头部姿势，这使得多姿态人脸识别、视点估计成为可能。一方面，基于本专利技术的多姿态人脸识别技术可极大提高人脸识别的识别精度，因此本专利技术可广泛应用于使用人脸进行身份认证或者识别的系统中。另一方面，基于本专利技术的人机交互技术能保证机器实时地掌握人的视点情况进而理解人的意图，因此本专利技术也能广泛应用于人机交互的场景中。附图说明图I为本专利技术流程图；图2为训练图像库中来自不同性别的深度信息灰度图及彩色图像；图3为基于直方图投影的头部定位算法示意图；图4为头部图像中头发噪声和服饰噪声的示意图；图5为头部图像噪声去除和归一化结果的示意图；图6为头部二维深度图像的三维模型及头部切片示意图；图7为切片子区域几何向量示意图；图8为头部姿势参数模型；图9为鼻子形状随头部姿势变化示意图。具体实施例方式为使本专利技术的目的、技术本文档来自技高网...

【技术保护点】
一种基于深度信息和彩色图像的头部姿势估计方法，其特征在于，该方法包括以下步骤：步骤S1，建立头部姿势训练图像库，该训练图像库中的每一训练样本均包括一一对应的深度信息灰度图和彩色图像；步骤S2，基于深度信息灰度图对其中的头部位置进行粗定位，得到粗定位的头部图像；步骤S3，基于与所述深度信息灰度图对应的彩色图像对所述步骤S2得到的粗定位的头部图像进行噪声去除；步骤S4，对去噪后的头部图像中的头部分辨率和深度信息灰度图像素值进行归一化处理；步骤S5，对于归一化后的头部深度信息灰度图，提取其切片子区域三维质心向量集A；步骤S6，对于归一化后的头部深度信息灰度图，提取其切片子区域几何向量集B；步骤S7，基于所述步骤S5提取出的切片子区域三维质心向量集A、所述步骤S6提取出的切片子区域几何向量集B，使用训练图像库中的训练图像数据训练随机森林回归器，得到随机森林回归器模型；步骤S8，采集需要进行头部姿势估计的一一对应的深度信息灰度图和彩色图像，并利用所述步骤S2？S5提取出待估计图像的切片子区域三维质心向量集A；步骤S9，基于所述待估计图像的切片子区域三维质心向量集A，使用所述步骤S7中训练得到的随机森林回归器模型粗步估计待估计图像中的头部姿势；步骤S10，根据粗步估计出的头部姿势检测鼻尖的位置，并根据检测得到的鼻尖的位置，利用所述步骤S6提取出待估计图像的切片子区域几何向量集B；步骤S11，基于所述步骤S10得到的待估计图像的切片子区域几何向量集B，使用所述步骤S7中训练得到的随机森林回归器模型精确估计待 估计图像中的头部姿势。...

【技术特征摘要】

【专利技术属性】
技术研发人员：谭铁牛，孙哲南，唐云祁，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：