基于单个视频摄像机的实时人脸动画方法技术

本发明专利技术公开了一种基于单个视频摄像机的实时人脸动画方法，该方法利用单个视频摄像机，实时跟踪人脸特征点的三维位置，并以此参数化人脸的姿势和表情，最终可以将这些参数映射到替身上以驱动动画角色的脸部动画。本发明专利技术不需要高级的采集设备，只需要用户的普通视频摄像机上就可以达到实时的速度；本发明专利技术可以准确处理人脸各种大角度旋转、平移，和人脸的各种夸张表情；本发明专利技术还可以在不同光照和背景环境下工作，包括室内和有阳光的室外。

【技术实现步骤摘要】

本专利技术涉及人脸动作实时捕获和实时动画技术，尤其涉及一种。
技术介绍
本专利技术相关的研究背景简述如下:1.人脸动作捕获人脸表情捕获是真实感图形学的重要组成部分，其被广泛的应用到电影、动画、游戏、网络聊天和教育等领域中。基于人脸动作捕获的人脸动画系统用于估计用户的表情和动作，并将它们映射到另外一个目标模型上。为实现这一目标，目前已经有很多的相关技术。其中为了直接与用户进行交互，通常使用主动传感方法，包括在人的脸部放置一些信号发送点(Williams, L.1990.Performance driven facial animation.1n Proceedingsof SIGGRAPH, 234-242 ; Huang, H.，Chai, J.，Tong, X.，and ffu, H., T., 2011.Leveragingmotion capture and 3d scanning for high-field facial performance acquisition.ACM Trans.Graph.30，4，74:1-74:10.)，或者使用投影结构光图谱(Zhang，L，Snavelyj N.,Curlessj B., and Seitz, S.M.2004.Space time faces:high resolution capture formodeling and animation.ACM Trans.Graph.23，3，548-558; Weisej T.，Li，H.，Goolj LV., and Pauly, M.2009.Face/off: Live facial puppetry.1n Eurographics/SiggraphSymposium on Computer Animation.)，这些方法可以精确的跟踪人脸表面位置，并获取高分辨率、高精度的人脸估计，但是这些主动传感方法往往需要昂贵的硬件设备支持，同时由于信号发送点或者结构光的干扰，对用户并不具有友好型，因此并不能广泛用于普通用户。另一种系统是被动系统，它们并不主动向所在环境里发送信号或在人脸放置信号发送点，而只根据接收到的颜色信息等来分析、捕获人脸动作。其中有一些方法只用单个摄像机来捕获人脸动作，包括 Essa，1.，Basuj S.，Darrell, T.，and Pent land，A.1996.Modeling,tracking and interactive animation of faces and heads: Usinginput from vide0.1n Computer Animation, 68—79;Pighin，F.，SzeliskijR.，andSalesinj D.1999.Resynthesizing facial animation through3d model-based tracking.1n International Conference on Computer Vision， 143-150;In Eurographics/Siggraph Symposium on Computer Animation, 193-206;Vlasicj D., Brand, M., Pfisterj H.and Popovicj J.2005.Face transfer with multilinear models.等工作。这些方法的缺点在于得到的结果精度较低，无法处理人脸大幅度的旋转和夸张表情，此外对使用的环境也有一定的要求，如只能在光照均匀、没有阴影、高光干扰的室内环境下使用。某些方法中则使用了照相机阵列，这样可以从多个视角获取人脸数据，并将其转化成立体数据用于三维重建，这些工作包括BEELER，T.，BICKEL, B.，BEARDSLEY,P.，SUMNER，R.，AND GROSS, Μ.2010.High-quality single-shot capture of facialgeometry.ACM Trans.Graph.29，4, 40:1 - 40:9.; BRADLEY, D.，HEIDRICH，W.，POPAj T.，ANDSHEFFER, A.2010.High resolution passive facial performance capture.ACM Trans.Graph.29，4，41:1 - 41:10.; BEELER, T.，HAHN, F.，BRADLEY, D.，BICKEL, B.，BEARDSLEY, P.，GOTSMAN, C.，SUMNER, R.ff.，AND GROSS, M.2011.High-quality passive facial performancecapture using anchor frames.ACM Trans.Graph.30, 4, 75:1 - 75:10.等，这些方法可以比较精确的得到三维人脸表情，但依然存在设备昂贵、对环境要求较高等缺点。2.基于视觉的人脸特征点跟踪人脸表情的捕获往往需要跟踪输入图像中人脸的特征点，如眼角、鼻子边缘或者嘴巴边界等位置。对于一般的输入视频，光流法(Optical Flow)被普遍使用。但是由于输入数据的噪声影响，对那些不是很明显的人脸特征点(如脸颊上的点)，光流定位并不是那么可靠，往往会因为帧与帧之间的误差累积造成一种偏移(Drift)的错误。此外，光流法在处理快速运动、光照变化等方面也存在较大的误差。为了更精确的特征点跟踪，一些工作使用特征点之间的几何约束。这样，每个特征点不仅和其自身局部信息计算有关，还受到其他特征点的影响。不同类型的几何约束被广泛使用，包括对表情变化时特征点偏移的限制(CHAI，J.-X.，XIAO, J.，ANDH0DGINS, J.2003.Vision-based control of3d facial animation.1n Eurographics/SIGGRAPH Symposium on Computer Animation, 193 - 206.),满足基于物理的可变形网格模型需求(ESSA, 1.，BASU, S.，DARRELL, T.，AND PENTLAND, A.1996.Modeling, trackingand interactive animation of faces and heads: Using input from vide0.1n Computer Animation, 68 - 79.;DECARLO, D., AND METAXAS,D.2000.0ptical flowconstraints on deformable models with applications to face tracking.1nt.Journal of Computer Vision38, 2，99 - 127.),以及一些从大量样本空间中建立的人脸模型的对应关系(PIGHIN, F.，SZELISKI, R.，AND SALESIN, D.1999.Resynthesizingf本文档来自技高网...

【技术保护点】
一种基于单个视频摄像机的实时人脸动画方法，其特征在于，包括以下步骤：（1）图像采集和标定：利用视频摄像机拍摄用户的多幅具有不同姿势和表情的二维图像，对每个图像利用二维图像回归器得到对应的二维人脸特征点，对自动检测得到的不准确特征点进行手动调整；（2）数据预处理：利用标定好二维人脸特征点的图像，进行用户表情融合模型生成和摄像机内部参数标定，并由此得到图像的三维特征点；利用三维特征点和步骤1采集的二维图像，训练获得从二维图像到三维特征点的回归器；（3）三维特征点跟踪：用户使用视频摄像机实时输入图像，对于输入的图像，结合上一帧的三维人脸特征点，利用步骤2中得到回归器，实时定位当前帧中三维人脸特征点；（4）姿势表情参数化：利用三维人脸特征点位置，结合步骤2中得到的用户表情融合模型，迭代优化以得到人脸姿势和表情的参数化表达；（5）替身驱动：将人脸姿势和表情参数映射到虚拟替身上，用以驱动动画角色进行人脸动画。

【技术特征摘要】
1.一种基于单个视频摄像机的实时人脸动画方法，其特征在于，包括以下步骤: (1)图像采集和标定:利用视频摄像机拍摄用户的多幅具有不同姿势和表情的二维图像，对每个图像利用二维图像回归器得到对应的二维人脸特征点，对自动检测得到的不准确特征点进行手动调整； (2)数据预处理:利用标定好二维人脸特征点的图像，进行用户表情融合模型生成和摄像机内部参数标定，并由此得到图像的三维特征点；利用三维特征点和步骤I采集的二维图像，训练获得从二维图像到三维特征点的回归器； (3)三维特征点跟踪:用户使用视频摄像机实时输入图像，对于输入的图像，结合上一帧的三维人脸特征点，利 用步骤2中得到回归器，实时定位当前帧中三维人脸特征点； (4)姿势表情参数化:利用三维人脸特征点位置，结合步骤2中得到的用户表情融合模型，迭代优化以得到人脸姿势和表情的参数化表达； (5)替身驱动:将人脸姿势和表情参数映射到虚拟替身上，用以驱动动画角色进行人脸动画。2.根据权利要求1所述的实时人脸动画方法，其特征在于，所述步骤I主要包括以下子步骤: (1.1)用户模仿做出相应表情和姿势，包括15种自然表情下的不同人头姿势，和3个姿势下的15种不同表情，共60组不同的姿势表情数据，利用视频摄像机拍摄相应的二维图像； (1.2)利用二维图像回归器对每一个二维图像分别进行自动的二维人脸特征点标定； (1.3)用户对自动标定的人脸特征点中不满意的部分，对其进行简单的拖拽操作，进行人工修复。3.根据权利要求1所述的实时人脸动画方法，其特征在于，所述步骤2主要包括以下子步骤: (2.1)利用已有的三维人脸表情数据库，对于每一个标定了二维人脸特征点的二维图像进行拟合，使用最小二乘方法计算相应的刚性参数、个体系数和表情系数；之后对所有二维图像进行统一优化，得到统一的个体系数，计算得到用户的表情融合模型； (2.2)对针孔照相机模型进行简化假设，将其简化到只包括一个未知参数，使用二分法来确定最合适的照相机参数； ...

【专利技术属性】
技术研发人员：周昆，翁彦琳，曹晨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：