一种虚拟人脸动画合成方法技术

本发明专利技术涉及一种用人脸视频驱动虚拟三维人脸，使得虚拟人脸表现出与视频对应的位置姿态以及表情的算法技术。本发明专利技术包括以下步骤：(1)合成视频中人脸所对应的三维表情基；(2)在输入视频中某一帧检测2D特征点；(3)结合视频中人脸所对应三维模型以及2D特征点估计视频中人脸3D位置和姿态；(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚拟三维人脸表情基和估计到的人脸3D位置和姿态以及表情混合参数得到人脸动画合成结果。对于上述步骤(1)还包括：(1.1)拍摄正面中性表情人脸图像合成三维人脸模型；(1.2)对三维人脸模型形变得到三维表情基。

【技术实现步骤摘要】

本专利技术属于计算机图形学
，具体地设及虚拟人脸动画合成方法。
技术介绍
虚拟人脸动画合成技术主要通过拍摄人脸的2D/3D视频，通过跟踪人脸的位置姿 态和表情并将运些信息映射到计算机中虚拟的=维人脸模型上，使得该虚拟=维人脸模型 也呈现相应的位置姿态和表情。由于人脸表情与动作是人类情感传递的一个重要途径，因 此上述技术在人机交互、影视广告、游戏制作、视频会议等方面都有广泛的应用。 目前解决上述问题的技术主要分为两类:基于2D视频的技术;基于深度视频的技 术。基于2D视频的技术一般需要在普通的图像或者视频中检测人脸特征点的2D图像坐标， 然后将运些特征点的2D图像坐标与该人脸在无表情正面情况下的特征点的2D图像坐标进 行比较后转化成驱动MPEG-4S维人脸模型的FAP参数。由于通过2D图像中的特征点去估计 人脸头部姿态的问题是一个不适定问题，因此只能用于头部运动比较小，主要是人脸内部 表情变化的情况，如播音员的脸部视频等。基于深度视频的技术能够稳定的追踪人脸位置、 姿态和面部器官的细微表情。但是该类技术需要特殊的深度摄像头如微软的Kinect传感 器，因此大大限制了运类方案的使用范围。
技术实现思路
本专利技术的技术解决的问题是:通过普通的摄像头拍摄人脸视频驱动计算机中的虚 拟=维人脸，使得虚拟=维人脸表现出与人脸视频相对应的位置姿态W及表情的算法合成 技术。 为实现上述目的，本专利技术采用的技术方案为：（1)合成视频中人脸所对应的=维表 情基。具体来说，又分为如下两个分步骤：（1.1)通过拍摄的正面中性表情人脸图像合成= 维人脸模型。运主要通过对人脸图像运用人脸特征点检测结合=维可变形模型（3D Mo巧hable Model)技术实现S维人脸模型合成。（1.2)对S维人脸模型进行形变得到S维 表情基。运主要通过对S维人脸模型的网格顶点参考MPEG-4FAP参数的预先设置对S维人 脸模型的网格顶点进行形变来实现。（2)在输入人脸视频中的某一帖检测2D人脸特征点。为 了能够应对不同姿态下的人脸情况，运一步骤采用集成回归树技术（Ensemble Of Regression化ees)来实现。（3)结合视频中人脸所对应=维人脸模型W及2D人脸特征点估 计视频帖中人脸的3D位置和姿态。该步骤主要通过优化上述步骤得到的=维人脸模型所对 应的顶点与图像中对应特征点的误差来得到3X3的旋转矩阵R和3X 1的平移矢量t"(4)根 据步骤（1)得到的=维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数。运 一步通过优化表情基线性组合后得到的=维人脸模型所对应的顶点与图像中对应特征点 的误差来得到混合参数。（5)结合事先构建好的虚拟=维人脸表情基及上述步骤估计得到 的人脸3D位置和姿态W及表情混合参数得到最终的人脸动画合成结果。运主要通过对=维 表性基模型通过上一步骤得到的混合参数进行线性组合得到。 与现有技术相比，本专利技术具有的优点和效果如下：（1)本专利技术无需特殊的外接设 备，只需要普通的摄像头即可。（2)本专利技术能够应对头部运动比较剧烈的情况，应用范围较 为广泛。【附图说明】 图1为虚拟人脸动画合成技术的概念展示，左下角是人脸作出的表情，右边是映射 到虚拟=维人脸模型上的结果。 图2为本专利技术技术方案流程图。 图3为正面人脸图像特征点检测的例子。 图4为虚拟=维人脸表情基的例子。【具体实施方式】 图1为虚拟人脸动画合成技术的概念展示。本专利技术的 包含如下步骤：（1)合成视频中人脸所对应的=维表情基；（2)在输入人脸视频中的某一帖 检测2D人脸特征点；（3)结合视频中人脸所对应=维人脸模型W及2D人脸特征点估计视频 帖中人脸的3D位置和姿态；（4)根据步骤（1)得到的=维表情基和步骤(3)得到的人脸的3D 位置和姿态计算表情混合参数；（5)结合事先构建好的虚拟=维人脸表情基及上述步骤估 计得到的人脸3D位置和姿态W及表情混合参数得到最终的人脸动画合成结果。流程图如图 2所示。 优选的，步骤（1)具体包括：（1.1)通过拍摄的正面中性表情人脸图像合成=维人 脸模型；（1.2)对=维人脸模型进行形变得到=维表情基。 优选的，步骤（1.1)首先通过手机前置摄像头或电脑摄像头拍摄一张自己的正面 中性表情图像，然后通过化Ul-Viola人脸检测算法检测图像中的人脸区域，其次在人脸区 域内利用主动轮廓(ASM)技术检测特征点，如图3所示。根据上述检测到的人脸2D特征点，采 用S维可变形模型（3D Mo巧hable Model)技术获得人脸的S维模型。其中在S维可变形模 型（3D Morphable Model)的训练集构建过程中需要对S维模型进行调整，使得其符合 MPEG-4规范的要求，运可W首先用激光3D扫描仪扫描人脸S维模型然后通过3DS Max等软 件进行编辑实现。 优选的，步骤(1.2)首先确定人脸表情动作类型，如大笑、哭泣等，然后由美工师事 先通过3DS Max软件中尝试确定每个动作所对应的MPEG-4 FAP参数，然后将该预先设定好 的MPEG-4 FAP参数根据MPEG-4推荐的方法对步骤(1.1)中生成的S维人脸模型的网格顶点 进行形变，从而得到=维表情基模型，如图4所示。 优选的，步骤（2)为了能够应对不同姿态下的人脸情况，采用集成回归树技术 化nsemble of Regression化ees)来实现，通过分析一系列稀疏的像素处的亮度信息快速 的检测人脸特征点位置。 优选的，步骤(3)需要确定当前帖中人脸相对于世界坐标系下的3D位置和姿态，通 过3X3的旋转矩阵R和3X1的平移矢量t来表示，其中R为正交矩阵。贝化和t通过下式的优化 来计算。巧嗦 r(K(RP, +1) - p, )2[001引上式中，Pi为步骤(2)中检测到的特征点在图像中的位置。Pi为Pi对应的图像特征 点在步骤（1)中得到的中性表情=维人脸模型中的=维坐标。K为摄像机内参数矩阵，其表 达方式如下： 7 0 U； K= 0 / V。 0 0 1 其中，（u〇，vo)为光屯、坐标，可W设定为图像中屯、坐标。巧TW通过事先标定得到，如 果无法进行标定，则可W取固定初始值如35mm，并在上式优化过程中同时对f进行优化。rO 为高稳健性的化ber函数，其形式如下： r / \2 Jcf X <5 r林= ISx-O \x > O 本步骤的优化可W通过Levenberg-Marquadt算法实现。其中R可W参数化为四元 数，W提高优化过程的稳定性。R和t初始值设定方法如下:对于第一帖图像，R可W设置为单 位矩阵，t可W设置为0;对于其他情况，R和t可W设置为前一帖优化后的值。 优选的，步骤(4)首先对步骤(1)中得到的每一个=维表情基模型心进行如下几何 变换： M/ =RMj+t 然后优化下式来计算表情混合参数： 其中門/为Pi对应的图像特征点在M/中的S维坐标。k非P为所求的表情混合参数， 上式同样可W通过Levenberg-Ma巧Uadt算法进行优化，其中kj的初始值可W设为不为负的 随机值。 优选的，步骤(5)首先通过下式得到当前帖对应的人脸=维模型： M M = Sw 7 = 1 k非P为步骤(4)得到的优化本文档来自技高网...

【技术保护点】
一种虚拟人脸动画合成方法，其特征在于包括如下步骤：(1)合成视频中人脸所对应的三维表情基；(2)在输入人脸视频中的某一帧检测2D人脸特征点；(3)结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：许奇明，
申请(专利权)人：苏州丽多数字科技有限公司，
类型：发明
国别省市：江苏;32