一种基于图像的动态替身构造方法技术

本发明专利技术公开了一种基于图像的动态替身构造方法，该方法首先进行数据采集和预处理：使用普通的网络摄像头，采集用户的一系列设定动作表情的人脸图像，并对这些图像进行分割、特征点标定等预处理工作；然后基于处理后的图像，生成用户的人脸融合模型和头发形变模型，继而得到用户基于图像的替身表达；在实时人脸动画驱动过程中，根据跟踪得到的人脸动作表情参数，驱动替身表达生成对应的人脸和头发几何；最后基于得到的人脸和头发几何，映射采集图像，并将映射后的图像根据图像置信度进行融合，生成真实的人脸动画图像。利用本发明专利技术生成得到的人脸动画结果，具有高真实感、表现力强、细节丰富、还原度高等特点。

【技术实现步骤摘要】

本专利技术涉及基于表演的人脸动画技术和人脸表情动作重定向
，尤其涉及一种基于图像动态替身的人脸动画方法。
技术介绍
相比于基于人脸肌肉模型(如VENKATARAMANA,K.,LODHAA,S.,AND RAGHAVAN,R.2005.A kinematic-variational model for animating skin with wrinkles.Computer&Graphics 29,5(Oct),756–770.)和过程式参数化模型(如JIMENEZ,J.,ECHEVARRIA,J.I.,OAT,C.,AND GUTIERREZ,D.2011.GPU Pro 2.AK Peters Ltd.,ch.Practical and Realistic Facial Wrinkles Animation.)，数据驱动的方法在创建动态替身中更为常见，这得利于该方法可以用非常低的计算代价得到真实的人脸动作。比如，多维线性人脸模型(VLASIC,D.,BRAND,M.,PFISTER,H.,AND POPOVI′C,J.2005.Face transfer with multilinear models.ACM Trans.Graph.24,3(July),426–433.)使用一个统一的模型，分不同维度来表示人脸形状中的用户个体系数和表情系数。通过拟合输入的深度图或者视频序列，多维线性人脸模型常被用于创建用户特定的人脸融合模型。人脸融合模型中动态的几何变化可以被线性模型化，以用于实时的人脸跟踪与动画系统，如基于深度相机的实时人脸动画方法。这些线性模型因为计算高效被广泛用于实时人脸跟踪与动画方法，但无法展示人脸上的细节，如皱纹。在一些高端的产品如电影制作中，一些特殊硬件设备(如LightStage系统)被用于制作高真实感的动态替身，其包含了丰富的人脸细节，如皮肤的褶皱。但是这些特殊硬件设备无法用于面向普通用户的应用中。另有一些技术基于单帧图像创立动态替身。输入用户和目标替身的各一张人脸图像，如(SARAGIH,J.,LUCEY,S.,AND COHN,J.2011.Real-time avatar animation from a single image.In AFGR,213–220.)的方法在预处理阶段学习输入用户和目标替身用户之间表情的映射函数。在实时运行阶段，输入视频中用户的人脸动作通过拟合一个可形变的人脸模型来作跟踪，之后基于在预处理阶段学习的映射函数将用户的动作转移到替身上，生成替身相应的动作形状。(CAO,C.,WENG,Y.,ZHOU,S.,TONG,Y.,AND ZHOU,K.2014.Facewarehouse:A 3d facial expression database for visual computing.IEEE Transactions on Visualization and Computer Graphics 20,3(Mar.),413–425.)介绍了一种技术，可以令任意用户通过表演驱动一张静态的人脸图像做出各种人脸动画效果。该技术首先使用多维线性人脸模型为静态图像中的人脸拟合一个人脸融合模型，并从图像抽取人脸模型的纹理。在实时运行过程中，跟踪得到的头部刚性运动参数和非刚性表情系数被转移到该人脸融合模型上，生成全新视角下的人脸动画。对于头发，该技术使用一种基于单视角的头发建模技术来创立了一个三维头发发丝模型，在实时运行过程中与头部一起运动和渲染，生成最终的结果。因为只有一张图像被使用，因此得到的替身动画效果表现力并不强，特别是不能产生表情皱纹的细节。此外，大幅度的头部旋转和夸张人脸表情也是这一系列方法无法解决的难题。近期有一些基于用户多张图像的动态替身方法被提出，致力于帮助普通用户生成完整的，富有细节特征的人脸动画替身。(ICHIM,A.E.,BOUAZIZ,S.,AND PAULY,M.2015.Dynamic 3d avatar creation from hand-held video input.ACM Trans.Graph.34,4(July),45:1–45:14.)提出了一个基于手持设备视频的，以两个尺度表达的三维动态替身方法。通过用户输入的一系列自然表情图像，该方法首先使用运动结构算法得到人脸形状的点云，并针对该点云数据拟合该用户的自然表情模型。之后，通过对该自然表情模型和采集视频中人脸表情的拟合，生成一个中等尺度的用户特定的人脸融合模型。之后，精密尺度的人脸细节，如人脸皱纹等信息则通过明暗成形算法获得，并使用法向贴图和环境光遮蔽贴图来表达。(GARRIDO,P.,ZOLLHOFER,M.,CASAS,D.,VALGAERTS,L.,VARANASI,K.,PEREZ,P.,AND THEOBALT,C.2016.Reconstruction of personalized 3d face rigs from monocular video.ACM Trans.Graph.)提出了一种全自动的方法，可以从单目视频人脸视频数据(如传统电影)中自动构建三维人脸动态替身。该方法的替身基于三个尺度的几何层次表达，从稀疏几何尺度描述的人脸基本动作，到精密几何尺度描述的人脸细节，如皮肤皱纹。上述的两个方法分别使用多层的几何表达来表示替身，运算较为复杂。此外，更为重要的是，头发的运动效果在之前的工作中都无法被有效处理。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出了一种新的基于图像的人脸动态替身构造方法，在人脸表情跟踪和动画系统的驱动下，该替身表达可以给出具有真实感、有表现力的人脸动画结果。本专利技术中提出的替身模型包含了用户完整的头部表达，如人脸、头发、牙齿、眼睛，甚至于头发上的头饰，相比于其它的替身表达本专利技术的表达更加完整，因此得到的动画效果更具有真实说服力。本专利技术中在预处理过程需要的数据都可以由普通用户使用普通设备，如网络摄像头、家庭电脑等得到，而运行过程中则可以由任意用户的表演对替身进行人脸动画驱动，非常适合各于种虚拟现实的应用，如网络游戏、视频聊天、远程教育等等。本专利技术的目的是通过以下技术方案来实现的：一种基于图像的人脸动态替身构造方法，其主要包括以下几个步骤：1、数据采集和预处理：使用普通的网络摄像头，采集用户的一系列设定动作表情的人脸图像，并对这些图像进行分割、特征点标定等预处理工作。2、基于图像的替身构造：基于处理后的图像，生成用户的人脸融合模型和头发形变模型，继而得到用户基于图像的替身表达。3、实时人脸和头发几何生成：在实时人脸动画驱动过程中，根据跟踪得到的人脸动作表情参数，驱动替身表达生成对应的人脸和头发几何。4、实时人脸动画合成：基于得到的人脸和头发几何，映射采集图像，并将映射后的图像根据图像置信度进行融合，生成真实的人脸动画图像。本专利技术的有益效果是，本专利技术替身表达完整，相比于之前的动态替身表达方法，本专利技术提出的基于图像的动态替身不仅包括人脸、眼睛、牙齿等器官，还包括难以建模的头发和头发上的头饰，因此该替身表达更加完整；此外，人脸表情变化的细节，如皮肤的折叠、皱纹，在本替身表达中并不需要重建对应的三维本文档来自技高网...

【技术保护点】
一种基于图像的动态替身构造方法，其特征在于，包含以下步骤：(1)数据采集和预处理：使用网络摄像头采集用户的一系列动作表情的人脸图像，并对这些图像进行分割、特征点标定等预处理工作。(2)基于图像的虚拟替身构造：基于处理后的图像，生成用户的人脸融合模型和头发形变模型，继而得到用户基于图像的替身表达。(3)实时人脸和头发几何生成：在实时人脸动画驱动过程中，根据跟踪得到的人脸动作表情参数，驱动替身表达生成对应的人脸和头发几何。(4)实时人脸动画合成：基于得到的人脸和头发几何，映射采集图像，并将映射后的图像根据图像置信度进行融合，生成真实的人脸动画图像。

【技术特征摘要】
1.一种基于图像的动态替身构造方法，其特征在于，包含以下步骤：(1)数据采集和预处理：使用网络摄像头采集用户的一系列动作表情的人脸图像，并对这些图像进行分割、特征点标定等预处理工作。(2)基于图像的虚拟替身构造：基于处理后的图像，生成用户的人脸融合模型和头发形变模型，继而得到用户基于图像的替身表达。(3)实时人脸和头发几何生成：在实时人脸动画驱动过程中，根据跟踪得到的人脸动作表情参数，驱动替身表达生成对应的人脸和头发几何。(4)实时人脸动画合成：基于得到的人脸和头发几何，映射采集图像，并将映射后的图像根据图像置信度进行融合，生成真实的人脸动画图像。2.根据权利要求1所述的基于图像的动态替身构造方法，其特征在于，所述步骤1主要包括以下子步骤：(1.1)要求用户表演一系列动作表情，采集相应的人脸图像。(1.2)使用Lazy Snapping算法，对采集的图像进行分割，分割出不同的层次：人脸、头发、牙齿、眼睛、身体和背景。(1.3)利用二维特征点回归器对每张图像进行二维特征点标定，对自动标定结果中不满意的部分，使用拖拽工具进行简单的人工修复。3.根据权利要求1所述的基于图像的动态替身构造方法，其特征在于，所述步骤2主要包括以下子步骤：(2.1)基于已有的三维人脸表情数据库，拟合统一的用户个体系数和每张图像中人脸的刚性变换参数和非刚性表情系数，得到...

【专利技术属性】
技术研发人员：周昆，曹晨，
申请(专利权)人：浙江大学，联想北京有限公司，
类型：发明
国别省市：浙江;33