一种基于单摄像头与运动捕捉数据的人脸表情编辑方法技术

本发明专利技术公开了一种虚拟人脸表情编辑方法，包括离线过程和在线过程，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型；在线过程包括步骤：步骤4，对从单摄像头中捕捉到的视频图像进行视频分析，使用主动外观模型跟踪头部的三维空间位置与朝向以及视频中的主要面部特征，自动地将这些特征转换为两个部分的控制参数；步骤5，将噪声大分辨率低的表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种虚拟人脸表情编辑方法，包括离线过程和在线过程，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型；在线过程包括步骤：步骤4，对从单摄像头中捕捉到的视频图像进行视频分析，使用主动外观模型跟踪头部的三维空间位置与朝向以及视频中的主要面部特征，自动地将这些特征转换为两个部分的控制参数；步骤5，将噪声大分辨率低的表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。【专利说明】
本专利技术涉及计算机视觉
，具体涉及。
技术介绍
对虚拟三维人脸表情的控制与编辑一直是计算机视觉的一个难题，关键在于人脸表情有非常大的自由度，每一块肌肉都可以产生丰富的变化，丰富的人脸表情可以充分表达人的内心世界并打动观众，而人的视觉对表情的微妙变化也极其敏感，但是让计算机理解或编辑人脸的表情就非常复杂了，它涉及对表情的理解，表情的分类和差异，以及表情的生理特征等许多内容。三维人脸动画技术主要可分为基于关键帧插值的、基于参数化的、基于肌肉的、基于数据驱动的。 关键帧插值法:关键帧插值法是最简单也是最常用的方法。它指的是在三维空间中获取空间顶点并将它从一个位置移动到另一个特定的位置，计算机计算这两点之间的所有点，然后将该点沿计算得到点的轨迹运动。关键帧插值技术虽简单快速。但只是用于关键帧变化较小的情形，对于差异大的关键帧效果很不理想。参数化方法:该方法仍然用多边形描述人脸表面，但用更少的参数来描述运动变化。用户可以通过改变这些参数的值直接、方便地创建各种人脸的形状和表情。这些参数包括:a)形状参数。用于控制个性人脸的形状，包括人脸的大小、形状、人脸各个特征的相对位置以及控制人脸全局特征的参数，如高度、宽度比等。b)表情参数。用来控制表情，如眼睛区域的表情参数包括眼帘睁开、瞳孔的大小、眉毛的形状和位置等。参数化方法表示依赖于人脸拓扑，因此很难设计一个通用的参数模型，只有经验丰富的动画师才能设计高质量的人脸动画。基于肌肉的方法:该方法用来模拟人体真实的肌肉与肌肉运动，根据肌肉的运动特性定义了三种不同类型的肌肉，即线性肌、块状肌和括约肌。这些肌肉不依赖于骨骼结构，使它们可以适应不同的面部拓扑结构。这一方法引入解剖学原理，将肌肉嵌入到基于解剖学的人脸皮肤模型上，构成质点一弹簧模型，通过对肌肉施加压力来变形该模型，从而达到真实地模拟人脸及其表情变化的效果。该方法需要大量的计算，不同的模型在考虑的深度和复杂性上差别很大:简化的模型很难达到理想的视觉效果；复杂的模型则计算量大，即使一般复杂度的模型也难以达到实时。数据驱动的方法:目前最为成功的人脸动画技术是通过表演数据驱动人脸动画。该方法捕捉在各种面部表情下真实人脸部的特征来驱动脸部模型产生真实的脸部表情。主要做法是在一个表演者的脸上设置许多特征点，在表演者表演各种面部表情时，捕捉这些特征点的运动向量，然后使用这些运动向量来驱动脸部模型的相应特征点产生脸部表情。它提供了一种直观和有效的方式直接控制脸部表情的产生。现今的好莱坞大片里，绝大部分电影比如《阿凡达》都是运用了这种运动捕捉技术。现有技术能做到高质量三维人脸动画的方法或者需要经验丰富的专业人员操作，或者要求复杂昂贵的硬件设施。因此有必要提供一种适用于普通用户使用的成本低而且便捷并具有真实感的人脸表情编辑方法。
技术实现思路
为了解决现有技术的问题，本专利技术的目的是提供。为了达成所述目的，本专利技术利用了运动捕捉数据数据库中蕴含的信息，弥补了单摄像头采集信息的不足。根据本专利技术提出的虚拟人脸表情编辑方法包括离线过程和在线过程，其中，离线过程包括:步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型，以此实现由局部特征控制全局表情；在线过程的输入包括用户在摄像头前的表情视频、离线处理得到的虚拟人脸三维模型、解耦的运动捕捉数据和人脸子空间关联模型，在线过程包括步骤:步骤4，对从单摄像头中捕捉到的表情视频进行视频分析，使用主动外观模型跟踪头部的刚体运动以及视频中的面部特征点，然后从跟踪得到的特征点中提取表情控制参数，得到两个部分的控制参数，即表情控制参数和三维头部姿态参数；步骤5，将表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。本专利技术的有益效果:本专利技术用单摄像头采集用户所做的表情信息，利用运动捕捉数据进行优化，最后实现虚拟人脸模型的表情编辑。与传统的三维人脸表情动画技术的不同点在于，本专利技术不需要复杂的硬件设备和专业人员的人工编辑，同时能实现高质量的表情效果。系统的离线过程实质上利用运动捕捉数据分别构造了滤波器和局部特征全局表情关联器，然后在线过程使用滤波器对视频采集的信号滤波，再由关联器计算全局表情，最后成功地实现对虚拟人脸的表情编辑。【专利附图】【附图说明】图1为本专利技术基于单摄像头与运动捕捉数据的人脸表情编辑方法的原理图；图2为实用软件标记特征点生成人脸模型的示意图；图3为运动捕捉视频不意图；图4为运动捕捉数据解耦前后对比示意图；图5为人脸层级分布图；图6为人脸三维表情关联模型图，其中图6A是人脸子空间关联模型图，图6B是对应于图6A的人脸三维表情图；图7为将纹理模型从平均形状变换到目标人脸过程示意图；图8为拟合跟踪的结果示意图；图9为噪声信号滤波的流程图；图10为表情编辑结果示例的示意图。【具体实施方式】下面将结合附图对本专利技术加以详细说明，应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。图1为本专利技术基于单摄像头与运动捕捉数据的人脸表情编辑方法的原理图。该方法分为在线过程与离线过程，在线过程为图1中虚线内部分。离线过程则是运动捕捉数据预处理过程。在该方法中，人脸建模、视频分析与表情编辑是该方法中的最基本的部分，即在不考虑结果质量与真实感的情况下能基本实现表情编辑功能的基本组成部分；而其余部分，包括解耦分离姿态、构建人脸表情关联模型、表情参数滤波和局部表情参数计算全局表情则是针对视频提取存在的问题进行改进的核心部分。参照图1，该方法包括以下各步骤:步骤1，将一张人脸正面照片，或通过摄像头拍摄将照片输入FaceGen Modeller软件，对特征点进行标记，自动生成用户的虚拟三维人脸模型，其中照片需要在均匀充足的光照下拍摄，且人脸状态应该是无表情无遮挡的。图2是生成虚拟三维人脸模型的示意图。这一步骤的目的是，生成虚拟三维人脸模型，为表情编辑提供实体，之后的虚拟表情将在此模型上体现。下面步骤2和步骤3是离线过程，完成了对运动捕捉数据的预处理，步骤2和步骤3分别构建了滤波器和局部特征全局表情关联器，从而在用户在线过程中对视频信号进行处理。步骤2为运动捕捉数据解耦，步骤3为人脸子空间关联模型建立，下面对步骤2和步骤3进行详细说明。步骤2，运动捕捉数据解耦，目的本文档来自技高网...

【技术保护点】
一种虚拟人脸表情编辑方法，该方法包括离线过程和在线过程，其中，离线过程包括：步骤1，利用人脸正面照片生成用户的虚拟三维人脸模型；步骤2，对运动捕捉数据进行解耦，分离姿态与表情；步骤3，构建人脸子空间关联模型，以此实现由局部特征控制全局表情；在线过程的输入包括用户在摄像头前的表情视频、离线处理得到的虚拟人脸三维模型、解耦的运动捕捉数据和人脸子空间关联模型，在线过程包括步骤：步骤4，对从单摄像头中捕捉到的表情视频进行视频分析，使用主动外观模型跟踪头部的刚体运动以及视频中的面部特征点，然后从跟踪得到的特征点中提取表情控制参数，得到两个部分的控制参数，即表情控制参数和三维头部姿态参数；步骤5，将表情控制参数用解耦后的运动捕捉数据进行动态数据滤波，滤波后的信号输入人脸子空间关联模型中，计算得到全局表情，最后通过将全局表情赋予离线过程生成的虚拟三维人脸，实现虚拟人脸的表情编辑。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴怀宇，潘春洪，王舒旸，沙金正，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：