定制人脸混合表情模型自动生成方法及装置制造方法及图纸

本发明专利技术公开了一种定制人脸混合表情模型自动生成方法及装置，该方法包括：利用RGB‑D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。该方法可以实时生成逼真的人脸表情模型。

Automatic generation method and device of customized face mixed expression model

【技术实现步骤摘要】
定制人脸混合表情模型自动生成方法及装置
本专利技术涉及人脸动画三维重建
，特别涉及一种定制人脸混合表情模型自动生成方法及装置。
技术介绍
高精度定制混合人脸表情模型，包含人做一些特定表情时人脸的形状，不同的形状构成了混合模型中的不同的表情基。在电影、动画以及游戏等领域，能够通过一组表情系数组，快速生成人脸的三维动画。定制人脸混合表情模型是电影以及动画中经常需要使用的用于制作人脸动画的人脸三维表情模型，同样也可以用于人脸跟踪任务。一般使用的用于制作高精度人脸混合模型的方法，往往需要昂贵的设备。简单的自动化方法在很难达到精度上的要求，无法还原人脸上如痣、皱纹等细节。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种定制人脸混合表情模型自动生成方法，该方法从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型。本专利技术的另一个目的在于提出一种定制人脸混合表情模型自动生成装置。为达到上述目的，本专利技术一方面实施例提出了一种定制人脸混合表情模型自动生成方法，包括：S1，获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；S2，在所述RGB-D图像序列的最后一帧，通过ShapefromShading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；S3，通过DeformationTransfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；S4，通过所述定制人脸混合模型、WarpingField技术和ShapefromShading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；S5，根据所述人脸跟踪结果更新所述定制人脸混合模型。本专利技术实施例的定制人脸混合表情模型自动生成方法，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和ShapefromShading对人脸三维模板模型进行变形生成中性人脸三维模型；通过DeformationTransfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、WarpingField和ShapefromShading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。另外，根据本专利技术上述实施例的定制人脸混合表情模型自动生成方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述获取包含用户中性表情的RGB-D图像序列，包括：用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。进一步地，在本专利技术的一个实施例中，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对所述深度数据进行筛选生成有效深度数据，将所述有效深度数据融合在与所述人脸三维模板模型大小相同的数组中生成所述变形数据组。进一步地，在本专利技术的一个实施例中，所述S4具体包括：S41，通过所述定制人脸混合模型对所述中性人脸三维模型进行变形生成所述定制人脸混合模型的表情系数；S42，通过WarpingField技术对所述S41中变形后的中性人脸三维模型进行变形；S43，通过ShapefromShading技术对所述S42中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。进一步地，在本专利技术的一个实施例中，所述人脸跟踪结果包括：所述当前中性人脸三维模型的重建结果和所述人脸混合模型的表情系数。为达到上述目的，本专利技术另一方面实施例提出了一种定制人脸混合表情模型自动生成装置，包括：处理模块，用于获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；第一生成模块，用于在所述RGB-D图像序列的最后一帧，通过ShapefromShading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；第二生成模块，用于通过DeformationTransfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；跟踪模块，用于通过所述定制人脸混合模型、WarpingField技术和ShapefromShading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；更新模块，用于根据所述人脸跟踪结果更新所述定制人脸混合模型。本专利技术实施例的定制人脸混合表情模型自动生成装置，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和ShapefromShading对人脸三维模板模型进行变形生成中性人脸三维模型；通过DeformationTransfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、WarpingField和ShapefromShading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。另外，根据本专利技术上述实施例的定制人脸混合表情模型自动生成装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述获取包含用户中性表情的RGB-D图像序列，包括：用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。进一步地，在本专利技术的一个实施例中，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，本文档来自技高网...

【技术保护点】
1.一种定制人脸混合表情模型自动生成方法，其特征在于，包括以下步骤：/nS1，获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；/nS2，在所述RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；/nS3，通过Deformation Transfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；/nS4，通过所述定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；/nS5，根据所述人脸跟踪结果更新所述定制人脸混合模型。/n

【技术特征摘要】
1.一种定制人脸混合表情模型自动生成方法，其特征在于，包括以下步骤：
S1，获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；
S2，在所述RGB-D图像序列的最后一帧，通过ShapefromShading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；
S3，通过DeformationTransfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；
S4，通过所述定制人脸混合模型、WarpingField技术和ShapefromShading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；
S5，根据所述人脸跟踪结果更新所述定制人脸混合模型。


2.根据权利要求1所述的定制人脸混合表情模型自动生成方法，其特征在于，所述获取包含用户中性表情的RGB-D图像序列，包括：
用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。


3.根据权利要求1所述的定制人脸混合表情模型自动生成方法，其特征在于，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：
将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对所述深度数据进行筛选生成有效深度数据，将所述有效深度数据融合在与所述人脸三维模板模型大小相同的数组中生成所述变形数据组。


4.根据权利要求1所述的定制人脸混合表情模型自动生成方法，其特征在于，所述S4具体包括：
S41，通过所述定制人脸混合模型对所述中性人脸三维模型进行变形生成所述定制人脸混合模型的表情系数；
S42，通过WarpingField技术对所述S41中变形后的中性人脸三维模型进行变形；
S43，通过ShapefromShading技术对所述S42中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。


5.根据权利要求4所述的定制人脸混合表情模型自动生成方法，其特征在于，所述人脸跟踪结果包括：
所述当前中性人脸三维模型的重建结果和所述人脸混合模型的表情系数。


6.一种定制人脸混合表情模型自动生成装置，其特征在于，包...

【专利技术属性】
技术研发人员：徐枫，王至博，冯铖锃，凌精望，杨东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11