一种人脸重建方法及系统技术方案

本发明专利技术公开了一种人脸重建方法及系统，根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。由于创建了表征目标用户表情特征的表情形变模型，可以根据用户的表情对该表情形变模型进行实时驱动，使得当前用户表情帧对应的人脸3D模型能够表达出用户的常见表情，提升用户体验效果。

A Face Reconstruction Method and System

【技术实现步骤摘要】
一种人脸重建方法及系统
本专利技术涉及3D
，特别是涉及一种人脸重建方法及系统。
技术介绍
随着科学技术的发展，人类与虚拟世界的交互方式也在不断改变。通常会通过人脸重建技术获得用户的人脸3D模型，然后应用到游戏、社交、影视等领域，提升人们的娱乐体验。传统的3D人脸重建技术，基本是根据图像信息，例如，图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息建模技术进行3D人脸重建。但是这种人脸重建技术一般都是通过深度点云重建得到的，该技术并不成熟，且建模过程繁琐，并且无法实现通过用户的表情实时驱动3D人脸模型。
技术实现思路
针对于上述问题，本专利技术提供一种人脸重建方法及系统，实现了建模过程简单且通过用户表情实时驱动人脸模型的目的。为了实现上述目的，本专利技术提供了如下技术方案：一种人脸重建方法，包括：根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。可选地，所述方法还包括：基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。可选地，所述根据通用人脸3D模型，生成目标用户的目标人脸3D模型，包括：对采集到的目标用户的人脸图像进行关键点检测，获得关键点位置信息；依据所述关键点位置信息进行人脸姿态估计，获得估计结果；如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。可选地，所述根据所述目标人脸3D模型，构造目标用户的表情形变模型，包括：基于所述目标人脸3D模型，构造协方差矩阵；对所述协方差矩阵进行奇异值分解，获取表情基向量；获取所述目标人脸3D模型的中性表情向量；根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。可选地，所述获取当前用户表情帧对应的面部纹理信息，包括：检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。可选地，所述根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型，包括：计算所述目标人脸3D模型的表情权重值；依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；根据所述二维信息计算获得当前用户的表情权重值；基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。一种人脸重建系统，包括：模型生成单元，用于根据通用人脸3D模型，生成目标用户的目标人脸3D模型；模型构造单元，用于根据所述目标人脸3D模型，构造目标用户的表情形变模型；信息获取单元，用于获取当前用户表情帧对应的面部纹理信息；渲染单元，用于根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。可选地，所述系统还包括：模型创建单元，用于基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。可选地，所述模型生成单元包括：第一检测子单元，用于对采集到的目标用户的人脸图像进行关键点检测，获得关键点位置信息；估计子单元，用于依据所述关键点位置信息进行人脸姿态估计，获得估计结果；第一获取子单元，用于如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；模型生成子单元，用于将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。可选地，所述模型构造单元包括：第一构造子单元，用于基于所述目标人脸3D模型，构造协方差矩阵；第二获取子单元，用于对所述协方差矩阵进行奇异值分解，获取表情基向量；第三获取子单元，用于获取所述目标人脸3D模型的中性表情向量；模型构造子单元，用于根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。可选地，所述信息获取单元包括：第二检测子单元，用于检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；第一计算子单元，用于通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；第四获取子单元，用于根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。可选地，所述渲染单元包括：第二计算子单元，用于计算所述目标人脸3D模型的表情权重值；转换子单元，用于依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；第三计算子单元，用于根据所述二维信息计算获得当前用户的表情权重值；加权子单元，用于基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；渲染子单元，用于基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。相较于现有技术，本专利技术提供了一种人脸重建方法及系统，根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。由于创建了表征目标用户表情特征的表情形变模型，可以根据用户的表情对该表情形变模型进行实时驱动，使得当前用户表情帧对应的人脸3D模型能够表达出用户的常见表情，提升用户体验效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种人脸重建方法的流程示意图；图2为本专利技术实施例提供的一种通用人脸模型的示意图；图3为本专利技术实施例提供的一种表情的驱动结果的示意图；图4为本专利技术实施例提供的一种人脸重建系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的本文档来自技高网...

【技术保护点】
1.一种人脸重建方法，其特征在于，包括：根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。

【技术特征摘要】
1.一种人脸重建方法，其特征在于，包括：根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。3.根据权利要求1所述的方法，其特征在于，所述根据通用人脸3D模型，生成目标用户的目标人脸3D模型，包括：对采集到的目标用户的人脸图像进行关键点检测，获得关键点位置信息；依据所述关键点位置信息进行人脸姿态估计，获得估计结果；如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标人脸3D模型，构造目标用户的表情形变模型，包括：基于所述目标人脸3D模型，构造协方差矩阵；对所述协方差矩阵进行奇异值分解，获取表情基向量；获取所述目标人脸3D模型的中性表情向量；根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。5.根据权利要求1所述的方法，其特征在于，所述获取当前用户表情帧对应的面部纹理信息，包括：检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。6.根据权利要求1所述的方法，其特征在于，所述根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型，包括：计算所述目标人脸3D模型的表情权重值；依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；根据所述二维信息计算获得当前用户的表情权重值；基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。7.一种人脸重建系统，其特征在于，包括：模型生成单元，用于根据通用人脸3D模型，生成目标用户的目标...

【专利技术属性】
技术研发人员：张彦博，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11