从单个图像重建三维人类头部模型的系统和方法技术方案

本申请涉及从单个图像重建三维人类头部模型的系统和方法。用于从人脸的输入2D图像重建三维(3D)人脸模型的系统和方法，包括：将输入2D图像馈送到至少一个预备网络中以生成3D特征点(L`)、人脸特征(F`)和分割图(S`)；将3D特征点(L`)、人脸特征(F`)和分割图(S`)馈送到参数回归器网络(M1)以预测3D人脸参数模型的参数(P’)、相机参数(C’)、毛发参数(H’)和皱纹参数(W’)；使用输入2D图像和(P’、C’、H’、W’)生成初始UV纹理贴图(UV_0`)；将初始UV纹理贴图(UV_0`)馈送到UV补全网络(M2)以生成全UV纹理贴图(UVˋ)和照明参数(LI`)；以及使用(P’、C’、H’、W’、UV`、LI`)生成3D人脸模型。

【技术实现步骤摘要】

专利
本专利技术的实施例总体上涉及计算机图形学领域。更具体地，本专利技术的实施例涉及从单个图像重建三维人类头部模型。

技术介绍

0、背景

1、从单个图像进行三维(3d)人类头部重建，也称为单视图重建(svr)，是计算机图形学领域中众所周知的任务，其中人类头部的一个静态图像被用于对突显3d头部参数模型的参数进行回归操作(regressing)。使用经回归的参数，可以生成人类头部网格，以及uv纹理贴图(texture map)和预定义的绑定(rig)以用于动画制作。可动画化的3d人类头部可用于许多商业应用，包括游戏、电影制作、电子商务、电子学习、视频摄影和人脸匿名化(faceanonymization)。

2、svr任务可能是复杂的，因为单个二维(2d)图像可能固有地缺乏人脸的3d几何结构(通常称为形状)和其外观(通常称为纹理)的一些信息。

3、从二维(2d)图像进行人类头部的3d重建存在大量的工作。然而，大多数现有技术研究未能生成高质量的3d头部模型。在一项研究中，basel人脸模型(一种类型的人脸模型)的3d形变人本文档来自技高网...

【技术保护点】

1.一种用于从人脸的输入2D图像重建三维(3D)人脸模型的方法，所述方法包括：

2.根据权利要求1所述的方法，包括：

3.根据权利要求2所述的方法，其中，所述图像特征包括3D特征点(L`)、人脸特征(F`)和分割图(S`)，并且其中，所述至少一个预备网络包括：

4.根据权利要求3所述的方法，其中，所述3D人脸参数模型是通过关节模型和表情学习的人脸(FLAME)模型，并且其中，所述3D人脸参数模型的参数(P’)包括下颌参数(P_下颌`)、颈部参数(P_颈部`)、平移参数(P_平移`)、相机参数(C’)、形状参数(P_形状`)和表情参数(P_表情`)。...

【技术特征摘要】

1.一种用于从人脸的输入2d图像重建三维(3d)人脸模型的方法，所述方法包括：

2.根据权利要求1所述的方法，包括：

3.根据权利要求2所述的方法，其中，所述图像特征包括3d特征点(l`)、人脸特征(f`)和分割图(s`)，并且其中，所述至少一个预备网络包括：

4.根据权利要求3所述的方法，其中，所述3d人脸参数模型是通过关节模型和表情学习的人脸(flame)模型，并且其中，所述3d人脸参数模型的参数(p’)包括下颌参数(p_下颌`)、颈部参数(p_颈部`)、平移参数(p_平移`)、相机参数(c’)、形状参数(p_形状`)和表情参数(p_表情`)。

5.根据权利要求3所述的方法，其中，所述特征提取器网络包括用于产生人脸识别嵌入(fr)的预训练的人脸识别网络、用于产生表情嵌入(ef)的预训练的表情识别网络和用于产生嘴部动画关键点(kp)的预训练...

【专利技术属性】
技术研发人员：奥尔·戈罗迪斯基，阿米泰·纳赫马尼，马坦·费尔德曼，伊利安·库塔，吉尔·佩里，萨拉·布朗德海姆，
申请(专利权)人：去识别化有限公司，
类型：发明
国别省市：