基于单幅图像的三维人脸重建方法技术

本发明专利技术公开了一种基于单幅图像的三维人脸重建方法，包括如下方法步骤：S1、构建数据集，用数据集对辅助编码器进行半监督训练，辅助编码器以源人脸图片作为输入，输出参数；S2、使用预训练模型作为身份编码器，身份编码器以源人脸图片作为输入，输出身份编码；S3、将辅助编码器和身份编码器的输出通过联合优化过程进行优化，解码输出重建人脸形状；S4、将重建人脸形状调整姿态进行渲染作为目标人脸，将源人脸图片作为源人脸进行重演得到具有互补姿态的人脸图片，从源人脸图片与互补姿态的人脸图片提取纹理，构成重建的纹理贴图，将纹理贴图与重建人脸形状结合得到重建人脸。本发明专利技术可以得到高质量、高保真的重建纹理图。高保真的重建纹理图。高保真的重建纹理图。

【技术实现步骤摘要】
基于单幅图像的三维人脸重建方法


[0001]本专利技术涉及三维重建
，尤其涉及一种基于单幅图像的三维人脸重建方法。

技术介绍

[0002]三维人脸重建在人脸识别、VR/AR、人机交互和人脸动画等领域有着广泛的应用。和传统的二维人脸识别相比，三维人脸识别通过对人的面部进行三维重建，获取人脸的颜色、纹理、深度等信息，同时也能够准确识别人脸的微表情变化，可以抵抗来自人脸图片、人脸视频等的干扰，从而提高人脸识别的安全性。
[0003]目前通过高精度三维人脸采集设备进行三维人脸建模往往代价较高，在日常场景下很难实现，所以基于单幅人脸图像的高质量三维人脸重建受到越来越多的关注。同时，由于头部形状、姿态、面部表情、复杂的背景、光照条件、遮挡的多样性和复杂性，单张无约束图像的人脸重建仍然是一个有待解决的问题。
[0004]近年来，深度学习的快速发展促进了基于回归的方法，该方法通常使用深度神经网络来回归三维形变模型参数，显著提高了三维人脸重建的质量和效率。但是，基于深度神经网络的方法通常需要大量的数据集，这些数据集采集往往代价较高，甚至在很多场景下无法实现。一些方法使用合成数据来监督训练，通过合成方法生成的人脸图片通常与真实图片之间存在一定的差距，它们在表情、光照、背景方面缺乏多样性，导致网络泛化能力差。有些工作以无监督或弱监督的方式训练网络，这些方法仅需要二维人脸图片以及其对应的二维人脸特征点，但是特征点的检测往往数量较少、精度不足，难以恢复高质量的人脸形状。
[0005]除形状外，纹理是决定重建结果是否逼真的另一个重要属性。三维形变模型中的纹理空间不足以恢复出保留输入图像人脸身份的高保真纹理映射，一些工作构建数据集并训练对抗生成网络作为解码器来取代三维形变模型的线性纹理基向量以提高纹理图的质量，然而重建的保真度仍然受到训练集中身份数目的限制。一些工作从图片重建出3D网格后，根据图片像素与网格三角形片元的对应关系从原图中提取纹理贴图，这种方法可以提高重建的保真度，但是贴图质量受到原图分辨率限制并且存在许多瑕疵。
[0006]在计算机视觉和图形学中，从单一图像重建人脸的三维形状和纹理是一项重要且具有挑战性的任务。近年来，基于学习的重建方法在这一任务中表现出了突出的性能，但其有效性由于缺乏具有三维标注的训练数据而受到严重限制。因此，如何提供一种基于单幅图像的三维人脸重建方法是本领域技术人员亟须解决的问题。

技术实现思路

[0007]本专利技术的一个目的在于提出一种基于单幅图像的三维人脸重建方法，本专利技术利用StyleGAN2逼真的生成能力，对原始图像中由于自遮挡导致的纹理信息缺失进行补充，得到高质量、高保真的重建纹理图。
[0008]根据本专利技术实施例的一种基于单幅图像的三维人脸重建方法，包括如下方法步骤：S1、构建数据集，用数据集对辅助编码器进行半监督训练，辅助编码器以源人脸图片作为输入，输出人脸参数模型的身份参数、光照参数和相机参数；S2、使用预训练模型作为身份编码器，身份编码器以源人脸图片作为输入，输出身份编码；S3、将辅助编码器和身份编码器的输出通过联合优化过程进行优化，解码输出重建人脸形状；S4、将重建人脸形状调整姿态进行渲染作为目标人脸，将源人脸图片作为源人脸进行重演得到具有互补姿态的人脸图片，从源人脸图片与互补姿态的人脸图片提取纹理，构成重建的纹理贴图，将纹理贴图与重建人脸形状结合得到重建人脸。
[0009]可选的，所述数据集内包括自然场景人脸图像和有标注图像。
[0010]可选的，所述S1具体包括：使用可微渲染训练辅助编码器，使用前100个人脸参数模型的身份、前50个人脸参数模型的身份表情和前50个人脸参数模型的身份外观；通过在输入图像和重建图像之间的误差进行反向传播来更新神经网络，并计算总的损失为：；其中，表示混合关键点损失，表示光度损失，表示感知水平损失，表示正则化损失，，，，，。
[0011]可选的，所述混合关键点损失使用正交相机模型计算标注的二维面部关键点与从估计的人脸参数模型的身份网格相应点投影到二维空间的对应关键点之间的L1损失：；其中，s表示自然场景人脸图像，t表示平移，表示自然场景人脸图像，表示有标注图像，表示范数，表示L1的范数；所述光度损失用于衡量输入图像和重建图像之间的差异：；其中，表示人脸的遮罩，人脸的遮罩将面部皮肤区域的值赋为1，其他地方的值赋为0；
所述感知水平损失通过使用人脸识别模型来计算输入图像和重建图像的深度特征向量的余弦距离：；所述正则化损失包括人脸参数模型的外观正则化项，人脸参数模型的身份正则化项和人脸参数模型的表情正则化项。
[0012]可选的，所述混合关键点损失具体包括：将BFM人脸模型网格转换为人脸参数模型的身份拓扑结构；通过优化正交相机模型，根据检测到的关键点将人脸参数模型的身份网格与图像对齐；获得对齐的人脸参数模型的身份网格的投影面部顶点作为密集关键点。
[0013]可选的，所述身份编码器包括由MICA数据集训练的ArcFace模型和映射网络，所述身份编码器的输出是一个位于人脸参数模型的身份形状空间内的300维单位向量，所述人脸参数模型的身份被解码生成一个具有中性姿态和表情的人脸网格。
[0014]可选的，所述身份编码器得到人脸参数模型的身份，所述辅助编码器得到姿态编码，人脸参数模型的表情编码，相机c编码，光照l编码，人脸参数模型的外观编码。
[0015]可选的，所述S3具体包括：在第一阶段，通过最小化一个能量函数来优化：；其中，，使用FAN人脸检测算法检测68个关键点，与相同，包括姿态正则化项，相机正则化项，光照正则化项和人脸参数模型的外观正则化项；第二阶段冻结了第一阶段优化的参数，通过最小化来优化：；其中，包括人脸参数模型的身份正则化项和人脸参数模型的表情正则化项。
[0016]本专利技术的有益效果是：（1）本专利技术使用一个辅助编码器和一个身份编码器将输入的图像编码为人脸参数模型的身份的参数，在随后的联合优化过程中，通过最小化基于可微渲染的能量函数，对回归参数进行进一步优化，根据一种半监督的混合关键点损失从自然场景人脸图像和有标注数据集来训练辅助编码器。
[0017]（2）本专利技术提出的形状重建框架和半监督学习策略减轻了基于学习的方法对真实三维扫描数据的依赖，提高了形状重建的精度，根据所得到的人脸形状，通过对StyleGAN2的样式风格空间解耦，得到具有互补姿态的重演人脸图像，从源图像和重演后的图像中提取纹理构成人脸纹理图，利用StyleGAN2逼真的生成能力，对原始图像中由于自遮挡导致的纹理信息缺失进行补充，得到高质量、高保真的重建纹理图。
附图说明
[0018]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术提出的一种基于单幅图像的三维人脸重建方法的整体流程图；图2为本专利技术提出的一种基于单幅图像的三维人脸重建方法中形状重建的示例说明流程图；图3为本专利技术提出的一种基于单幅图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单幅图像的三维人脸重建方法，其特征在于，包括如下方法步骤：S1、构建数据集，用数据集对辅助编码器进行半监督训练，辅助编码器以源人脸图片作为输入，输出人脸参数模型的身份参数、光照参数和相机参数；S2、使用预训练模型作为身份编码器，身份编码器以源人脸图片作为输入，输出身份编码；S3、将辅助编码器和身份编码器的输出通过联合优化过程进行优化，解码输出重建人脸形状；S4、将重建人脸形状调整姿态进行渲染作为目标人脸，将源人脸图片作为源人脸进行重演得到具有互补姿态的人脸图片，从源人脸图片与互补姿态的人脸图片提取纹理，构成重建的纹理贴图，将纹理贴图与重建人脸形状结合得到重建人脸。2.根据权利要求1所述的一种基于单幅图像的三维人脸重建方法，其特征在于，所述数据集内包括自然场景人脸图像和有标注图像。3.根据权利要求2所述的一种基于单幅图像的三维人脸重建方法，其特征在于，所述S1具体包括：使用可微渲染训练辅助编码器，使用人脸参数模型的身份、人脸参数模型的身份表情和人脸参数模型的身份外观；通过在输入图像和重建图像之间的误差进行反向传播来更新神经网络，并计算总的损失为：；其中，表示混合关键点损失，表示光度损失，表示感知水平损失，表示正则化损失，，，，，。4.根据权利要求3所述的一种基于单幅图像的三维人脸重建方法，其特征在于，所述混合关键点损失使用正交相机模型计算标注的二维面部关键点与从估计的人脸参数模型的身份网格相应点投影到二维空间的对应关键点之间的L1损失：；其中，s表示自然场景人脸图像，t表示平移，表示自然场景人脸图像，表示有标注图像，表示范数，表示L1的范数；所述光度损失用于衡量输入图像和重建图像之间的差异：；其中，表示人脸的遮罩，人...

【专利技术属性】
技术研发人员：黄章进，武兴，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：