基于风格迁移约束的弱监督三维人头重建方法技术

本发明专利技术公开了一种单张图片中进行三维人头重建方法。本发明专利技术包括：风格迁移模型，用于为三维人头重建模型提供高维监督；三维人头重建模型，用于从输入人脸照片中提取人脸特征并估计一组FLAME模型参数。最终FLAME模型参数被解码为三维人头网格模型。本发明专利技术可以从单张照片中有效估计人头的形状和表情，很好的提升了人脸表情和轮廓的建模精度，最终通过解码FLAME参数重建出来的人头模型可以用于三维建模、数字人、人脸识别等用途。人脸识别等用途。人脸识别等用途。

【技术实现步骤摘要】
基于风格迁移约束的弱监督三维人头重建方法


[0001]本专利技术涉及行人重识别
，具体而言，涉及基于风格迁移约束的弱监督三维人头重建方法。

技术介绍

[0002]自从Vetter和Blanz首次提出了从单幅图像重建3D人脸的算法以来，3D人头/人脸重建技术得到了迅速发展。3D人头/人脸重建技术正被应用于各种领域，如人脸识别、VR、数字人、表情转移和语音驱动的面部动画等。为了使重建问题更容易解决，现有的方法大多将人头模型形状和纹理的先验知识与深度学习模型相结合，在训练神经网络时摆脱对大量真实3D扫描的依赖。随着科技的进一步发展。2009年推出的第一个3D Morphable Models(3D Morphable Models,3DMM)在人脸重建技术的应用领域取得了突破。使用3DMM模型可以为人体头部重建算法的应用提供一种快速、鲁棒的解决方案。
[0003]3DMM通常将三维模型的形状和纹理降维到满足特定分布的一组参数。我们可以通过一组参数和纹理潜在代码来描述一个三维人脸网格及其纹理，然后结合投影和照明来渲染一个完整的人头模型。更重要的是，3DMM为我们解决从照片重建模型的“逆问题”提供了可能性。使用3DMM模型的方法通过使用图像特征信息回归控制其形状、纹理的参数和环境参数，简化了直接回归复杂人脸网格的过程。这类方法能够有效应用的关键在于，最终场景生成的决定性因素(光线、模型形状、相机和姿态)是可分离的。解决这个逆问题的过程被称为“模型拟合”.
[0004]然而，现有的单幅图像人脸重建算法系统在人脸细节重建和人脸深度重建，以及如何将人头重建应用于商业场景等方面仍有很多需要改进的地方。虽然一些算法已经讨论并探索了如何准确的恢复面部皱纹和自然凹陷之类的细节，但这些方法在粗重建时受到3DMM控制人脸形状的参数变化空间限制，无法恢复真实的人脸深度变化。此外，训练模型在收敛过程中可能收敛到局部最优解。添加高维的、全局性的约束有助于帮助模型训练更快收敛，避免陷入局部最优值。

技术实现思路

[0005]本专利技术解决的问题是如何避免三维人头重建网络过于关注图像中提取到的局部特征，如何提高模型的整体准确率，如何优化损失函数，从而进一步提高网络的鲁棒性。
[0006]为解决上述问题，本专利技术提供基于风格迁移约束的弱监督三维人头重建方法，包括步骤：
[0007]S1：获取不带标签的人脸图片数据集其中N表示数据集中图片的数量，Xi表示数据集中第i张人脸图片，将每张图片根据人脸的landmark检测结果进行预处理。
[0008]S2：训练风格迁移模型。从开源数据集获取人脸照片并由艺术家手工绘制对应的铅笔画风格人脸照片，最终得到成对的人脸
‑
铅笔画风格照片数据集铅笔画风格照片数据集其
中M表示数据集中图片的数量，Yi，Y
′
i分别表示数据集中第i张人脸图片和其对应的铅笔画风格图片，并对人脸照片和铅笔画风格照片进行预处理。
[0009]S3:构建铅笔画风格迁移深度学习模型，将S2中预处理得到的风格迁移训练数据E输入网络，使用有监督学习方法使网络模型学习将人头照片转换为铅笔画风格的人头图片。
[0010]S4：构建3D人头重建深度学习模型。将S1中预处理得到的人脸图片训练数据D输入网络，估计FLAME模型参数和纹理潜在编码。FLAME参数使用FLAME模型解码为人头网格，纹理潜在编码通过学习的解码网络解码为纹理图。
[0011]S5：利用预定义的UV和可微分渲染器将S4中解码得到的人头网格和纹理图结合并渲染在输入图片上，得到渲染后的人脸图片。并使2D关键点损失，原图和渲染图在面部的像素距离，原图和渲染图分别输入S2中训练好的风格迁移网络计算铅笔画风格特征损失等，监督人头重建网络和纹理重建网格的学习。
[0012]S6：使用训练好的网络模型进行3D人头重建，输入想要重建的人面部照片，输出3D人头网格模型和纹理。
[0013]上述方法中，对人脸图片进行铅笔画风格的迁移过程中，特征提取器通常能够有效提取人脸表面的轮廓信息和脸局部的深度信息。并且原图中的背景，肤色和毛孔级别的像素差异在铅笔画风格转换过程中会被滤除。因此，铅笔画风格迁移在本方法中用于为3D人头重建的脸部提供高维监督较为合适，结合人脸landmark约束和人头再渲染像素损失能够有效的重建人脸表面的深度变化和细节纹理。
[0014]进一步地，S1中的预处理将图片分别使用landmark估计和人脸分割模型处理得到样本的landmark和面部mask。使用landmark计算输入样本人脸部分的包围盒并建立到固定尺寸图网络输入的仿射变换，将原图和面部mask应用该仿射变换得到固定尺寸的网络输入样本。
[0015]S2中，人脸照片由开源数据集中获取，与其相对应的铅笔画风格照片数据由专业艺术家绘制。预处理阶段对成对的人脸照片
‑
铅笔画风格照片进行旋转、放缩水平翻转等数据增强处理。为防止背景的干扰，除人头图像外的背景部分使用modnet去除，仅保留人像部分。
[0016]S3中，本方法采用pix2pix网络架构作为铅笔画风格迁移模型的主要结构。其中，输入照片经由一个作为生成器的UNet网络预测得到生成的铅笔画风格图片。生成的铅笔画风格图片和真实的由艺术家绘制的铅笔画照片经由cgan判别网络计算博弈损失，并加入正则化损失以提升图像质量。训练后该网络能将人脸图像有效转化为铅笔画风格的人脸图像。
[0017]S4中，所述步骤包括：
[0018]S41：将处理后的人脸图片输入一个Resnet50网络，估计FLAME模型参数(包括形状参数，形状参数以及姿态参数)，纹理潜在代码，相机外参，以及光照参数。
[0019]S42：将上一步中估计得到的参数解码。FLAME参数通过FLAME模型解码为人头网格模型，纹理潜在代码通过一个解码网络解码为一张固定大小的纹理图，其UV映射关系为预先定义好的。其他估计参数可直接输入渲染器，无需解码。
[0020]S5中，所述步骤包括：
[0021]S51:利用预定义的UV将纹理与人头网格模型结合，将纹理图，人头网格模型和其他环境参数输入pytorch3d渲染器中进行渲染，得到一张人头的纹理图。纹理图与原图经由mash掩码进行逐像素乘积运算后，分别提取出脸部，计算逐像素L1距离作为损失函数。
[0022]S52:重建后人头网格通过一个关键点回归模块计算人头的3D关键点，并在通过相机参数在2D相机平面上投影得到2D关键点，以输入图像的landmark预测结果作为ground true计算landmark损失。
[0023]S53:将渲染后的人头图片和输入的原图分别经过mask掩码提取出脸部，然后分别输入S3中训练好的铅笔画风格迁移模型，输入得到渲染
‑
铅笔画人头图片和原图
‑
铅笔画人头图片。再次使用掩码提取人头部分后计算逐像素乘积，并计算逐像素L1距离作为风本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于风格迁移约束的弱监督三维人头重建方法，其特征在于，包括以下步骤：S1：获取不带标签的人脸图片数据集其中N表示数据集中图片的数量，Xi表示数据集中第i张人脸图片，将每张图片根据人脸的landmark检测结果进行预处理；S2：从开源数据集获取人脸照片并由艺术家手工绘制对应的铅笔画风格人脸照片，最终得到成对的人脸
‑
铅笔画风格照片数据集其中M表示数据集中图片的数量，Yi，Y
′
i分别表示数据集中第i张人脸图片和其对应的铅笔画风格图片，并对人脸照片和铅笔画风格照片进行预处理；S3:构建铅笔画风格迁移深度学习模型，将S2中预处理得到的风格迁移训练数据E输入网络，使用有监督学习方法，使网络模型学习将人脸照片转换为铅笔画风格的人头图片；S4：构建3D人头重建深度学习模型，将S1中预处理得到的人脸图片训练数据D输入3D人头重建网络，估计FLAME模型参数和纹理潜在编码；FLAME参数使用FLAME模型解码为人头网格，纹理潜在编码通过学习的解码网络解码为纹理图；S5：利用预定义的UV和可微分渲染器将人头网格和纹理图结合并渲染在输入图片上，得到渲染后的人脸图片；并使用2D关键点损失，原图和渲染图在面部的像素距离，原图和渲染图分别输入风格迁移网络计算铅笔画风格特征损失监督人头重建网络和纹理重建网格的学习；S6：使用训练好的网络模型进行3D人头重建，输入需要重建的人面部照片，输出3D人头网格模型和纹理。2.根据权利要求1所述的基于风格迁移约束的弱监督三维人头重建方法，其特征在于，步骤S1中的预处理为对输入人脸图片进行landmark检测和人脸mask分割，并利用检测得到的landmark确定一个包围盒，利用包围盒对人脸图片进行裁剪；步骤S2中的预处理为对成对的人脸照片
‑
铅笔画风格照片进行旋转、放缩水平翻转等数据增强处理；为防止背景的干扰，对人头图像应用前景分割算法，仅保留人像部分。3...

【专利技术属性】
技术研发人员：徐岗，王茂宇，顾人舒，高飞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：