基于风格迁移约束的弱监督三维人头重建方法技术

本发明专利技术公开了一种单张图片中进行三维人头重建方法。本发明专利技术包括：风格迁移模型，用于为三维人头重建模型提供高维监督；三维人头重建模型，用于从输入人脸照片中提取人脸特征并估计一组FLAME模型参数。最终FLAME模型参数被解码为三维人头网格模型。本发明专利技术可以从单张照片中有效估计人头的形状和表情，很好的提升了人脸表情和轮廓的建模精度，最终通过解码FLAME参数重建出来的人头模型可以用于三维建模、数字人、人脸识别等用途。人脸识别等用途。人脸识别等用途。

【技术实现步骤摘要】
基于风格迁移约束的弱监督三维人头重建方法


[0001]本专利技术涉及行人重识别
，具体而言，涉及基于风格迁移约束的弱监督三维人头重建方法。

技术介绍

[0002]自从Vetter和Blanz首次提出了从单幅图像重建3D人脸的算法以来，3D人头/人脸重建技术得到了迅速发展。3D人头/人脸重建技术正被应用于各种领域，如人脸识别、VR、数字人、表情转移和语音驱动的面部动画等。为了使重建问题更容易解决，现有的方法大多将人头模型形状和纹理的先验知识与深度学习模型相结合，在训练神经网络时摆脱对大量真实3D扫描的依赖。随着科技的进一步发展。2009年推出的第一个3D Morphable Models(3D Morphable Models,3DMM)在人脸重建技术的应用领域取得了突破。使用3DMM模型可以为人体头部重建算法的应用提供一种快速、鲁棒的解决方案。
[0003]3DMM通常将三维模型的形状和纹理降维到满足特定分布的一组参数。我们可以通过一组参数和纹理潜在代码来描述一个三维人脸网格及其纹理，然后结合投影和照明来渲染一个完整的人头模型。更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于风格迁移约束的弱监督三维人头重建方法，其特征在于，包括以下步骤：S1：获取不带标签的人脸图片数据集其中N表示数据集中图片的数量，Xi表示数据集中第i张人脸图片，将每张图片根据人脸的landmark检测结果进行预处理；S2：从开源数据集获取人脸照片并由艺术家手工绘制对应的铅笔画风格人脸照片，最终得到成对的人脸
‑
铅笔画风格照片数据集其中M表示数据集中图片的数量，Yi，Y
′
i分别表示数据集中第i张人脸图片和其对应的铅笔画风格图片，并对人脸照片和铅笔画风格照片进行预处理；S3:构建铅笔画风格迁移深度学习模型，将S2中预处理得到的风格迁移训练数据E输入网络，使用有监督学习方法，使网络模型学习将人脸照片转换为铅笔画风格的人头图片；S4：构建3D人头重建深度学习模型，将S1中预处理得到的人脸图片训练数据D输入3D人头重建网络，估计FLAME模型参数和纹理潜在编码；FLAME参数使用FLAME模型解码为人头网格，纹理潜在编码通过学习的解码网络解码为纹理图；S5：利用预定义的UV和可微分渲染器将人头网格和纹理图结合并渲染在输入图片上，得到渲染后的人脸图片；并使用2D关键点损失，原图和渲染图在面部的像素距离，原图和渲染图分别输入风格迁移网络计算铅笔画风格特征损失监督人头重建网络和纹理重建网格的学习；S6：使用训练好的网络模型进行3D人头重建，输入需要重建的人面部照片，输出3D人头网格模型和纹理。2.根据权利要求1所述的基于风格迁移约束的弱监督三维人头重建方法，其特征在于，步骤S1中的预处理为对输入人脸图片进行landmark检测和人脸mask分割，并利用检测得到的landmark确定一个包围盒，利用包围盒对人脸图片进行裁剪；步骤S2中的预处理为对成对的人脸照片
‑
铅笔画风格照片进行旋转、放缩水平翻转等数据增强处理；为防止背景的干扰，对人头图像应用前景分割算法，仅保留人像部分。3...

【专利技术属性】
技术研发人员：徐岗，王茂宇，顾人舒，高飞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：