一种训练3D人脸生成模型的方法、装置、设备及介质制造方法及图纸

本申请涉及一种训练3D人脸生成模型的方法、装置、设备及介质，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。在对3D人脸生成模型的每一轮训练中，通过3D人脸生成模型生成第一随机向量对应初始人脸图像，基于初始人脸图像和样本人脸图像获得第一损失值；通过3D人脸生成模型结合不同的标准位姿参数，分别生成第二随机向量对应的第一人脸图像和第二人脸图像，以及将这两个人脸图像进行3D人脸建模，获得这两个人脸图像各自对应的3D人脸特征，以确定第二损失值，基于第一损失值和第二损失值，对3D人脸生成模型进行调参。本申请在生成同一人脸在不同位姿下的人脸图像时，可以保证人脸的一致性，以保证生成的人脸图像的质量。量。量。

【技术实现步骤摘要】
一种训练3D人脸生成模型的方法、装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种训练3D人脸生成模型的方法、装置、设备及介质。

技术介绍

[0002]近年来，现有的3D(three
‑
dimensional，三维)人脸生成模型在生成质量上取得了显著进步。3D人脸生成模型最早始于生成式对抗网络(Generative adversarial network，GAN)的提出，在StyleGAN模型出现之后日趋成熟，StyleGAN模型可以从一个服从高斯分布的噪声向量中生成一个对应的人脸图像。
[0003]为了使3D人脸生成模型能够生成各种视角下的人脸图像，即较为方便地对生成的人脸进行3D操作(例如旋转等)，相关技术中，将神经辐射场NeRF和StyleGAN模型相结合，在人脸生成过程中引入真实的体渲染操作，通过指定位姿、渲染相机参数等，可以生成对应视角下的人脸图像。
[0004]目前，3D人脸生成模型生成的人脸图像的质量，通常采用IS(Inception Score，Inception得分)和FI本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练3D人脸生成模型的方法，其特征在于，包括：基于样本人脸图像集对待训练的3D人脸生成模型进行迭代训练，获得已训练的目标3D人脸生成模型，其中，在每一轮迭代训练中，执行以下操作：基于服从高斯分布的第一随机向量，通过所述3D人脸生成模型，生成对应的初始人脸图像，并基于所述初始人脸图像，以及样本人脸图像获得第一损失值；基于服从高斯分布的第二随机向量，通过所述3D人脸生成模型，结合不同的标准位姿参数，分别生成对应同一人脸的不同位姿的第一人脸图像和第二人脸图像，以及分别将所述第一人脸图像和所述第二人脸图像进行3D人脸建模，并基于获得的所述第一人脸图像和所述第二人脸图像各自对应的3D人脸特征，确定第二损失值；基于所述第一损失值和所述第二损失值，对所述3D人脸生成模型进行参数调整。2.根据权利要求1所述的方法，其特征在于，所述分别将所述第一人脸图像和所述第二人脸图像进行3D人脸建模，包括：通过预设的3D人脸建模方法，基于所述第一人脸图像的人脸关键点信息，对所述第一人脸图像进行3D人脸建模，获得所述第一人脸图像对应的3D人脸特征以及3D人脸位姿；以及通过所述3D人脸建模方法，基于所述第二人脸图像的人脸关键点信息，对所述第二人脸图像进行3D人脸建模，获得所述第二人脸图像对应的3D人脸特征以及3D人脸位姿。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于所述第一人脸图像和所述第二人脸图像各自对应的3D人脸位姿，结合所述第一人脸图像和所述第二人脸图像各自对应的标准位姿，确定第三损失值；其中，所述标准位姿与相应的标准位姿参数相对应；则所述基于所述第一损失值和所述第二损失值，对所述3D人脸生成模型进行参数调整，包括：基于所述第一损失值、所述第二损失值和所述第三损失值，对所述3D人脸生成模型进行参数调整。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：基于服从高斯分布的第三随机向量和第四随机向量，通过所述3D人脸生成模型，生成第三人脸图像和第四人脸图像；分别将所述第三人脸图像和所述第四人脸图像进行3D人脸重建，并基于获得的所述第三人脸图像和所述第四人脸图像各自对应的3D人脸特征，确定第四损失值；则所述基于所述第一损失值和所述第二损失值，对所述3D人脸生成模型进行参数调整，包括：基于所述第一损失值、所述第二损失值和所述第四损失值，对所述3D人脸生成模型进行参数调整。5.根据权利要求4所述的方法，其特征在于，所述基于获得的所述第三人脸图像和所述第四人脸图像各自的3D人脸特征，确定第四损失值，包括：确定所述第三人...

【专利技术属性】
技术研发人员：张振宇，曹玮剑，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：