三维光场人脸内容生成方法、电子设备及存储介质技术

本发明专利技术提供一种三维光场人脸内容生成方法、电子设备及存储介质，其中三维光场人脸内容生成方法，包括：获取目标人脸图像；将目标人脸图像输入至目标三维人脸生成网络模型，确定目标人脸图像对应的目标三维人脸模型；对目标三维人脸模型进行多视角采样，并基于多视角采样结果和目标人脸图像，确定目标超分辨率人脸图像；对目标超分辨率人脸图像进行三维光场图像编码，生成目标三维光场人脸内容；其中，目标三维人脸生成网络模型是基于不同视角下拍摄的不同样本人脸图像训练得到的。本发明专利技术既能准确显示三维光场人脸内容，也能够在不降低三维光场人脸内容质量的前提下满足用户对于三维光场人脸内容的显示需求。光场人脸内容的显示需求。光场人脸内容的显示需求。

【技术实现步骤摘要】
三维光场人脸内容生成方法、电子设备及存储介质


[0001]本专利技术涉及人脸图像处理
，尤其涉及一种三维光场人脸内容生成方法、电子设备及存储介质。

技术介绍

[0002]随着计算机科学和显示技术的不断发展，三维人脸显示技术由于能够给人一种身临其境的感觉，成为了目前显示领域最前沿、最热门的高新技术，并且为了提高三维人脸显示的多样性和丰富性，也可以将三维人脸图像在光场中显示。因此，如何生成能在光场中显示的三维光场人脸内容就显得尤为重要。
[0003]相关技术中，通常是先使用大量不同视角的光场相机采集大量的人脸图像，再针对采集的大量人脸图像输入光场后进行三维光场人脸内容显示。
[0004]然而，当光场相机的数量有限时，只能采集个别视角下的人脸图像，将稀疏视角下采集的人脸图像输入光场后，既不能显示准确的三维光场人脸内容，也不能满足用户对于三维光场人脸内容的显示需求。

技术实现思路

[0005]本专利技术提供一种三维光场人脸内容生成方法、电子设备及存储介质，用以解决现有技术中将稀疏视角采集的人脸图像输入光场后，既不能显示准确的三维光场人脸内容，也不能满足用户对于三维光场人脸内容的显示需求的缺陷，通过针对稀疏视角采集的人脸图像先生成三维人脸模型、再对三维人脸模型进行多视角采集、后对基于多视角采集结果和人脸图像确定的超分辨率图像进行三维光场图像编码的方式的方式，不仅实现了在采集设备有限时也能够获取到多视角人脸图像的目的，大幅降低了多视角采集人脸图像的难度和设备复杂度，而且也能准确显示三维光场人脸内容，从而能够在不降低三维光场人脸内容质量的前提下满足用户对于三维光场人脸内容的显示需求。
[0006]本专利技术提供一种三维光场人脸内容生成方法，包括：
[0007]获取目标人脸图像；
[0008]将所述目标人脸图像输入至目标三维人脸生成网络模型，确定所述目标人脸图像对应的目标三维人脸模型；
[0009]对所述目标三维人脸模型进行多视角采样，并基于多视角采样结果和所述目标人脸图像，确定目标超分辨率人脸图像；
[0010]对所述目标超分辨率人脸图像进行三维光场图像编码，生成目标三维光场人脸内容；
[0011]其中，所述目标三维人脸生成网络模型是基于不同视角下拍摄的不同样本人脸图像训练得到的。
[0012]根据本专利技术提供的一种三维光场人脸内容生成方法，所述目标三维人脸生成网络模型包括目标三维处理网络和目标体渲染神经网络，所述将所述目标人脸图像输入至目标
三维人脸生成网络模型，确定所述目标人脸图像对应的目标三维人脸模型，包括：
[0013]将所述目标人脸图像输入至所述目标三维处理网络，确定所述目标人脸图像对应的目标三维表达结果；
[0014]将所述目标三维表达结果输入至所述目标体渲染神经网络，确定所述目标三维人脸模型。
[0015]根据本专利技术提供的一种三维光场人脸内容生成方法，所述目标三维处理网络包括目标StyleGAN生成器网络和目标三维表达网络，所述将所述目标人脸图像输入至所述目标三维处理网络，确定所述目标人脸图像对应的目标三维表达结果，包括：
[0016]将所述目标人脸图像输入至所述目标StyleGAN生成器网络，确定所述目标人脸图像的目标人脸特征图和目标视角信息；
[0017]将所述目标人脸特征图和所述目标视角信息输入至所述目标三维表达网络，确定所述目标人脸图像对应的目标三维表达结果。
[0018]根据本专利技术提供的一种三维光场人脸内容生成方法，所述对所述目标三维人脸模型进行多视角采样，并基于多视角采样结果和所述目标人脸图像，确定目标超分辨率人脸图像，包括：
[0019]对所述目标三维人脸模型进行多视角采样，确定多个目标低分辨率人脸图像；
[0020]基于预设人脸先验信息和所述目标人脸图像，对所述多个目标低分辨率人脸图像分别进行人脸特征提取；
[0021]基于人脸特征提取结果，生成所述目标超分辨率人脸图像。
[0022]根据本专利技术提供的一种三维光场人脸内容生成方法，所述方法还包括：
[0023]将所述目标三维光场人脸内容发送至光场显示设备，所述光场显示设备用于基于预设分辨率、预设视角和预设显示模式显示所述目标三维光场人脸内容。
[0024]根据本专利技术提供的一种三维光场人脸内容生成方法，所述目标三维人脸生成网络模型的训练过程包括：
[0025]获取样本人脸图像集，所述样本人脸图像集包括不同视角下拍摄的不同样本人脸图像；
[0026]基于所述样本人脸图像集，对初始三维人脸生成网络模型进行训练，确定所述目标三维人脸生成网络模型；
[0027]其中，所述初始三维人脸生成网络模型包括初始StyleGAN生成器网络、初始三维表达网络、初始体渲染神经网络、噪声添加网络和鉴别器网络。
[0028]根据本专利技术提供的一种三维光场人脸内容生成方法，所述基于所述样本人脸图像集，对初始三维人脸生成网络模型进行训练，确定所述目标三维人脸生成网络模型，包括：
[0029]使用所述样本人脸图像集，对所述初始三维人脸生成网络模型进行训练，获取预设次数训练后的中间三维人脸生成网络模型的模型损失；
[0030]基于所述模型损失与预设模型损失的匹配成功结果，确定所述目标三维人脸生成网络模型。
[0031]根据本专利技术提供的一种三维光场人脸内容生成方法，所述使用所述样本人脸图像集，对所述初始三维人脸生成网络模型进行训练，获取预设次数训练后的中间三维人脸生成网络模型的模型损失，包括：
[0032]针对每次训练，将对应样本人脸图像输入至前次训练后的中间StyleGAN生成器网络中，确定所述对应样本人脸图像的样本人脸特征图和样本视角信息；
[0033]将所述样本人脸特征图和所述样本视角信息输入至前次训练后的中间三维表达网络中，确定所述对应样本人脸图像的样本三维表达结果；
[0034]将所述样本三维表达结果输入至前次训练后的中间体渲染神经网络中，确定与所述对应样本人脸图像对应的样本三维人脸模型；
[0035]将所述对应样本人脸图像输入至噪声添加网络中，确定样本加噪人脸图像；
[0036]将所述对应样本人脸图像和所述样本加噪人脸图像输入至鉴别器网络中，并基于所述鉴别器网络输出的鉴别结果和所述样本三维人脸模型，确定本次训练后的中间三维人脸生成网络模型的模型损失。
[0037]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维光场人脸内容生成方法。
[0038]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维光场人脸内容生成方法。
[0039]本专利技术提供的三维光场人脸内容生成方法、电子设备及存储介质，其中三维光场人脸内容生成方法，其中三维光场人脸内容生成方法，电子设备首先将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维光场人脸内容生成方法，其特征在于，包括：获取目标人脸图像；将所述目标人脸图像输入至目标三维人脸生成网络模型，确定所述目标人脸图像对应的目标三维人脸模型；对所述目标三维人脸模型进行多视角采样，并基于多视角采样结果和所述目标人脸图像，确定目标超分辨率人脸图像；对所述目标超分辨率人脸图像进行三维光场图像编码，生成目标三维光场人脸内容；其中，所述目标三维人脸生成网络模型是基于不同视角下拍摄的不同样本人脸图像训练得到的。2.根据权利要求1所述的三维光场人脸内容生成方法，其特征在于，所述目标三维人脸生成网络模型包括目标三维处理网络和目标体渲染神经网络，所述将所述目标人脸图像输入至目标三维人脸生成网络模型，确定所述目标人脸图像对应的目标三维人脸模型，包括：将所述目标人脸图像输入至所述目标三维处理网络，确定所述目标人脸图像对应的目标三维表达结果；将所述目标三维表达结果输入至所述目标体渲染神经网络，确定所述目标三维人脸模型。3.根据权利要求2所述的三维光场人脸内容生成方法，其特征在于，所述目标三维处理网络包括目标StyleGAN生成器网络和目标三维表达网络，所述将所述目标人脸图像输入至所述目标三维处理网络，确定所述目标人脸图像对应的目标三维表达结果，包括：将所述目标人脸图像输入至所述目标StyleGAN生成器网络，确定所述目标人脸图像的目标人脸特征图和目标视角信息；将所述目标人脸特征图和所述目标视角信息输入至所述目标三维表达网络，确定所述目标人脸图像对应的目标三维表达结果。4.根据权利要求1至3任一项所述的三维光场人脸内容生成方法，其特征在于，所述对所述目标三维人脸模型进行多视角采样，并基于多视角采样结果和所述目标人脸图像，确定目标超分辨率人脸图像，包括：对所述目标三维人脸模型进行多视角采样，确定多个目标低分辨率人脸图像；基于预设人脸先验信息和所述目标人脸图像，对所述多个目标低分辨率人脸图像分别进行人脸特征提取；基于人脸特征提取结果，生成所述目标超分辨率人脸图像。5.根据权利要求1至3任一项所述的三维光场人脸内容生成方法，其特征在于，所述方法还包括：将所述目标三维光场人脸内容发送至光场显示设备，所述光场显示设备用于基于预设分辨率、预设视角和预设显示模式显示所述目标三维光场人脸内容。6.根据权利要求1至3任...

【专利技术属性】
技术研发人员：于迅博，邢树军，黄子毅，高鑫，陈硕，桑新柱，颜玢玢，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：