一种人脸神经辐射场的光照编辑方法及系统技术方案

本发明专利技术提出一种生成式人脸神经辐射场的光照编辑方法和系统，包括：服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；基于隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；反照率c与该光影s相乘通过体渲染，得到人脸编辑图像。本发明专利技术设计的系统能实现用户对于三维人脸的光照进行解耦控制。减少分解人脸图像为反照率和光影图像的歧义性。图像为反照率和光影图像的歧义性。图像为反照率和光影图像的歧义性。

【技术实现步骤摘要】
一种人脸神经辐射场的光照编辑方法及系统


[0001]本专利技术涉及涉及计算机图形学和计算机视觉
，尤其涉及对三维人脸模型的光影控制的方法。

技术介绍

[0002]基于神经辐射场和神经对抗生成网络的三维内容生成方法(称为3D GAN)在高质量人脸生成任务上取得了显著的进展(例如：EG3D，GRAM，StyleSDF等)。应用这些生成方法于辅助业余爱好者设计三维真实人物是尚未探索的，但也是充满潜力的。而现有的方法(例如：IDE
‑
3D，3DFaceShop，NeRFFaceEditing)在基于这些三维内容生成方法上实现的高效、语义以及解耦的控制还是比较局限的，特别是对于光照的解耦真实控制还是无法实现的。事实上，对于人脸光照条件的解耦控制是不可或缺的，艺术家可能会利用光影来隐性的传达情感和思想，而化妆师也会利用光照来对人脸进行美化。
[0003]在3D GAN的基础上，一类光影控制方法是通过编辑GAN的隐变量实现的。现有光影可控制的参数化人脸模型的解耦方法是通过每个人有多个光影条件下图像的数据集监督实现的，因此它对于光影的控制效果受限于它的数据集中光照条件的分布，而实际上它利用的现有数据集仅包含非常少的人物以及光照条件，所以效果上比较局限。现有技术尝试将现有的基于面片模型的参数化人脸模型先验知识融入到3D GAN中，实现对于表情、光照等的解耦控制。但是解耦不彻底，对于整张脸光照控制时会扰动几何。若通过无监督学习在GAN的隐空间中找到语义编辑的方向，但是找到的该类编辑方向没有对应可量化的属性数值，因此难以将语义属性调整到期望的状态。
[0004]而另一类光影控制方法，是将人脸图像分解为反照率和光影两个部分，在控制反照率不变的情况下，只改变光影部分即可实现不扰动几何的光影控制。但是这类方法的挑战在于没有现有的大规模包含每张图像的反照率和光影真值的数据集。虽然可利用光影模型显式建模光影效果来解决这个问题，但是它的光影条件只能是某个方向光，而且因为光影模型并不真实，所以效果局限。若利用现有对于二维生成模型(称为2D GAN)光影控制的方法来生成同一个人不同光影条件、不同视角的伪真值，然后利用光照模型求解一个三维反向渲染的问题，得到特定人的反照率和光影两个部分，从而实现重光照，但是光影条件仍然局限于某个指定的方向光。若使用现有的图像域上重光照的方法来为大规模数据集制造反照率和光影的伪真值，从而监督训练，但仍然无法处理一些具有挑战性的光影效果，例如眼镜投到脸上的光影。

技术实现思路

[0005]本专利技术的目的是解决上述现有技术的生成质量低、光影效果不真实、解耦不彻底，即光影条件改变扰动几何的问题，提出了一种基于三平面表示的，对于三维人脸可解耦控制光影的方法及系统。本专利技术方法利用球谐光照描述光影条件，可以通过给定球谐光照系数，改变合成出来的三维人脸光照条件。
[0006]具体来说，本专利技术提出一种生成式人脸神经辐射场的光照编辑方法，其特征在于，包括：
[0007]步骤1、服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；
[0008]步骤2、基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；
[0009]步骤3、通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。
[0010]所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：合成光影三平面；该步骤3包括：将该反照率c与该光影s两者相乘后通过超分辨率模块进行超采样。
[0011]所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括用于训练的步骤4，将该人脸编辑图像送入以光照条件系数l为条件的判别器中判别真伪，以对该超分辨率模块、该合成模块、该解码器进行训练；
[0012]约束项的训练过程：
[0013]采样隐变量w，并通过高层混合得到混合后的隐变量对光影条件l，并加入一定的扰动得到光影条件
[0014]给定隐变量w和光影条件l，生成得到三平面p和光影三平面，通过体渲染得到光影图像S、人脸图像I和反照率A；
[0015]给定隐变量w和光影条件生成得到三平面和光影三平面，通过体渲染得到人脸图像
[0016]给定隐变量和光影条件l，生成得到光影三平面，与三平面p一起，通过体渲染得到人脸图像
[0017]通过L1度量约束和I相同，并通过LPIPS度量约束A与相似，以训练所有模块。
[0018]所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
[0019]在得到三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。
[0020]给定相机参数根据旋转和平移量构建体空间V中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。
[0021]将每个点的特征送入基于人脸神经辐射场的解码器得到密度σ和颜色c。
[0022]所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：
[0023]在得到光影三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到；
[0024]在给定了相机参数的情况下，根据旋转和平移量构建体空间中从相机
位置发射出去的光线，在每条光线上采点并得到对应的特征；
[0025]将每个点的特征送入光影解码器得到光影s。
[0026]所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤3包括：
[0027]在密度σ和颜色c基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的反照率；
[0028]得到的密度σ和光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的光影，最终得到渲染出来的光影图像；
[0029]在密度σ和颜色c
×
光影s基础上，通过离散化的体渲染得到每条光线上渲染得到的最终的颜色，最终得到渲染出来的该人脸编辑图像。
[0030]所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括：输入真实二维人脸图像，通过卷积网络组成的编码器得到该真实二维人脸图像的隐变量；从该真实二维人脸图像中提取光影条件，从而在给定该真实二维人脸图像隐变量和光影条件的基础上，对该超分辨率模块、该合成模块和解码器进行微调，以使得该人脸编辑图像与该真实二维人脸图像一致；给定想要的相机视角和光影条件，渲染得到真实人脸在相应视角和光照条件下的人脸编辑图像。
[0031]本专利技术还提出了一种生成式人脸神经辐射场的光照编辑系统，其特征在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成式人脸神经辐射场的光照编辑方法，其特征在于，包括：步骤1、服从高斯分布随机采样得到的隐变量z和给定球谐光照系数l；步骤2、基于该隐变量z合成三平面搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征并解码，得到密度σ和颜色c；利用该光照系数l，通过合成模块得到光影三平面，搭成体空间，从中根据相机参数散出光线撒点进行双线性插值采样特征，通过光影解码器得到光影s；步骤3、通过密度σ，结合颜色c，通过体渲染得到二维人脸图像的反照率；该反照率c与该光影s相乘并通过体渲染，得到该光照系数l下的人脸编辑图像。2.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：合成光影三平面；该步骤3包括：将该反照率c与该光影s两者相乘后通过超分辨率模块进行超采样。3.如权利要求2所述的人脸神经辐射场的光照编辑方法，其特征在于，还包括用于训练的步骤4，将该人脸编辑图像送入以光照条件系数l为条件的判别器中判别真伪，以对该超分辨率模块、该合成模块、该解码器进行训练；约束项的训练过程：采样隐变量w，并通过高层混合得到混合后的隐变量对光影条件l，并加入一定的扰动得到光影条件给定隐变量w和光影条件l，生成得到三平面p和光影三平面，通过体渲染得到光影图像S、人脸图像I和反照率A；给定隐变量w和光影条件生成得到三平面和光影三平面，通过体渲染得到人脸图像给定隐变量和光影条件l，生成得到光影三平面，与三平面p一起，通过体渲染得到人脸图像通过L1度量约束和I相同，并通过LPIPS度量约束A与相似，以训练所有模块。4.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：在得到三平面后，通过分解成三个部分，组成体空间的三个坐标平面，最终形成一个体空间其中每个点的特征由向各个坐标平面分别投影得到对应的特征再相加的方式得到。给定相机参数根据旋转和平移量构建体空间V中从相机位置发射出去的光线，在每条光线上采点并得到对应的特征。将每个点的特征送入基于人脸神经辐射场的解码器得到密度σ和颜色c。5.如权利要求1所述的人脸神经辐射场的光照编辑方法，其特征在于，该步骤2包括：在得到光影三平面后，通过分解成三个部分，组成体空间的...

【专利技术属性】
技术研发人员：高林，蒋楷文，陈姝宇，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：