基于隐式神经函数的高保真三维人脸重建与生成方法技术

本发明专利技术公开了一种基于隐式神经函数的高保真三维人脸重建与生成方法，该方法提出一种可语义解耦编辑的高保真参数化人脸模型，同时引入新的身份、表情表示及语义分割网络。该方法借助隐式神经表示，可以对人脸细节、困难表情和大角度相机位姿进行高保真重建和合成，从而使得生成的人脸图片拥有很好的真实感和清晰度。晰度。晰度。

【技术实现步骤摘要】
基于隐式神经函数的高保真三维人脸重建与生成方法


[0001]本专利技术涉及三维人脸重建与生成技术，尤其涉及一种基于隐式神经函数的高保真三维人脸重建与生成方法。

技术介绍

[0002]随着数字人时代的到来，人们渴望在社交平台、线上虚拟平台等拥有自己的数字人分身。高保真的人脸重建和生成由此应运而生。人们希望自己的人脸重建具有高保真、高真实感和高清晰度，同时可以对人脸各个属性进行解耦地编辑。此外，生成的人脸需要可以在各个相机位姿下保持视角一致性，同时不会在视角变换时出现毛发粘连现象。
[0003]近年来，以英伟达为代表的科研组织提出了具有高清晰度生成质量的人脸生成模型，任给随机数种子，这些模型生成的人脸具有较好的真实感和视角一致性。然而，这些模型的可语义编辑性较弱，只能简单地变换相机位姿，而无法对身份、光照等人脸属性进行解耦编辑。同时，当输入单张人脸图片并借助这些模型进行GAN逆向变换，从而进行人脸重建时，重建出的人脸不能很好地学出身份和表情，清晰度不够理想，同时生成的人脸在变换相机位姿时也无法很好地保持视角一致性，人脸的身份和表情会随视角变换而变化。
[0004]最近，具有代表性的人脸重建模型为HeadNeRF，它主要由体渲染模块和2D神经渲染上采样模块构成。HeadNeRF具有一定的语义可编辑性，但重建出的人脸图片清晰度和真实感较差，有图片泛白、头发、眼部和牙齿模糊等现象，同时对困难表情的重建及大角度相机位姿的新视角重建效果都较为不理想。这是因为HeadNeRF的上采样结构设计不够合理，网络中包含明显的走样信息干扰，同时不能保持网络的平移和旋转不变性。同时，由于HeadNeRF直接采用3DMM的身份和表情向量作为身份和表情的隐码输入，而3DMM对身份和表情的表达能力不够理想，在多身份、多表情的训练数据下，无法很好地对人脸细节和困难表情高保真地重建。
[0005]此外，人脸生成和人脸重建模型生成的人脸，在改变相机位姿时，都会有毛发和牙齿闪烁的问题，即毛发粘连问题。这影响了生成人脸的真实感，也是困扰人脸生成领域的现象。

技术实现思路

[0006]本专利技术的目的在于针对现有技术的不足，提供一种基于隐式神经函数的高保真三维人脸重建与生成方法。本专利技术设计了一种可语义解耦编辑的高保真参数化人脸模型，通过引入一种新的人脸身份和表情表示，具有旋转和平移不变性的上采样模块以及语义分割网络，本专利技术生成的人脸可以避免毛发粘连问题，具有很好的真实感和清晰度，同时本专利技术可以对人脸细节、困难表情进行高保真重建，同时清晰地合成大角度新视角人脸。
[0007]本专利技术的目的是通过以下技术方案实现的：一种基于隐式神经函数的高保真三维人脸重建与生成方法，该方法包括以下步骤：
[0008]S1，根据人脸单目视频数据集和单张人脸数据集构建训练集，对训练集中的训练
数据进行预处理；
[0009]S2，对训练集中任意人脸图片，将其输入可语义编辑的参数化人脸模型中，生成对应的渲染RGB图像和渲染语义分割图；
[0010]所述参数化人脸模型由RGB网络和语义网络组成；所述RGB网络和语义网络均包括体渲染模块和上采样模块；
[0011]所述体渲染模块中，给定带有关键点标注的单张人脸图片或单目视频序列，沿着相机光线采样，对采样点进行位置编码，将采样点位置编码以及输入人脸语义隐码作为基于多层感知器的隐式神经函数的输入，输出密度值及一个高维特征，借助体渲染生成特征图；所述语义隐码包括身份隐码、表情隐码、纹理隐码和光照隐码；
[0012]所述RGB网络的上采样模块Θ中，将特征图作为上采样模块Θ的输入，同时将语义隐码输入基于多层感知器的映射网络，将映射网络的输出作为风格隐码输入上采样模块Θ的每一层子网络，输出RGB图像；
[0013]所述语义网络的上采样模块Ψ中，将特征图输入基于HeadNeRF的2D神经渲染模块得到的上采样模块Ψ，输出语义分割图；
[0014]S3，利用训练集训练参数化人脸模型，所述参数化人脸模型的模型参数和语义隐码均参与优化；
[0015]S4，利用训练好的参数化人脸模型对测试图片进行新视角合成、可解耦语义编辑、表情迁移应用。
[0016]进一步地，步骤S1中，采用关键点标注算法InsightFace对训练数据中的人脸进行关键点标注；采用一欧元滤波算法减轻单目视频帧间的标注抖动。
[0017]进一步地，所述体渲染模块中，利用人脸追踪算法并基于三维可变形人脸模型3DMM来逆向优化出输入人脸的3DMM信息，提取出其中的纹理向量和光照向量分别作为纹理隐码和光照隐码的初始化；基于MagFace预训练一个人脸识别网络，推断出身份特征作为身份隐码。
[0018]进一步地，所述体渲染模块中，利用人脸的语义隐码和标注的k点关键点生成对应的人脸网格，抽取出基准空间的k
×
3维3D关键点，对3D关键点进行标准化，并将其作为新的表情表示。
[0019]进一步地，所述体渲染模块中，将身份隐码、表情隐码和采样点位置编码一起输入隐式神经函数，同时，将身份隐码再一次输入2n层多层感知器的第n+1层全连接层；利用身份隐码、表情隐码和采样点位置编码预测出采样点的密度值和一个中间特征；纹理隐码和光照隐码将在此基础上预测出一个高维特征，继而借助体渲染生成特征图。
[0020]进一步地，所述语义网络的上采样模块Ψ中，对HeadNeRF的2D神经渲染模块加入降噪滤波层，降噪滤波层采用RDN网络，用于有效滤除人脸上的噪点。
[0021]进一步地，所述参数化人脸模型的损失函数包括像素损失、解耦损失、感知损失、语义损失和分布损失；
[0022]所述语义损失L
sem
的公式为其中，w
*
是平衡语义网络的像素损失和感知损失的超参数权重；
[0023]所述分布损失L
dist
的公式为其中，是RGB网络的体渲染模块生
成的特征图，是正确的上采样模块Θ的输入分布。
[0024]进一步地，所述参数化人脸模型的训练过程中，先用Ψ代替Θ，并且用训练集中随机选取地部分人脸图片来预训练替换后的参数化人脸模型，接着，将RGB网络中的Ψ替换为Θ；
[0025]将正式的训练分为三个阶段，在第一阶段，将随机的傅里叶特征输入Θ，同时，用均方误差来约束和之间的分布差异；在第二阶段，用替换并且将前者输入Θ中；在训练的前两阶段，固定预训练的Θ的模型参数，避免其被训练中相对大的噪声干扰，在第三阶段，让上采样模块Θ的模型参数开始自由变化，使得参数化人脸模型能够有效学习人脸的细节和困难表情。
[0026]进一步地，在训练的第一阶段，将分布损失的权重调得相对较大，并将分布损失作为损失函数的主体，而在接下来的两个训练阶段，降低分布损失的权重并让参数化人脸模型的注意力集中在学习输入图片的人脸信息上。
[0027]由上述本专利技术提供的技术方案可以看出，本专利技术的有益效果是：
[0028]1)通过提出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，包括以下步骤：S1，根据人脸单目视频数据集和单张人脸数据集构建训练集，对训练集中的训练数据进行预处理；S2，对训练集中任意人脸图片，将其输入可语义编辑的参数化人脸模型中，生成对应的渲染RGB图像和渲染语义分割图；所述参数化人脸模型由RGB网络和语义网络组成；所述RGB网络和语义网络均包括体渲染模块和上采样模块；所述体渲染模块中，给定带有关键点标注的单张人脸图片或单目视频序列，沿着相机光线采样，对采样点进行位置编码，将采样点位置编码以及输入人脸语义隐码作为基于多层感知器的隐式神经函数的输入，输出密度值及一个高维特征，借助体渲染生成特征图；所述语义隐码包括身份隐码、表情隐码、纹理隐码和光照隐码；所述RGB网络的上采样模块Θ中，将特征图作为上采样模块Θ的输入，同时将语义隐码输入基于多层感知器的映射网络，将映射网络的输出作为风格隐码输入上采样模块Θ的每一层子网络，输出RGB图像；所述语义网络的上采样模块Ψ中，将特征图输入基于HeadNeRF的2D神经渲染模块得到的上采样模块Ψ，输出语义分割图；S3，利用训练集训练参数化人脸模型，所述参数化人脸模型的模型参数和语义隐码均参与优化；S4，利用训练好的参数化人脸模型对测试图片进行新视角合成、可解耦语义编辑、表情迁移应用。2.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，步骤S1中，采用关键点标注算法InsightFace对训练数据中的人脸进行关键点标注；采用一欧元滤波算法减轻单目视频帧间的标注抖动。3.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，所述体渲染模块中，利用人脸追踪算法并基于三维可变形人脸模型3DMM来逆向优化出输入人脸的3DMM信息，提取出其中的纹理向量和光照向量分别作为纹理隐码和光照隐码的初始化；基于MagFace预训练一个人脸识别网络，推断出身份特征作为身份隐码。4.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，所述体渲染模块中，利用人脸的语义隐码和标注的k点关键点生成对应的人脸网格，抽取出基准空间的k
×
3维3D关键点，对3D关键点进行标...

【专利技术属性】
技术研发人员：鲍虎军，张举勇，张丁芸，郭玉东，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：