基于隐式神经函数的高保真三维人脸重建与生成方法技术

本发明专利技术公开了一种基于隐式神经函数的高保真三维人脸重建与生成方法，该方法提出一种可语义解耦编辑的高保真参数化人脸模型，同时引入新的身份、表情表示及语义分割网络。该方法借助隐式神经表示，可以对人脸细节、困难表情和大角度相机位姿进行高保真重建和合成，从而使得生成的人脸图片拥有很好的真实感和清晰度。晰度。晰度。

【技术实现步骤摘要】
基于隐式神经函数的高保真三维人脸重建与生成方法


[0001]本专利技术涉及三维人脸重建与生成技术，尤其涉及一种基于隐式神经函数的高保真三维人脸重建与生成方法。

技术介绍

[0002]随着数字人时代的到来，人们渴望在社交平台、线上虚拟平台等拥有自己的数字人分身。高保真的人脸重建和生成由此应运而生。人们希望自己的人脸重建具有高保真、高真实感和高清晰度，同时可以对人脸各个属性进行解耦地编辑。此外，生成的人脸需要可以在各个相机位姿下保持视角一致性，同时不会在视角变换时出现毛发粘连现象。
[0003]近年来，以英伟达为代表的科研组织提出了具有高清晰度生成质量的人脸生成模型，任给随机数种子，这些模型生成的人脸具有较好的真实感和视角一致性。然而，这些模型的可语义编辑性较弱，只能简单地变换相机位姿，而无法对身份、光照等人脸属性进行解耦编辑。同时，当输入单张人脸图片并借助这些模型进行GAN逆向变换，从而进行人脸重建时，重建出的人脸不能很好地学出身份和表情，清晰度不够理想，同时生成的人脸在变换相机位姿时也无法很好地保持视角一致性，人脸的身份和表情会随视角变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，包括以下步骤：S1，根据人脸单目视频数据集和单张人脸数据集构建训练集，对训练集中的训练数据进行预处理；S2，对训练集中任意人脸图片，将其输入可语义编辑的参数化人脸模型中，生成对应的渲染RGB图像和渲染语义分割图；所述参数化人脸模型由RGB网络和语义网络组成；所述RGB网络和语义网络均包括体渲染模块和上采样模块；所述体渲染模块中，给定带有关键点标注的单张人脸图片或单目视频序列，沿着相机光线采样，对采样点进行位置编码，将采样点位置编码以及输入人脸语义隐码作为基于多层感知器的隐式神经函数的输入，输出密度值及一个高维特征，借助体渲染生成特征图；所述语义隐码包括身份隐码、表情隐码、纹理隐码和光照隐码；所述RGB网络的上采样模块Θ中，将特征图作为上采样模块Θ的输入，同时将语义隐码输入基于多层感知器的映射网络，将映射网络的输出作为风格隐码输入上采样模块Θ的每一层子网络，输出RGB图像；所述语义网络的上采样模块Ψ中，将特征图输入基于HeadNeRF的2D神经渲染模块得到的上采样模块Ψ，输出语义分割图；S3，利用训练集训练参数化人脸模型，所述参数化人脸模型的模型参数和语义隐码均参与优化；S4，利用训练好的参数化人脸模型对测试图片进行新视角合成、可解耦语义编辑、表情迁移应用。2.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，步骤S1中，采用关键点标注算法InsightFace对训练数据中的人脸进行关键点标注；采用一欧元滤波算法减轻单目视频帧间的标注抖动。3.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，所述体渲染模块中，利用人脸追踪算法并基于三维可变形人脸模型3DMM来逆向优化出输入人脸的3DMM信息，提取出其中的纹理向量和光照向量分别作为纹理隐码和光照隐码的初始化；基于MagFace预训练一个人脸识别网络，推断出身份特征作为身份隐码。4.根据权利要求1所述的一种基于隐式神经函数的高保真三维人脸重建与生成方法，其特征在于，所述体渲染模块中，利用人脸的语义隐码和标注的k点关键点生成对应的人脸网格，抽取出基准空间的k
×
3维3D关键点，对3D关键点进行标...

【专利技术属性】
技术研发人员：鲍虎军，张举勇，张丁芸，郭玉东，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：