多分支深度学习的3D人脸重建模型训练方法、系统及介质技术方案

本发明专利技术公开了一种多分支深度学习的3D人脸重建模型训练方法、系统及介质，方法包括：将第一人脸图像输入到人脸识别网络和人脸对齐网络得到第一身份信息和第一关键点位置信息；根据第一身份信息确定第一人脸几何形状信息，并将第一身份信息和第一关键点位置信息输入到表情识别网络中，得到第一人脸表情信息；将第一关键点位置信息、第一人脸几何形状信息以及第一人脸表情信息输入到生成对抗网络中，得到第一渲染图像；根据第一渲染图像更新人脸识别网络、人脸对齐网络、表情识别网络以及生成对抗网络的网络参数，得到最优参数组合。本发明专利技术提高了生成的3D人脸图像的真实性和准确性，可广泛应用于计算机视觉技术领域。可广泛应用于计算机视觉技术领域。可广泛应用于计算机视觉技术领域。

【技术实现步骤摘要】
多分支深度学习的3D人脸重建模型训练方法、系统及介质


[0001]本专利技术涉及计算机视觉
，尤其是一种多分支深度学习的3D人脸重建模型训练方法、系统及介质。

技术介绍

[0002]人脸3D重建技术作为计算机视觉、机器学习等交叉领域的核心研究课题之一，近年来被广泛地应用在人机交互、游戏、动画等领域。人脸3D重建是指通过人脸的2D图像还原成人脸的3D信息，包括人脸的纹理信息、光照反射信息、表情信息、几何形状信息等。传统的3D人脸生成是由昂贵的捕捉系统或专业人员完成的，随着计算机计算能力的提高，算法生成的3D人脸越来越逼真，而成本相对传统方法较低廉，因此受到了许多研究者的关注。
[0003]从2D人脸图像到3D人脸的重建的过程是一个不确定的问题，因为同一个3D人脸模型可以生成多张2D图像，很难确定哪一张对应真实的3D人脸，而成功的关键是添加先验知识来消除具有歧义的解决方案。一般来说，人脸3D重建方法可分为三种：基于统计学的方法，基于光度测量的方法和基于深度学习的方法。基于统计学的方法将先验知识编码在一个3D人脸模型中，最经典的是三维可变形模型(3D Morphable Models，3DMM)。3DMM生成3D人脸的过程即求解一组线性参数的过程，它由形状模型和可选的纹理和颜色模型等组成，分别通过主成分分析法(Principal Component Analysis，PCA)求得平均3D人脸形状等信息，然后对参数优化，生成与输入的2D人脸图像相对应的3D人脸。基于光度测量的方法，将3D人脸模型与光度立体视觉方法相结合来估计人脸表面法线。这种策略是基于人脸表面的反射率建模，会影响人脸重建后的质量，且原始数据使用来自多个图像的信息，会进一步造成解决方案的歧义，所以并没有其它两种方法应用广泛。基于深度学习的方法，通过从大量原始数据的训练中学习先验知识，即直接学习2D图像和3D人脸之间的映射，然后输出高质量的3D人脸信息。该方法的出现使得人脸3D重建技术得到了巨大的发展。
[0004]目前，基于深度学习的方法按神经网络架构的不同可分为4种类别：基于卷积神经网络的人脸3D重建算法、基于自编码器的人脸3D重建算法、基于图卷积网络的人脸3D重建算法和基于生成对抗网络(Generative Adversarial Network,GAN)的人脸3D重建算法。其中，GAN被证明在2D人脸图像上进行训练时，可以生成具有真实特征的图像，得到照片般逼真的高分辨率人脸，也有越来越多的GAN算法尝试生成用于3D人脸的纹理贴图。
[0005]然而，生成一个具有真实纹理的高保真3D人脸仍具有技术难度。皱纹等几何结构细节是年龄和面部表情的重要指标，对于生成真实的虚拟人至关重要。3DMM算法中使用PCA处理模型尽管有其优势，但受到线性空间容量的限制，无法充分表示高频信息，通常会导致纹理模型过于平滑，以致面部纹理失真；而现有的部分算法通过直接对输入图像进行超分辨率处理，以期得到高分辨率的纹理贴图，但这种方法对输入图像的质量要求很高，也不符合现实情况，即不适应于普通设备获取的非高清图像；有部分算法通过用大量高质量的UV数据作为训练集训练GAN，效果虽然很好，可是算法过分依赖于训练数据。
[0006]此外，纹理、几何形状与表情应该具有潜在的关联信息，如果分别独立训练各模型
参数，有可能会导致渲染后的图像失去真实感，因此，有的算法直接通过网络训练出所有的参数，并直接在UV空间中完成数据对齐，不需要再额外的转换成3DMM参数形式，但这种方法并不能做到各方面参数都训练得很完美，且模型相对来说较复杂。当输入为视频帧的连续序列时，现有算法很少有预防遮挡的措施，因此对于遮挡情况的鲁棒性不好。

技术实现思路

[0007]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0008]为此，本专利技术实施例的一个目的在于提供一种多分支深度学习的3D人脸重建模型训练方法，该方法提高了生成的3D人脸图像的真实性和准确性。
[0009]本专利技术实施例的另一个目的在于提供一种多分支深度学习的3D人脸重建模型训练系统。
[0010]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0011]第一方面，本专利技术实施例提供了一种多分支深度学习的3D人脸重建模型训练方法，包括以下步骤：
[0012]获取第一人脸图像，将所述第一人脸图像输入到预先构建的人脸识别网络得到第一身份信息，并将所述第一人脸图像输入到预先构建的人脸对齐网络得到第一关键点位置信息；
[0013]根据所述第一身份信息确定第一人脸几何形状信息，并将所述第一身份信息和所述第一关键点位置信息输入到预先构建的表情识别网络中，得到第一人脸表情信息；
[0014]将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像；
[0015]根据所述第一渲染图像更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数，得到最优参数组合，进而根据所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络以及所述最优参数组合得到3D人脸重建模型。
[0016]进一步地，在本专利技术的一个实施例中，所述人脸识别网络为FaceNet网络，所述人脸对齐网络为MTCNN网络，所述表情识别网络为轻量型RingNet网络。
[0017]进一步地，在本专利技术的一个实施例中，所述根据所述第一身份信息确定第一人脸几何形状信息这一步骤，其具体为：
[0018]通过主成分分析算法对所述第一人脸图像进行特征提取和降维处理得到降维矩阵，根据所述第一身份信息和所述降维矩阵确定第一人脸几何形状信息。
[0019]进一步地，在本专利技术的一个实施例中，所述生成对抗网络包括生成器和判别器，所述生成器包括纹理生成模块和渲染模块，所述生成器用于根据所述第一关键点位置信息、所述第一人脸几何形状信息、所述第一人脸表情信息以及所述生成对抗网络的预设参数生成渲染图像，所述判别器用于根据生成器输出的渲染图像通过反向传播算法更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数。
[0020]进一步地，在本专利技术的一个实施例中，所述将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像这一步骤，其具体包括：
[0021]将所述第一关键点位置信息输入到所述纹理生成模块得到第一纹理贴图；
[0022]对所述第一纹理贴图进行超分辨率处理得到第二纹理贴图；
[0023]根据所述第二纹理贴图确定纹理法向量，根据所述第一人脸几何形状信息确定人脸几何形状法向量，根据所述第一人脸表情信息确定人脸表情法向量；
[0024]将所述纹理法向量、人脸几何形状法向量以及人脸表情法向量输入到所述渲染模块得到第一法线贴图；
[0025]对所述第一法线贴图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，包括以下步骤：获取第一人脸图像，将所述第一人脸图像输入到预先构建的人脸识别网络得到第一身份信息，并将所述第一人脸图像输入到预先构建的人脸对齐网络得到第一关键点位置信息；根据所述第一身份信息确定第一人脸几何形状信息，并将所述第一身份信息和所述第一关键点位置信息输入到预先构建的表情识别网络中，得到第一人脸表情信息；将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像；根据所述第一渲染图像更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数，得到最优参数组合，进而根据所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络以及所述最优参数组合得到3D人脸重建模型。2.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于：所述人脸识别网络为FaceNet网络，所述人脸对齐网络为MTCNN网络，所述表情识别网络为轻量型RingNet网络。3.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述根据所述第一身份信息确定第一人脸几何形状信息这一步骤，其具体为：通过主成分分析算法对所述第一人脸图像进行特征提取和降维处理得到降维矩阵，根据所述第一身份信息和所述降维矩阵确定第一人脸几何形状信息。4.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于：所述生成对抗网络包括生成器和判别器，所述生成器包括纹理生成模块和渲染模块，所述生成器用于根据所述第一关键点位置信息、所述第一人脸几何形状信息、所述第一人脸表情信息以及所述生成对抗网络的预设参数生成渲染图像，所述判别器用于根据生成器输出的渲染图像通过反向传播算法更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数。5.根据权利要求4所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像这一步骤，其具体包括：将所述第一关键点位置信息输入到所述纹理生成模块得到第一纹理贴图；对所述第一纹理贴图进行超分辨率处理得到第二纹理贴图；根据所述第二纹理贴图确定纹理法向量，根据所述第一人脸几何形状信息确定人脸几何形状法向量，根据所述第一人脸表情信息确定人脸表情法向量；将所述纹理法向量、人脸几何形状法向量以及人脸表情法向量输入到所述渲染模块得到第一法线贴图；对所述第一法线贴图进行可微分渲染得到第一渲染图像。6.根据权利要求4所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述根据所述第一渲染图像更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数，得到最优参数组合这一步骤，其具体包括：将所述第一渲染图像输入到所述判别器，根据预设的损失函数计算得到损失值；<...

【专利技术属性】
技术研发人员：梁柱锦，虞虹玲，张壮辉，朱世新，严蕤，郭怡适，
申请(专利权)人：广州图匠数据科技有限公司，
类型：发明
国别省市：