面部建模模型的训练方法、建模方法、装置及设备制造方法及图纸

本申请公开了一种面部建模模型的训练方法、建模方法、装置及设备，涉及人工智能领域。包括：获取样本面部图像，样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；将样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；将面部区域潜码以及面部动作潜码输入面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；基于三维面部图像与样本面部图像间的三维重建损失，对面部建模模型的编码器以及神经辐射场进行训练。本申请实施例提供的方法，可训练得到对面部解耦控制的面部建模模型，实现三维面部建模，可提高模拟真实性。可提高模拟真实性。可提高模拟真实性。

【技术实现步骤摘要】
面部建模模型的训练方法、建模方法、装置及设备


[0001]本申请实施例涉及人工智能领域，特别涉及一种面部建模模型的训练方法、建模方法、装置及设备。

技术介绍

[0002]在计算机视觉
，生成可驱动的面部有着广泛的应用。在应用中，重建面部需根据输入信号改变视角与表情等，应具有自然的说话神态且与驱动信号同步。
[0003]相关技术中，采用音频驱动面部的方式进行面部重建。而采用音频驱动的方式，由于不同人声音等存在较大差异，导致训练得到的网络可能存在不同的生成结果，造成驱动不准确的情况。因此，在另一种方式中，可通过文本驱动面部的方式进行面部重建。
[0004]然而，相关技术中，基于文本驱动的方式仅可生成二维面部图像，无法实现对三维面部的驱动，模拟效果较差。

技术实现思路

[0005]本申请实施例提供了一种面部建模模型的训练方法、建模方法、装置及设备，通过对面部的解耦控制，实现三维面部建模，提高模拟真实性。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种面部建模模型的训练方法，所述方法包括：
[0007]获取样本面部图像，所述样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；
[0008]将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；
[0009]将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；
[0010]基于所述三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练。
[0011]另一方面，本申请实施例提供了一种三维面部建模方法，所述方法包括：
[0012]在接收到输入文本的情况下，确定所述输入文本对应的文本音素；
[0013]基于音素潜码索引，查询所述文本音素对应的目标区域潜码以及目标动作潜码，所述音素潜码索引用于指示音素与潜码序列的对应关系，所述潜码序列基于面部建模模型的编码器对音素对应的面部图像进行特征编码得到；
[0014]将所述目标区域潜码与所述目标动作潜码输入所述面部建模模型的神经辐射场进行三维重建，得到所述文本音素对应的面部动作图像；
[0015]基于各帧面部动作图像，生成所述输入文本对应的三维面部动作动画。
[0016]另一方面，本申请实施例提供了一种面部建模模型的训练装置，所述装置包括：
[0017]图像获取模块，用于获取样本面部图像，所述样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；
[0018]特征编码模块，用于将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；
[0019]三维重建模块，用于将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；
[0020]模型训练模块，用于基于所述三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练。
[0021]另一方面，本申请实施例提供了一种三维面部建模装置，所述装置包括：
[0022]音素确定模块，用于在接收到输入文本的情况下，确定所述输入文本对应的文本音素；
[0023]潜码查询模块，用于基于音素潜码索引，查询所述文本音素对应的目标区域潜码以及目标动作潜码，所述音素潜码索引用于指示音素与潜码序列的对应关系，所述潜码序列基于面部建模模型的编码器对音素对应的面部图像进行特征编码得到；
[0024]三维重建模块，用于将所述目标区域潜码与所述目标动作潜码输入所述面部建模模型的神经辐射场进行三维重建，得到所述文本音素对应的面部动作图像；
[0025]动画生成模块，用于基于各帧面部动作图像，生成所述输入文本对应的三维面部动作动画。
[0026]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。
[0027]另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。
[0028]另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的面部建模模型的训练方法，或实现如上述方面所述的三维面部建模方法。
[0029]本申请实施例提供的技术方案带来的有益效果至少包括：
[0030]本申请实施例中，通过对多视角下的样本面部图像进行特征编码，得到样本面部图像对应的面部区域潜码以及面部动作潜码，用于表征不同面部区域的区域特征以及面部的动作特征，之后，利用面部区域潜码以及面部动作潜码进行三维重建，得到三维面部图像，从而基于三维面部图像与样本面部图像间的差异，训练得到可对面部解耦控制的面部建模模型。当模型用于三维面部建模时，由于可对不同面部区域以及面部动作分别解耦控制，可生成不同面部区域与不同面部动作组合的面部图像，在三维面部建模过程中，仅需调整需改变的部分潜码，可实现长序列三维面部建模，可提高文本驱动面部过程中面部模拟真实性。
附图说明
[0031]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1示出了本申请一个示例性实施例提供的实施环境的示意图；
[0033]图2示出了本申请一个示例性实施例提供的面部建模模型的训练方法的流程图；
[0034]图3示出了本申请另一个示例性实施例提供的面部建模模型的训练方法的流程图；
[0035]图4示出了本申请一个示例性实施例提供的动作神经辐射场的结构图；
[0036]图5示出了本申请一个示例性实施例提供的区域神经辐射场的结构图；
[0037]图6示出了本申请一个示例性实施例提供的渲染神经辐射场的结构图；
[0038]图7示出了本申请另一个示例性实施例提供的面部建模模型的训练方法的流程图；
[0039]图8示出了本申请一个示例性实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部建模模型的训练方法，其特征在于，所述方法包括：获取样本面部图像，所述样本面部图像中包含在同一时刻不同视角下采集得到的面部图像；将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码；将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场进行三维面部重建，得到三维面部图像；基于所述三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练。2.根据权利要求1所述的方法，其特征在于，所述神经辐射场包含区域神经辐射场、动作神经辐射场以及渲染神经辐射场；所述将所述面部区域潜码以及所述面部动作潜码输入所述面部建模模型的神经辐射场中进行三维面部重建，得到三维面部图像，包括：将所述面部动作潜码输入所述动作神经辐射场，得到动作转换矩阵；基于所述动作转换矩阵对面部三维坐标进行动作变换，得到面部动作坐标；将所述面部动作坐标以及所述面部区域潜码输入所述区域神经辐射场，得到面部区域切面，所述面部区域切面的特征维度高于所述面部区域潜码的特征维度；将所述面部动作坐标与所述面部区域切面输入所述渲染神经辐射场，得到面部颜色以及面部密度，所述面部颜色与所述面部密度用于生成所述三维面部图像。3.根据权利要求2所述的方法，其特征在于，所述将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区域对应的面部区域潜码以及面部动作对应的面部动作潜码，包括：将所述样本面部图像输入所述编码器进行特征编码，得到上部区域潜码、下部区域潜码以及所述面部动作潜码，所述上部区域潜码用于表征上半脸的面部特征，所述下部区域潜码用于表征下半脸的面部特征；所述将所述面部动作坐标以及所述面部区域潜码输入所述区域神经辐射场，得到面部区域切面，包括：将所述面部动作坐标与所述上部区域潜码输入上部神经辐射场，得到上部区域切面；将所述面部动作坐标与所述下部区域潜码输入下部神经辐射场，得到下部区域切面。4.根据权利要求1至3任一所述的方法，其特征在于，所述基于三维面部图像与所述样本面部图像间的三维重建损失，对所述面部建模模型的所述编码器以及所述神经辐射场进行训练，包括：基于所述三维面部图像与所述样本面部图像间的像素差异确定像素误差损失；基于所述三维面部图像与所述样本面部图像间的掩码差异确定掩码误差损失；基于所述像素误差损失与所述掩码误差损失确定所述三维重建损失，以及基于所述三维重建损失训练所述编码器与所述神经辐射场。5.根据权利要求1至3任一所述的方法，其特征在于，所述编码器包含编码网络以及解耦神经辐射场；所述将所述样本面部图像输入面部建模模型的编码器进行特征编码，得到不同面部区
域对应的面部区域潜码以及面部动作对应的面部动作潜码，包括：将所述样本面部图像输入所述编码网络进行特征编码，得到面部状态潜码，所述面部状态潜码用于表征所述样本面部图像对应时刻朗读者朗读文本时的整体面部状态；将所述面部状态潜码输入所述解耦神经辐射场进行解耦，得到上部区域潜码、下部区域潜码以及所述面部动作潜码，所述上部区域潜码用于表征上半脸的面部特征，所述下部区域潜码用于表征下半脸的面部特征。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于不同时刻下的所述上部区域潜码、所述下部区域潜码以及所述面部动作潜码，确定解耦损失，所述解耦损失用于表征不同时刻下对面部解耦的差异；基于所述解耦损失，训练所述解耦神经辐射场。7.根据权利要求6所述的方法，其特征在于，所述基于不同时刻下的所述上部区域潜码、所述下部区域潜码以及所述面部动作潜码，确定解耦损失，包括：获取第一时刻下样本面部图像对应的第一上部区域潜码、第一下部区域潜码以及第一面部动作潜码，以及获取第二时刻下样本面部图像对应的第二上部区域潜码、第二下部区域潜码以及第二面部动作潜码；基于所述第一上部区域潜码、所述第一面部动作潜码以及所述第二下部区域潜码，确定上部解耦损失；基于所述第一下部区域潜码、所述第一面部动作潜码以及所述第二上部区域潜码，确定下部解耦损失；基于所述第二面部动作潜码、所述第一上部区域潜码以及所述第一下部区域潜码，确定动作解耦损失；基于所述上部解耦损失、所述下部解耦损失以及所述动作解耦损失，确定所述解耦损失。8.根据权利要求7所述的方法，其特征在于，所述基于所述第一上部区域潜码、所述第一面部动作潜码以及...

【专利技术属性】
技术研发人员：李小雨，陈本旺，王璇，张琦，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：