基于遮挡分割的三维人脸重建方法及系统技术方案

本申请实施例公开了一种基于遮挡分割的三维人脸重建方法及系统。本申请实施例提供的技术方案，通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，可以减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。提升三维人脸重建效率。提升三维人脸重建效率。

【技术实现步骤摘要】
基于遮挡分割的三维人脸重建方法及系统


[0001]本申请实施例涉及计算机
，尤其涉及一种基于遮挡分割的三维人脸重建方法及系统。

技术介绍

[0002]目前，三维人脸重建技术广泛应用于影视、游戏、医疗以及直播社交等领域。例如，在直播社交领域中，通过获取用户2D人脸图像，利用三维人脸重建技术可以恢复出用户人脸的3D(表情、纹理)信息，进而实现人脸3D美型、3D美妆等功能。由于在实际应用场景中，用户2D人脸图像不会总如预期一样包含完整脸部，可能会有肢体或物体的遮挡，因此需要进行人脸遮挡分割，定位到人脸遮挡区域。以在三维人脸重建后，基于三维人脸重建结果和人脸遮挡分割结果进行后处理，保障人脸3D美型、3D美妆等功能的实施效果。
[0003]但是，现有的三维人脸重建应用场景中，会将三维人脸重建模型和人脸遮挡分割模型独立部署，将三维人脸重建和遮挡区域分割作为独立的两个任务去处理。由于部署平台算力有限，同时部署多个模型会占用过多计算资源，增大平台的计算压力，影响平台计算业务的运行。

技术实现思路

[0004]本申请实施例提供一种基于遮挡分割的三维人脸重建方法及系统，能够减少三维人脸重建应用场景中模型部署对计算资源的占用，压缩模型计算量，解决三维人脸重建应用场景中计算资源占用过多的技术问题。
[0005]在第一方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建方法，包括：
[0006]将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；
[0007]基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
[0008]在第二方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建系统，包括：
[0009]输入模块，配置为将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；
[0010]输出模块，配置为基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
[0011]在第三方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建设备，包括：
[0012]存储器以及一个或多个处理器；
[0013]所述存储器，配置为存储一个或多个程序；
[0014]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于遮挡分割的三维人脸重建方法。
[0015]在第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于遮挡分割的三维人脸重建方法。
[0016]在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于遮挡分割的三维人脸重建方法
[0017]本申请实施例通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，通过训练包含图像特征提取器和图像分割解码器的参数预测模型，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态，以此可以使参数预测模型融合三维人脸重建和人脸遮挡分割功能，减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。
[0018]此外，本申请实施例通过自定义目标人脸重建参数的参数维度以及图像分割解码器的通道数，可以适应性配置参数预测模型的计算量，以使参数预测模型适应不同算力支持的部署环境。
附图说明
[0019]图1是本申请实施例提供的一种基于遮挡分割的三维人脸重建方法的流程图；
[0020]图2是本申请实施例中的参数预测模型训练流程图；
[0021]图3是本申请实施例中的参数预测模型的样本输入输出示意图；
[0022]图4是本申请实施例中的图像预处理流程图；
[0023]图5是本申请实施例中的参数预测模型的预测流程图；
[0024]图6是本申请实施例中的目标人脸图像处理流程图；
[0025]图7是本申请实施例提供的一种基于遮挡分割的三维人脸重建系统的结构示意图；
[0026]图8是本申请实施例提供的一种基于遮挡分割的三维人脸重建设备的结构示意图。
具体实施方式
[0027]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实
施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0028]本申请提供的一种基于遮挡分割的三维人脸重建方法，旨在通过训练一个融合图像特征提取器和图像分割解码器的参数预测模型，使得参数预测模型可以耦合三维人脸重建和人脸遮挡区域分割的功能。以此来减少模型部署对计算资源的占用，压缩模型计算量。对于传统的三维人脸重建场景，其在进行三维人脸重建过程中，为了避免人脸遮挡影响三维人脸的后处理功能，会通过部署独立的人脸遮挡分割模型预测人脸遮挡区域，进而基于定位到的人脸遮挡区域进行三维人脸后处理。由于三维人脸重建模型和人脸遮挡分割模型独立部署，而两者之间存在冗余的图像处理步骤，将三维人脸重建和遮挡区域分割作为独立的两个任务处理，会增大平台的计算压力，影响平台其他业务的运行。基于此，提供本本申请实施例的一种将三维人脸重建和遮挡区域分割作为独立的两个任务去处理，以解决现有三维人脸重建应用场景中计算资源占用过多的技术问题。
[0029]实施例：
[0030]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于遮挡分割的三维人脸重建方法，其特征在于，包括：将目标人脸图像输入预构建的参数预测模型，所述参数预测模型包括图像特征提取器和图像分割解码器，所述参数预测模型基于多个人脸训练图片、所述人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至所述图像特征提取器和所述图像分割解码器的关联损失函数达到设定状态；基于所述参数预测模型输出所述目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于所述目标人脸重建参数和目标人脸遮挡区域进行三维人脸重建后处理。2.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述参数预测模型的训练流程包括：以多个所述人脸训练图片、所述人脸训练图片的人脸关键点信息和人脸遮挡分割区域作为训练样本；基于所述训练样本训练所述参数预测模型，通过所述图像特征提取器输出对应的人脸预测关键点信息，通过所述图像分割解码器输出人脸预测遮挡分割区域，基于所述人脸预测关键点信息进行三维人脸重建，生成三维人脸预测图像；以所述三维人脸预测图像、所述人脸预测关键点信息和所述人脸预测遮挡分割区域作为预测样本，基于所述训练样本和所述预测样本计算所述图像特征提取器和所述图像分割解码器的关联损失函数，在所述关联损失函数达到设定状态的情况下，完成所述参数预测模型的训练流程。3.根据权利要求2所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述关联损失函数包括分割损失函数、分割缩放损失函数以及人脸重建损失函数；所述分割损失函数用于衡量所述人脸遮挡分割区域与对应的所述人脸预测遮挡分割区域之间的差异；所述分割缩放损失函数用于对所述人脸预测遮挡分割区域进行缩放调整；所述人脸重建损失用于衡量所述人脸训练图片与对应的所述三维人脸预测图像之间的差异。4.根据权利要求3所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述分割缩放损失函数包括分割区域放大函数和分割区域收缩函数；所述分割区域放大函数用于使所述人脸预测遮挡分割区域放大，所述分割区域收缩函数用于使所述人脸预测遮挡分割区域收缩。5.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述基于所述参数预测模型输出所述目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，包括：将所述目标人脸图像输入所述图像特征提取器，得到对应的特征图，整合所述特征图得到目标人脸重建参数，并将所述特征图输入所述图像分割解码器，基于所述图像分割解码器进行图像分割，得到目标人脸遮挡区域。6.根据权利要求1所述的基于遮挡分割的三维人...

【专利技术属性】
技术研发人员：汪叶娇，约翰，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：