一种基于语义神经渲染的人脸图像生成方法及系统技术方案

一种基于语义神经渲染的人脸图像生成方法，包括以下步骤：S1.映射网络从目标脸部运动描述符产生隐向量；S2.在隐向量的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对源人脸图像进行形变，来生成粗略的形变后图像；S3.编辑网络从粗略的形变后图像生成最终的精细图像。本发明专利技术的基于语义神经渲染的人脸图像生成方法可以生成动作更准确的图像，能够生成更逼真的结果以及准确的运动，同时仍保留源人脸图像的身份信息。不仅可以生成具有正确全局姿势的逼真图像，还可以生成生动的微表情，例如撅嘴和扬眉。此外，不相关的源人脸图像中的信息得到了很好的保留。到了很好的保留。到了很好的保留。

【技术实现步骤摘要】
一种基于语义神经渲染的人脸图像生成方法及系统


[0001]本专利技术涉及人脸图像生成和神经渲染，特别地，为一种基于语义神经渲染的人脸图像生成方法及系统。

技术介绍

[0002]人脸图像是日常生活中广泛使用的最重要的摄影内容之一。能够通过修改给定面部的姿势和表情来编辑人像图像是具有多种应用场景的重要任务。然而，达成此类编辑极具挑战性，因为它需要自动感知任何给定面部可信的3D几何形状。同时，人类视觉系统对人像图像的敏锐度要求算法生成逼真的面部和背景，这使得任务更加困难。
[0003]为了实现直观控制，运动描述符应该在语义上有意义，这需要将面部表情、头部旋转和平移表示为完全解耦开的变量。参数化人脸建模方法为描述具有语义参数的3D人脸提供了强大的工具。这些方法允许通过参数控制3D人脸的形状、表情等特征。结合这些技术的先验，人们可以期望控制类似于图形渲染处理的逼真人脸图像的生成。目前，一些基于模型的方法结合三维可形变人脸模型(3DMM)的渲染图像，并通过修改表情或姿势参数来编辑人像图像。这些方法取得了令人印象深刻的结果，但它们是特定于目标人物的方法，这意味着它们不能被应用于任意的人物肖像。
[0004]在3DMM中，人脸的3D形状S被参数化表征为：在其中，为人脸3D形状的平均，B
id
和B
exp
是在对200张人脸进行扫描并进行主成分分析后得到的身份和表情方面的基底。参数α和β分别为80维和64维，描述了人脸在身份和表情方面的特征。人脸的旋转和转换被表示为R∈SO(3)和t∈R3。至此，由3DMM中的(β，R，t)可以清楚地表达人脸中的运动信息。

技术实现思路

[0005]本专利技术提供了一种基于语义神经渲染的人脸图像生成方法及系统，可以生成动作更准确的图像。
[0006]本专利技术的技术方案如下：
[0007]根据本专利技术的一个方面，提供了一种基于语义神经渲染的人脸图像生成方法，包括以下步骤：S1.映射网络从目标脸部运动描述符产生隐向量；S2.在隐向量的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对源人脸图像进行形变，来生成粗略的形变后图像；S3.编辑网络从粗略的形变后图像生成最终的精细图像。
[0008]优选地，在上述基于语义神经渲染的人脸图像生成方法中，在步骤S1中，目标脸部运动描述符包括目标脸部的表情、旋转和转换信息，在获取目标脸部运动描述符后，映射网络从目标脸部运动描述符产生隐向量。
[0009]优选地，在上述基于语义神经渲染的人脸图像生成方法中，在步骤S2中，在隐向量z的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，得到光流场，并通
过使用估计的光流场对源人脸图像进行形变，进而生成粗略的形变后图像。
[0010]优选地，在上述基于语义神经渲染的人脸图像生成方法中，在步骤S3中，编辑网络接收上一步得到的粗略的形变后图像，结合源人脸图像和隐向量，得到最终的精细图像。
[0011]根据本专利技术的另一个方面，提供了一种基于语义神经渲染的人脸图像生成系统，包括映射网络、形变网络和编辑网络，其中，映射网络，用于将目标运动描述符映射到隐向量；形变网络，用于在隐向量的指导下，估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对源人脸图像进行形变，来生成粗略的形变后图像；以及编辑网络，用于通过编辑粗略的形变后图像来生成具有丰富细节的清晰图像，从粗略的形变后图像生成最终的精细图像。
[0012]根据本专利技术的技术方案，产生的有益效果是:
[0013]本专利技术的基于语义神经渲染的人脸图像生成方法及系统，可以生成动作更准确的图像，能够生成更逼真的结果以及准确的运动，同时仍保留源人脸图像的身份信息。不仅可以生成具有正确全局姿势的逼真图像，还可以生成生动的微表情，例如撅嘴和扬眉。此外，不相关的源人脸图像中的信息得到了很好的保留。
[0014]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0016]图1是本专利技术的基于语义神经渲染的人脸图像生成方法的流程图；
[0017]图2为本专利技术的基于语义神经渲染的人脸图像生成方法的网络总体框架图；
[0018]图3为本专利技术与其他算法在直观人脸图像控制任务上的定性对比图；
[0019]图4为本专利技术在间接人脸图像编辑任务上的效果图。
具体实施方式
[0020]为使本专利技术的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本专利技术做进一步的详细说明。这些实例仅仅是说明性的，而并非对本专利技术的限制。
[0021]一种基于语义神经渲染的人脸图像生成方法及系统，涉及一种新颖的神经渲染模型，在给定源人脸图像和目标3DMM参数后，模型会生成具有准确目标运动的逼真结果。所提出的系统模型可以分为三部分：映射网络、形变网络和编辑网络，其中，映射网络从运动描述符产生隐向量。在隐向量的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对源人脸图像进行形变，来生成粗略的结果。最后，编辑网络从粗略图像生成最终的精细图像。
[0022]图1是本专利技术的基于语义神经渲染的人脸图像生成方法的流程图，以及图2是本专利技术的基于语义神经渲染的人脸图像生成系统的总体框架图，结合图1和图2对方法进行说明，包括以下步骤：
[0023]S1.映射网络从目标脸部运动描述符(如图2所示)产生隐向量。在该步骤中，如图2所示，目标脸部运动描述符p包括目标脸部的表情、旋转和转换信息。在获取了目标脸部运
动描述符p之后，映射网络从p产生隐向量z。
[0024]S2.在隐向量的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对源人脸图像进行形变，来生成粗略的形变后图像。在该步骤中，在隐向量z的指导下，形变网络估计源人脸图像I
s
和所需目标图像之间的准确形变，得到光流场w，并通过使用估计的w对源人脸图像I
s
进行形变，进而生成粗略的形变后图像
[0025]S3.编辑网络从粗略的形变后图像生成最终的精细图像。在该步骤中，编辑网络接收上一步得到的粗略的形变后图像结合源人脸图像I
s
和隐向量z，得到最终的精细图像即图2中的生成图像
[0026]图2为本专利技术的基于语义神经渲染的人脸图像生成方法的网络总体框架图。给定源人脸图像(图2中的源图像Is)和目标脸部运动描述符后，模型的输出是具有准确目标运动的人脸图像，同时保留源人脸图像的其他信息，例如身份、照明和背景。如图2所示，本专利技术的基于语义神经渲染的人脸图像生成系统模型可以分为三部分：映射网络、形变网络和编辑网络。首先本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义神经渲染的人脸图像生成方法，其特征在于，包括以下步骤：S1.映射网络从目标脸部运动描述符产生隐向量；S2.在所述隐向量的指导下，形变网络估计源人脸图像和所需目标图像之间的准确形变，并通过使用估计的形变参数对所述源人脸图像进行形变，来生成粗略的形变后图像；以及S3.编辑网络从所述粗略的形变后图像生成最终的精细图像。2.根据权利要求1所述的基于语义神经渲染的人脸图像生成方法，其特征在于，在步骤S1中，所述目标脸部运动描述符包括目标脸部的表情、旋转和转换信息，在获取所述目标脸部运动描述符后，所述映射网络从所述目标脸部运动描述符产生所述隐向量。3.根据权利要求1所述的基于语义神经渲染的人脸图像生成方法，其特征在于，在步骤S2中，在隐向量z的指导下，形变网络估计源人脸图像和所需目标图像之间...

【专利技术属性】
技术研发人员：陈元祺，任俞睿，龙仕强，
申请(专利权)人：深圳龙岗智能视听研究院，
类型：发明
国别省市：