基于深度学习的真实感人脸渲染方法与装置制造方法及图纸

本发明专利技术本发明专利技术公开了一种基于深度学习的人脸真实感渲染方法及装置，其中，方法包括：预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，根据人脸视频数据集建立人脸混和模型，并对人脸混和模型进行重建，根据人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。该方法基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。结果。结果。

【技术实现步骤摘要】
基于深度学习的真实感人脸渲染方法与装置


[0001]本专利技术涉及图形学，人脸几何纹理重建，真实感人脸渲染等
，尤其涉及一种基于深度学习的真实感人脸渲染方法。

技术介绍

[0002]深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[0003]基于深度学习的真实感人脸渲染在人脸动画、游戏和影视领域中具有非常广泛的学术价值和应用前景。由于人脸的反射属性非常复杂，具有真实感的人脸渲染难度非常大，需要大量的人工处理；传统渲染方式耗时比较大，而基于深度学习的渲染方式相对来说比较快速，可以大大降低渲染成本。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的第一个目的在于提出一种基于深度学习的真实感人脸渲染方法，以实现利用训练得到的神经纹理和人脸混合模型对不同人脸进行操控，得到目标光照下的具有真实感的渲染结果。
[0006]本专利技术的第二个目的在于提出一种基于深度学习的真实感人脸渲染装置。
[0007]为达上述目的，本专利技术第一方面实施例提出了一种基于深度学习的真实感人脸渲染方法，包括：
[0008]预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；
[0009]根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；
[0010]根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
[0011]本专利技术实施例的基于深度学习的真实感人脸渲染方法通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本专利技术基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
[0012]另外，根据本专利技术上述实施例的基于深度学习的真实感人脸渲染方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，所述根据所述人脸视频数据集建立人脸混和模型，包括：
[0014]根据所述人脸视频数据集中出现的方向光下的不同表情人脸数据融合得到所述人脸混和模型。
[0015]进一步地，在本专利技术的一个实施例中，所述根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建，包括：
[0016]对不同用户建立所述人脸混和模型，并对所述人脸视频数据集中的人脸运动进行重建，得到人脸相对中性表情在所述人脸混和模型中的相对运动。
[0017]进一步地，在本专利技术的一个实施例中，在所述神经纹理和所述人脸相对中性表情的运动经过所述神经渲染网络渲染之后，恢复所述预先采集的人脸视频数据集。
[0018]进一步地，在本专利技术的一个实施例中，所述人脸神经纹理存储在所述人脸混合模型的UV图之中，所述人脸相对运动，通过人脸混合模型线性插值，并投影到所述UV图中得到。
[0019]进一步地，在本专利技术的一个实施例中，所述根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，包括：
[0020]利用所述神经渲染网络，以及所述人脸神经纹理和所述重建后的人脸混合模型，对所述人脸神经纹理进行操控，并指定一个目标光照，得到人脸的在不同光照下具有真实感的人脸图片。
[0021]为达上述目的，本专利技术第二方面实施例提出了一种基于深度学习的真实感人脸渲染装置，包括：
[0022]采集模块，用于预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；
[0023]第一重建模块，用于根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；
[0024]渲染模块，用于根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。
[0025]本专利技术实施例的基于深度学习的真实感人脸渲染装置，通过预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络，建立人脸混和模型并进行重建，对重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果，本专利技术基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
[0026]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0027]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0028]图1为本专利技术实施例所提供的一种基于深度学习的真实感人脸渲染方法的流程图；
[0029]图2为本专利技术实施例所提供的一种基于深度学习的真实感人脸渲染装置的结构示
意图。
具体实施方式
[0030]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0031]下面参考附图描述本专利技术实施例的基于深度学习的真实感人脸渲染方法和装置。
[0032]图1为本专利技术实施例所提供的一种基于深度学习的真实感人脸渲染方法的流程示意图。
[0033]基于深度学习的真实感人脸渲染在人脸动画、游戏和影视领域中具有非常广泛的学术价值和应用前景。由于人脸的反射属性非常复杂，具有真实感的人脸渲染难度非常大，需要大量的人工处理；传统渲染方式耗时比较大，而基于深度学习的渲染方式相对来说比较快速，可以大大降低渲染成本。
[0034]针对这一问题，本专利技术实施例提供了基于深度学习的真实感人脸渲染方法，以实现基于深度学习的渲染方式给定训练得到的神经纹理的渲染网络一个的输入光照以及人脸运动，对人脸的神经纹理在相机空间的投影进行处理，得到逼真的渲染结果。
[0035]如图1所示，该基于深度学习的真实感人脸渲染方法方法包括以下步骤：
[0036]步骤101，预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络。
[0037]具体的，本实施例中通过预先采集的方向光下的人脸视频数据集，训练得到与光照无关的人脸神经纹理和神经纹理的渲染网络。
[0038]可以理解的是，经纹理为与光照无关的神经纹理。
[0039]步骤102，根据人脸视频数据集建立人脸混和模型，并对人脸混和模型进行重建。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人脸真实感渲染方法，其特征在于，包括以下步骤：预先采集人脸视频数据集，基于神经纹理的深度学习渲染训练得到人脸神经纹理和神经渲染网络；根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建；根据所述人脸神经纹理和重建后的人脸混合模型对人脸进行操控，得到人脸不同表情下的真实感渲染结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸视频数据集建立人脸混和模型，包括：根据所述人脸视频数据集中出现的方向光下的不同表情人脸数据融合得到所述人脸混和模型。3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸视频数据集建立人脸混和模型，并对所述人脸混和模型进行重建，包括：对不同用户建立所述人脸混和模型，并对所述人脸视频数据集中的人脸运动进行重建，得到人脸相对中性表情在所述人脸混和模型中的相对运动。4.根据权利要求3所述的方法，其特征在于，在所述神经纹理和所述人脸相对中性表情的运动经过所述神经渲染网络渲染之后，恢复所述预先采集的人脸视频数据集。5.根据权利要求3所述的方法，其特征在于，所述人脸神经纹理存储在所述人脸混合模型的UV图之中，所述人脸相对运动，通过人脸混合模型线性插值，并投影到所述UV图中得到。6.根据权利要求1所述的方法，其特征在于，所述根据所述人脸神经纹理和重建后的...

【专利技术属性】
技术研发人员：徐枫，王至博，
申请(专利权)人：清华大学，
类型：发明
国别省市：