基于深度学习的人脸重建方法和装置制造方法及图纸

本申请提出一种基于深度学习的人脸重建方法和装置，涉及图像处理技术领域，其中，方法包括：获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

【技术实现步骤摘要】
基于深度学习的人脸重建方法和装置
本申请涉及图像处理
，尤其涉及一种基于深度学习的人脸重建方法和装置。
技术介绍
人脸三维重建在人脸动画以及人脸跟踪中有重要的应用。在人脸动画领域，高精度的人脸几何和纹理对于人脸动画的结果非常重要，使用高精度的几何和纹理，可以使得人物动画更加具有真实感。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种基于深度学习的人脸重建方法，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。本申请的第二个目的在于提出一种基于深度学习的人脸重建装置。为达上述目的，本申请第一方面实施例提出了一种基于深度学习的人脸重建方法，包括：获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。本申请实施例的基于深度学习的人脸重建方法，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。在本申请的一个实施例中，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。在本申请的一个实施例中，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：提取所述人脸视频的每个视频帧；对所述视频帧进行人脸识别，获取人脸图像；对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。在本申请的一个实施例中，所述基于深度学习的人脸重建方法，还包括：通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；根据所述人脸图片生成所述人脸多视角图片数据集。为达上述目的，本申请第二方面实施例提出了一种基于深度学习的人脸重建装置，包括：第一获取模块，用于获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；训练模块，用于通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；处理模块，用于将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。本申请实施例的基于深度学习的人脸重建装置，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。在本申请的一个实施例中，所述训练模块，具体用于：所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。在本申请的一个实施例中，所述处理模块，具体用于：提取所述人脸视频的每个视频帧；对所述视频帧进行人脸识别，获取人脸图像；对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。在本申请的一个实施例中，所述的装置，还包括：第二获取模块，用于通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；生成模块，用于根据所述人脸图片生成所述人脸多视角图片数据集。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例所提供的一种基于深度学习的人脸重建方法的流程示意图；图2为本申请实施例所提供的基于深度学习的人脸重建的示例图；图3本申请实施例所提供的一种基于深度学习的人脸重建装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的基于深度学习的人脸重建方法和装置。图1为本申请实施例所提供的一种基于深度学习的人脸重建方法的流程示意图。如图1所示，该基于深度学习的人脸重建方法包括以下步骤：步骤101，获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图。在本申请实施例中，通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；根据人脸图片生成所述人脸多视角图片数据集。步骤102，通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络。在本申请实施例中，深度卷积神经网络的输入为人本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸重建方法，其特征在于，包括：/n获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；/n通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；/n将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。/n

【技术特征摘要】
1.一种基于深度学习的人脸重建方法，其特征在于，包括：
获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。


2.如权利要求1所述的方法，其特征在于，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。


3.如权利要求1所述的方法，其特征在于，
利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。


4.如权利要求1所述的方法，其特征在于，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：
提取所述人脸视频的每个视频帧；
对所述视频帧进行人脸识别，获取人脸图像；
对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。


5.如权利要求1所述的方法，其特征在于，还包括：
通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；
根据所述...

【专利技术属性】
技术研发人员：徐枫，王至博，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11