基于深度学习的人脸重建方法和装置制造方法及图纸

本申请提出一种基于深度学习的人脸重建方法和装置，涉及图像处理技术领域，其中，方法包括：获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

【技术实现步骤摘要】
基于深度学习的人脸重建方法和装置
本申请涉及图像处理
，尤其涉及一种基于深度学习的人脸重建方法和装置。
技术介绍
人脸三维重建在人脸动画以及人脸跟踪中有重要的应用。在人脸动画领域，高精度的人脸几何和纹理对于人脸动画的结果非常重要，使用高精度的几何和纹理，可以使得人物动画更加具有真实感。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种基于深度学习的人脸重建方法，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。本申请的第二个目的在于提出一种基于深度学习的人脸重建装置。为达上述目的，本申请第一方面实施例提出了一种基于深度学习的人脸重建方法，包括：获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸重建方法，其特征在于，包括：/n获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；/n通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；/n将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。/n

【技术特征摘要】
1.一种基于深度学习的人脸重建方法，其特征在于，包括：
获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；
通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；
将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。


2.如权利要求1所述的方法，其特征在于，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：
所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。


3.如权利要求1所述的方法，其特征在于，
利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。


4.如权利要求1所述的方法，其特征在于，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：
提取所述人脸视频的每个视频帧；
对所述视频帧进行人脸识别，获取人脸图像；
对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。


5.如权利要求1所述的方法，其特征在于，还包括：
通过摄像头拍摄不同用户对应的不同视角的人脸图片；和/或，接收终端发送和/或目标地址下载的不同用户对应的不同视角的人脸图片；
根据所述...

【专利技术属性】
技术研发人员：徐枫，王至博，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11