一种基于自监督学习的三维人脸模型重建方法及系统技术方案

本发明专利技术公开了一种基于自监督学习的三维人脸模型重建方法及系统。该方法包括：基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。本发明专利技术无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。

【技术实现步骤摘要】
一种基于自监督学习的三维人脸模型重建方法及系统
本专利技术涉及三维人脸模型重建
，特别是涉及一种基于自监督学习的三维人脸模型重建方法及系统。
技术介绍
人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别以及在影视动画中角色面部的制作等。人脸三维重建分为主动式和被动式两个大类。主动式建模利用外部光照如激光和结构光进行建模，这种通过仪器采集的方法可以直接获得深度信息，但是设备搭建复杂，过程执行繁琐，因而成本较高。被动式建模一般利用拍摄得到的图片或者视频进行建模。由多个相机组成的阵列同时采集一个人同一时刻的多个视角的照片，利用立体视觉的方法建模，可以得到较为精细的人脸模型，但是同主动式建模的方法类似，其设备搭建和执行十分复杂，计算成本高且只适合用于实验室的光照环境，无法普及应用。随着手机等移动设备的普及，图片和视频的获取变得更加方便，利用单张图像来重建人脸三维模型有了更大的需求同时衍生出许多的应用。相比于其他的人脸重建方案，基于单张图片的人脸重建无需搭建采集设备，素材易获取；但同时输入信息十分有限，由二维图片恢复三维信息是典型的病态问题，因此基于单张图片重建三维人脸模型依旧是一个极具挑战性的课题。目前最为流行的人脸三维重建方法是基于形变模型的三维人脸重建(3DMM)，传统优化方法基于输入图像的人脸关键点，优化形变模型的几何参数(包括身份参数和表情参数)。这类方法通常需要迭代优化，在人脸模型点数较多的情况下往往十分耗时，而且常规的形变模型受限于参数化模型的低维度表示空间，其重建结果较为平滑，缺乏高频的细节信息。随着深度学习方法在计算机视觉领域的许多方面取得了超越传统优化方法的效果，近年来越来越多的人脸三维重建工作开始引入深度学习的方法。然而深度学习方法中神经网络的训练需要大量数据，不同于分类、识别等任务中易于获取的图片数据集，人脸三维重建任务难以获得大量的与人脸图片对应的真实人脸三维模型，缺乏足够的训练数据降低了深度学习方法的效果。一些方法提出利用参数化人脸模型通过仿真采样得到大量虚拟三维人脸模型，结合不同光照信息进行渲染得到人脸三维模型对应的人脸图片，将这样的虚拟数据作为训练集训练神经网络。然而由于渲染得到的虚拟图片和真实图片仍有差距，训练结果在对真实图片的泛化性较差。同时，虚拟数据集无法仿真人脸细节信息，最终的人脸重建结果不够精细。
技术实现思路
本专利技术的目的是提供一种基于自监督学习的三维人脸模型重建方法及系统，无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。为实现上述目的，本专利技术提供了如下方案：一种基于自监督学习的三维人脸模型重建方法，包括：基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。进一步地，编码神经网络的训练过程包括：对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。进一步地，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。进一步地，所述置换贴图预测神经网络的训练过程包括：通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。进一步地，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。本专利技术还提供了一种基于自监督学习的三维人脸模型重建系统，包括：粗糙三维人脸模型参数预测模块，用于基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；粗糙三维人脸模型构建模块，用于基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；第一渲染图像确定模块，用于将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；第二渲染图像确定模块，用于将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；深度方向置换贴图预测模块，用于基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；三维人脸模型重建模块，用于将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。进一步地，还包括：预处理模块，用于对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；第一训练模块，用于通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。进一步地，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。进一步地，还包括：第二训练模块，用于通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。进一步地，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术利用输入图像自身作为监督，结合现有人脸关键点检测技术和人脸皮肤分割技术，无需真实三维人脸模型作为监督参与神经网络训练，缓解了缺乏大量训练数据集的问题。于算法上，利用神经网络预测UV域上人脸深度方向的置换贴图，将其与参数化人脸模型组合，进而得到含有几何细节的三维人脸模型。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例基于自监督学习的三维人脸模型重建方法的流程图；图2为本专利技术实施例基于自监督学习的三维人脸模型重建方法的原理图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术本文档来自技高网...

【技术保护点】
1.一种基于自监督学习的三维人脸模型重建方法，其特征在于，包括：/n基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；/n基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；/n将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；/n将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；/n基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；/n将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。/n

【技术特征摘要】
1.一种基于自监督学习的三维人脸模型重建方法，其特征在于，包括：
基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；
基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；
将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；
将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；
基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；
将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。


2.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，编码神经网络的训练过程包括：
对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；
通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。


3.根据权利要求2所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。


4.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的训练过程包括：
通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。


5.根据权利要求4所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。


6.一种基于自监督学习的三维人脸模型重建系统，其特征在于，包括：
粗...

【专利技术属性】
技术研发人员：于耀，梁胜利，周余，都思丹，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32