基于多任务学习的单视图人脸三维重建及纹理生成的方法技术

本发明专利技术公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法，属于计算机视觉领域。该方法包括：人脸三维模型渲染的特殊视点的选取；特殊视点下生成深度图、纹理图作为真值数据；设计深度信息与纹理信息特征共享的集成学习编码网络；设计由共享特征恢复出深度图的分支解码网络，恢复出深度图；设计由共享特征作为潜变量的互信息最大化生成对抗网络，恢复出纹理展开图；调整各任务损失函数的比例，训练模型；将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明专利技术利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移，具有速度快、成本低等优势。

A Method of Single View Face 3D Reconstruction and Texture Generation Based on Multitask Learning

The invention discloses a method for three-dimensional reconstruction and texture generation of single-view face based on Multi-task learning, which belongs to the field of computer vision. This method includes: the selection of special viewpoints for facial 3D model rendering; the generation of depth maps and texture maps as truth data under special viewpoints; the design of integrated learning coding network for sharing depth information and texture information features; the design of branch decoding network for recovering depth maps from shared features; and the design of mutual information maximization with shared features as latent variables. Generate the confrontation network and restore the texture expansion map; adjust the proportion of the loss function of each task and train the model; interpolate the depth map output from the network and then combine the texture map to restore the three-dimensional mesh model of the face with texture details. The invention utilizes multi-task learning to carry out three-dimensional reconstruction of single view face and texture generation and style transfer, and has the advantages of fast speed and low cost.

【技术实现步骤摘要】
基于多任务学习的单视图人脸三维重建及纹理生成的方法
本专利技术涉及计算机视觉领域，特别涉及一种基于多任务学习的单视图人脸三维重建及纹理生成的方法。
技术介绍
三维人脸模型在安全认证、影视动漫、医学科学等领域的应用非常广泛。然而同时获取精准人脸三维结构与完整高分辨率的纹理图的成本非常昂贵，且得到的纹理图也不方便后期处理，或者是存在三维结构与高分辨率纹理图不能同时获取等等各种难题。对于使用传统方法的单视图人脸三维重建及纹理生成，通常有两种技术：(1)采用阴影恢复形状(Shape-from-Shading，SFS)方法或光度立体(Photometricstereo)方法根据单个视图的彩色图像重建三维模型。由不同光照下的相同视角人脸图像信息计算出由表面法向量，再恢复出三维表面信息。该方法依赖于光照条件和光照模型的先验知识，而且它更适合重建人脸表面细节，对人头部整体的三维重建精度不高；(2)FengLiu、DanZeng和QijunZhao(LiuF,ZengD,ZhaoQ,etal.Jointfacealignmentand3dfacereconstruction[C]//EuropeanConferenceonComputerVision.Springer,Cham,2016:545-560)提出了在回归框架下的人脸对齐和三维重建，该方法在给定输入二维人脸图像上的特征点的条件下，实时重建其三维模型的方法。利用两组级联的线性回归，一组用来更新2D特征点，另一组用来更新3D人脸形状。在每一次迭代中，先用SDM(SupervisedDescentMethod)方法得到特征点更新量，再用特征点的更新量去估计出3D人脸形状的更新量。新的3D人脸一旦更新就可以粗略地计算出3D-to-2D投影矩阵，同时再利用3D人脸对特征点进行修正，最终得到经过不断修正后的人脸三维模型。这些传统方法对于模型的纹理处理通常都是顶点着色，而不是用高分辨、表征纹理细节的纹理图进行纹理映射的得到的彩色模型。对于单张图像，需要是正脸图像，侧脸效果很差，纹理不全。近年也涌现了大量基于深度学习的单视图人脸三维重建的方法，其中FengY,WuF等人(FengY,WuF,ShaoX,etal.Joint3DFaceReconstructionandDenseAlignmentwithPositionMapRegressionNetwork[J].2018.)提出将人脸三维模型的顶点坐标xyz存为UV图，图中像素RGB值分别表示xyz，以图片的形式表达三维信息，并基于深度学习由单视图人脸图像进行UV图的恢复进而再恢复出人脸三维模型。而他们的研究中关于人脸纹理的处理则是直接由输入的纹理图进行局部仿射变换，所以无法恢复出遮挡部分的纹理。如果输入的是侧面人脸图像，恢复出的带纹理人脸三维模型的纹理很差。此外，也有研究者(BoothJ,RoussosA,VerverasE,etal.3DReconstructionof"In-the-Wild"FacesinImagesandVideos[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2018,PP(99):1-1.)提出了一种从无约束条件下，即真实场景中的面部图像中学习统计纹理模型的方法，该纹理模型与之前的统计三维形状模型类似，同时包含身份和表情的特征。由于不需要对光照参数进行优化，所以纹理模型具有拟合策略非常简单的优点。但是该研究也无法保证在输入人脸是侧面，即遮挡区域很大的情况下的纹理恢复。JiankangDeng等人设计了一种生成对抗网络(DengJ,ChengS,XueN,etal.UV-GAN:AdversarialFacialUVMapCompletionforPose-invariantFaceRecognition[J].2017.)包含一个生成器与两个判别器，生成器用于生产完整的人脸纹理展开图，两个判别器分别用于判别整张纹理图的整体真实性、局部纹理与人的身份的一致性。该方法恢复的纹理图效果比较好，但是人脸三维模型重建的效果不够好。上述现有技术都具有以下缺点：基于单张人脸图像，没有同时恢复出精确的人脸三维几何结构与完整的纹理，并且对于深度学习的方法，完整纹理展开图数据集的收集成本很高且不方便。有的方法可以得到比较完整的人脸三维几何结构，但是纹理部分是直接根据输入原图像进行局部仿射变换得到的纹理图像，在遮挡区域的纹理都是明显错误的。有的方法可以恢复出高分辨率且完整的人脸纹理图，但是局限于人脸正面图或者是小角度的侧脸图，并且人脸的三维结构恢复的也不够理想。
技术实现思路
针对上述现有技术中存在的缺陷，为了基于单张人脸图像同时恢复出精确的人脸三维几何结构与完整的纹理，提高人脸三维重建的方便性、准确性，本专利技术提出了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法。为了实现上述专利技术目的，本专利技术方法采用的技术方案如下：基于多任务学习的单视图人脸三维重建及纹理生成的方法，包括如下步骤：S1，基于OpenGL将虚拟相机放置于人脸头部三维模型内部，朝向人脸，在这样的渲染视点下不断调整相机内外参数，选择合适的视场角和焦距，使整个人脸展开在平面上尽可能完整地在窗口中渲染出来；S2，利用S1中得到的相机内外参数，基于CGAL计算上述渲染视点下的人脸三维模型的深度数据，并存为深度图，基于OpenGL加载人脸三维模型文件，在所述渲染视点下进行渲染，得到纹理图像，作为深度学习训练的一组真值；S3，构建深度信息与纹理信息特征共享的集成学习编码网络，将S2获得的真值数据与人脸原图数据作为一组训练数据；收集多个预训练的人脸识别模型作为元模型，第一级网络是将人脸原图数据分别输入各个元模型，将元模型的输出再次作为输入，传送给第二卷积神经级网络，利用集成学习中的集成叠加算法，最终得到人脸的特征图；S4，由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图，作为深度图分支解码网络的输入，由该分支解码网络恢复出单通道的深度图；S5，由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征，作为互信息最大化对抗网络的输入的一部分，由该对抗网络恢复出高分辨率的彩色通道纹理图；S6，根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系，给这两个网络的损失函数按比例分配权重，进行网络训练；S7，训练完模型后，输入测试的原始人脸图片，由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图，根据需要的任意三维模型分辨率，对网络输出的深度图进行插值来生成需要的尺寸；根据是否有风格迁移的需要对纹理进行后期处理，最终恢复出人脸三维模型。本专利技术首次提出选用特殊视点进行渲染得到人脸纹理展开图，提出了一种针对单视点人脸三维重建在几何和色彩上同时进行重建的网络结构：基于集成学习的方法使用多种人脸识别的预训练模型，分别得到各个模型输出的人脸特征图，再运用卷积神经网络进行集成学习，得到的最终的更为全面的人脸特征图。最后通过多任务学习网络，由其中的一个分支网络，即经典的反卷积网络得到人脸深度图；由另一个分支网络，即互信息最大化对抗网络本文档来自技高网...

【技术保护点】
1.基于多任务学习的单视图人脸三维重建及纹理生成的方法，其特征在于，包括如下步骤：S1，基于OpenGL将虚拟相机放置于人脸头部三维模型内部，朝向人脸，在这样的渲染视点下不断调整相机内外参数，选择合适的视场角和焦距，使整个人脸展开在平面上尽可能完整地在窗口中渲染出来；S2，利用S1中得到的相机内外参数，基于CGAL计算上述渲染视点下的人脸三维模型的深度数据，并存为深度图，基于OpenGL加载人脸三维模型文件，在所述渲染视点下进行渲染，得到纹理图像，作为深度学习训练的一组真值；S3，构建深度信息与纹理信息特征共享的集成学习编码网络，将S2获得的真值数据与人脸原图数据作为一组训练数据；收集多个预训练的人脸识别模型作为元模型，第一级网络是将人脸原图数据分别输入各个元模型，将元模型的输出再次作为输入，传送给第二卷积神经级网络，利用集成学习中的集成叠加算法，最终得到人脸的特征图；S4，由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图，作为深度图分支解码网络的输入，由该分支解码网络恢复出单通道的深度图；S5，由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征，作为互信息最大化对抗网络的输入的一部分，由该对抗网络恢复出高分辨率的彩色通道纹理图；S6，根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系，给这两个网络的损失函数按比例分配权重，进行网络训练；S7，训练完模型后，输入测试的原始人脸图片，由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图，根据需要的任意三维模型分辨率，对网络输出的深度图进行插值来生成需要的尺寸；根据是否有风格迁移的需要对纹理进行后期处理，最终恢复出人脸三维模型。...

【技术特征摘要】
1.基于多任务学习的单视图人脸三维重建及纹理生成的方法，其特征在于，包括如下步骤：S1，基于OpenGL将虚拟相机放置于人脸头部三维模型内部，朝向人脸，在这样的渲染视点下不断调整相机内外参数，选择合适的视场角和焦距，使整个人脸展开在平面上尽可能完整地在窗口中渲染出来；S2，利用S1中得到的相机内外参数，基于CGAL计算上述渲染视点下的人脸三维模型的深度数据，并存为深度图，基于OpenGL加载人脸三维模型文件，在所述渲染视点下进行渲染，得到纹理图像，作为深度学习训练的一组真值；S3，构建深度信息与纹理信息特征共享的集成学习编码网络，将S2获得的真值数据与人脸原图数据作为一组训练数据；收集多个预训练的人脸识别模型作为元模型，第一级网络是将人脸原图数据分别输入各个元模型，将元模型的输出再次作为输入，传送给第二卷积神经级网络，利用集成学习中的集成叠加算法，最终得到人脸的特征图；S4，由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图，作为深度图分支解码网络的输入，由该分支解码网络恢复出单通道的深度图；S5，由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征，作为互信息最大化对抗网络的输入的一部分，由该对抗网络恢复出高分辨率的彩色通道纹理图；S6，根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系，给这两个网络的损失函数按比例分配权重，进行网络训练；S7，训练完模型后，输入测试的原始人脸图片，由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图，根据需要的任意三维模型分辨率，对网络输出的深度图进行插值来生成需要的尺...

【专利技术属性】
技术研发人员：曹汛，汪晏如，朱昊，张艺迪，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32