一种基于单张手绘草图的三维人脸重建方法技术

本发明专利技术公开了一种基于单张手绘草图的三维人脸重建方法，属于计算机应用领域。其中一种基于单张手绘草图的三维人脸重建方法，包括利用深度学习进行手绘草图的三维人脸重建，以现有的“照片‑三维人脸”数据集、“照片‑草图”数据集为基础，引入图像转换、图像变形两种方法获得“草图‑三维人脸”数据集来辅助训练，进而得到能恢复出草图的三维人脸的模型。本发明专利技术的有益效果为：利用图像转换、图像变形两种方法，基于现存的“照片‑三维人脸”数据集和“照片‑草图”数据集构建了两种合成数据用于训练，巧妙地解决了草图三维人脸重建中数据集缺失的问题。

【技术实现步骤摘要】
一种基于单张手绘草图的三维人脸重建方法
本专利技术涉及一种基于单张手绘草图的三维人脸重建方法，属于计算机应用领域。
技术介绍
三维人脸重建是计算机视觉和计算机图形学中的一类经典问题，其恢复出的三维人脸数据有着广泛的应用范围，比如人脸识别辅助、人脸动画仿真、虚拟人物设计等等。目前有关三维人脸重建的研究工作大都从照片出发，而拍摄照片时容易受光影效果的影响，使人脸上的细节信息丢失。草图是一种常见的肖像图形式，如素描图可着重记录人脸重要的、区分度高的特征、线条图可通过简单线条勾勒出人脸的各种信息等。基于草图的三维人脸重建有许多的应用场景却很少被人关注到，可以在照片质量不佳或不存在照片时恢复三维人脸，如基于嫌犯草图的三维重建辅助人脸识别、基于画家草图的三维重建辅助设计等。三维人脸重建有两种最主流的传统方法：一是构建可以结构化表征三维人脸的主成分基，使用不同的基系数重构出目标三维人脸；二是依据像素级别的阴影变化建模，基于图像的明暗程度恢复出三维人脸。近年来，深度学习迅猛发展，许多计算机视觉任务包括三维人脸重建依托于深度学习取得了巨大进步。而三维人脸数据的采集相比传统图像来讲困难得多，需要花费大量的人力、物力与财力。草图三维人脸数据集更加难以获得。本专利技术利用深度学习进行手绘草图的三维人脸重建，无需耗费大量人力、物力构建新的“草图-三维人脸”数据集，而是以现有的“照片-三维人脸”数据集、“照片-草图”数据集为基础，引入图像转换、图像变形两种方法获得“草图-三维人脸”数据集来辅助训练，进而得到能恢复出草图的三维人脸的模型。
技术实现思路
本专利技术所要解决的技术问题在于，在没有可用“草图-三维人脸”数据集进行训练的情况下，设计一种基于深度学习的草图三维人脸重建技术，能够高质量地重建三维人脸。为解决上述技术问题，本专利技术提供一种基于单张手绘草图的三维人脸重建方法，其中，所述草图可以为素描、线条图等肖像图形式。本专利技术包括如下步骤：步骤(1)选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B；步骤(2)利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型；步骤(3)利用训练好的图像转换模型，将“照片-三维人脸”数据集A中的照片转换为对应样式的草图，得到“伪草图-三维人脸”数据集C；步骤(4)检测“照片-草图”数据集B中照片和草图的人脸关键点；步骤(5)根据步骤(4)检测到的人脸关键点坐标对“照片-草图”数据集B的照片进行形变处理，使照片和草图的关键点对齐；步骤(6)利用任意训练好的“照片三维人脸重建模型”，获得步骤(5)中形变处理后照片的三维人脸，将之作为“照片-草图”数据集B中真实草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集D；步骤(7)搭建神经网络；步骤(8)利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型，待模型收敛后保存模型参数；步骤(9)利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。可选地，所述步骤(1)的选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B，这两个数据集的人物身份可不相同。可选地，所述步骤(2)的利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型，包括如下步骤：(1)选取“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图；(2)检测选取到的照片、草图的人脸关键点，根据关键点坐标对照片和草图进行裁剪，使各图片保持相似的人脸占比；(3)对裁剪后的照片、草图进行数据增广，如一定角度内的随机旋转、翻转；(4)将处理后的照片、草图作为训练数据，训练并保存图像转换模型以备使用。可选地，所述步骤(5)的对“照片-草图”数据集B的照片进行形变处理，以照片、草图上的密集人脸关键点为依据，对照片进行仿射变换，使变换后照片、草图的人脸关键点一一对应。可选地，所述步骤(8)的利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型：引入图像转换方法，利用大规模的“照片-三维人脸”数据集获得同样大规模“伪草图-三维人脸”数据集，使得模型可以从海量数据中学到三维人脸重建规律；引入图像变形方法，依据“照片-草图”数据集及训练好的“基于照片的三维人脸重建模型”获得了“草图-伪三维人脸”数据集，将真实草图数据加入到模型训练之中。两种合成数据相互补充，共同辅助模型的训练。本专利技术的有益效果为：(1)现有的三维重建方法大多从照片出发，而照片拍摄时容易受光影效果的影响，可能并不能如实得记录被摄者的脸部特征。本专利技术关注到草图的三维人脸重建，且方法适用于各种不同形式的草图，如手绘素描、手绘线条图等。(2)深度学习需要大量数据用于监督训练，但是目前不存在公开的“草图-三维人脸”数据集。本专利技术利用图像转换、图像变形两种方法，基于现存的“照片-三维人脸”数据集和“照片-草图”数据集构建了两种合成数据用于训练，巧妙地解决了草图三维人脸重建中数据集缺失的问题。附图说明图1为本专利技术的方法流程图。图2为本专利技术的草图样例示意图，可以为手绘素描、手绘线条图等。图3为本专利技术检测的人脸关键点示意图。图4为本专利技术的“照片-草图”数据集对齐方法示意图。图5为本专利技术的网络结构示意图。图6为本专利技术的草图重建结果示意图。具体实施方式近年来，深度学习迅猛发展，许多计算机视觉任务包括三维人脸重建依托于深度学习取得了巨大进步。而三维人脸数据的采集相比传统图像来讲困难得多，需要花费大量的人力、物力与财力。草图三维人脸数据集更加难以获得，目前公开数据集中，我们可以找到“照片-三维人脸”数据集、“照片-草图”数据集，却无法找到“草图-三维人脸”数据集用于训练。本专利技术实施例提供一种基于单张手绘草图的三维人脸重建方法，如图1方法流程图所示，其主要包括如下步骤：选取“照片-三维人脸”数据集A，“照片-草图”数据集B，其中，所述“照片-三维人脸”数据集A应包括成对的照片和三维人脸，所述“照片-草图”数据集B应包括成对的照片和草图。划分好训练集、验证集和测试集。本专利技术中“照片-三维人脸”数据集和“照片-草图”数据集的人物身份可不相同。本专利技术实施例中，三维人脸以深度图的形式表示，三维人脸数据集可采用现有的FineData数据集，可从github的Juyong/3DFace获得；草图人脸数据集中的草图可以为不同精细程度的素描图、线条图等形式，如图2的草图样例示意图所示，可以采用CUFSF或CUFS或ZJU-VIPALineDrawingFaceDatabase，本专利技术实施例中选用CUFSF数据集。本专利技术的网络结构示意图如图5所示，为编码器-解码器结构，其中编码器由下采样模块和残差块组成，解码器由残差块和上采样模块组成。为了使网络更加关注于人脸部本文档来自技高网...

【技术保护点】
1.一种基于单张手绘草图的三维人脸重建方法，其特征在于：包括所述草图为手绘素描或手绘线条图的肖像图形式，所述方法包括以下步骤：/n步骤（1）选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B；/n步骤（2）利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型；/n步骤（3）利用训练好的图像转换模型，将“照片-三维人脸”数据集A中的照片转换为对应样式的草图，得到“伪草图-三维人脸”数据集C；/n步骤（4）检测“照片-草图”数据集B中照片和草图的人脸关键点；/n步骤（5）根据步骤（4）检测到的人脸关键点坐标对“照片-草图”数据集B的照片进行形变处理；/n步骤（6）利用任意训练好的“照片三维人脸重建模型”，获得步骤（5）中形变处理后照片的三维人脸，将之作为“照片-草图”数据集B中真实草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集D；/n步骤（7）搭建神经网络；/n步骤（8）利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型，待模型收敛后保存模型参数；/n步骤（9）利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。/n...

【技术特征摘要】
1.一种基于单张手绘草图的三维人脸重建方法，其特征在于：包括所述草图为手绘素描或手绘线条图的肖像图形式，所述方法包括以下步骤：
步骤（1）选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B；
步骤（2）利用“照片-三维人脸”数据集A中的照片和“照片-草图”数据集B中的草图训练图像转换模型；
步骤（3）利用训练好的图像转换模型，将“照片-三维人脸”数据集A中的照片转换为对应样式的草图，得到“伪草图-三维人脸”数据集C；
步骤（4）检测“照片-草图”数据集B中照片和草图的人脸关键点；
步骤（5）根据步骤（4）检测到的人脸关键点坐标对“照片-草图”数据集B的照片进行形变处理；
步骤（6）利用任意训练好的“照片三维人脸重建模型”，获得步骤（5）中形变处理后照片的三维人脸，将之作为“照片-草图”数据集B中真实草图的伪三维人脸标签，得到“草图-伪三维人脸”数据集D；
步骤（7）搭建神经网络；
步骤（8）利用“伪草图-三维人脸”数据集C和“草图-伪三维人脸”数据集D训练模型，待模型收敛后保存模型参数；
步骤（9）利用训练好的神经网络模型，对输入的任意单张手绘草图进行处理，得到重建的三维人脸。


2.根据权利要求1所述的一种基于单张手绘草图的三维人脸重建方法，其特征在于：所述步骤（1）的选取用于训练的“照片-三维人脸”数据集A、“照片-草图”数据集B，这两个数据集的人物身份...

【专利技术属性】
技术研发人员：霍静，杨丽，高阳，
申请(专利权)人：南京大学，江苏万维艾斯网络智能产业创新中心有限公司，
类型：发明
国别省市：江苏;32