基于生成图像的人脸重建方法、系统、装置及存储介质制造方法及图纸

本申请公开了一种基于生成图像的人脸重建方法、系统、装置及存储介质，首先基于人脸重建模型生成人脸第一数据集；增广所述人脸第一数据集生成人脸第二数据集；基于所述人脸第二数据集训练3DDFA人脸重建模型；采集任意一张人脸2D图像，使用训练好的3DDFA人脸重建模型生成3D人脸图像。利用生成大批量的人脸图像，其中包括小角度人脸数据和大角度人脸数据，以及利用大批量的人脸图像对3DDFA模型进行训练，同时引入3DDFA模型，3DDFA模型对于大姿态人脸具有很好的效果，且为端到端预测，效率高，方案简单，克服了传统模型一系列缺点。克服了传统模型一系列缺点。克服了传统模型一系列缺点。

【技术实现步骤摘要】
基于生成图像的人脸重建方法、系统、装置及存储介质


[0001]本申请涉及图像识别领域，尤其涉及一种基于生成图像的人脸重建方法、系统装置及存储介质。

技术介绍

[0002]人脸三维重建是指通过2D图像建立人脸三维模型，传统3D人脸重建方法大多是立足图像信息，如基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等。此类方法论文非常多，但基本速度慢，精度低，不适用于现在的应用场景。
[0003]近几年大多是基于3DMM模型做的人脸重建，不管是针对传统3DMM模型做的变形和补充，还是现在利用深度学习做的端到端人脸重建，都离不开3DMM的思想。传统3DMM模型是线性回归其参数，这种方式有多个缺陷：1、其训练过程需要高质量的3D扫描，数据需要在严格条件下获得，无法面对任意从网上抓图即刻复原的要求，同时采用完全监督方式进行训练，对数据的要求很高；2、受样本限制、不同姿态人脸数据少的问题，难以满足训练模型的要求，极大限制了人脸重建模型实际效果；3、现有的3DMM模型并不能满足大姿态人脸数据的训练，难以达到训练的效果。

技术实现思路

[0004]为克服相关技术中存在的问题，本申请提供一种基于生成图像的人脸重建方法、系统及装置，立足于3D扫描人脸数据少的问题，提供一个基于该生成图像的人脸重建方法利用人脸生成模型生成大批量的人脸图像，形成大批量的人脸自建数据集，其中包括小角度人脸数据和大角度人脸数据，极大发挥了人脸生成模型训练效果；同时引入3DDFA模型，3DDFA模型对于大姿态人脸具有很好的效果，且为端到端预测，效率高，方案简单，克服了传统模型一系列缺点。
[0005]根据本申请的第一方面，提供一种基于生成图像的人脸重建方法，包括以下步骤：基于人脸重建模型生成人脸第一数据集；增广所述人脸第一数据集生成人脸第二数据集；基于所述人脸第二数据集训练3DDFA人脸重建模型；采集任意一张人脸2D图像，使用训练好的3DDFA人脸重建模型生成3D人脸图像。
[0006]基于前述方案，所述生成人脸第一数据集包括以下步骤：2D人脸图像通过3DMM拓展模型生成3D人脸数据；基于所述3D人脸数据和第一旋转角度调整人脸图像的姿态，生成不同角度的3D人脸图像数据；基于所述3DMM拓展模型将所述3D人脸图像数据拟合为2D人脸图像数据；所述2D人脸图像数据作为所述人脸第一数据集。
[0007]基于前述方案，所述第一旋转角度包括小角度和大角度，其中小角度为[
‑
15,
‑
30,
‑
45,0,15,30,45]、大角度为[
‑
60,
‑
75,
‑
90,60,75,90]。
[0008]基于前述方案，所述人脸第一数据集生成人脸第二数据集包括以下步骤：对所述人脸第一数据集中的人脸图像数据镜像翻转；按第二旋转角度旋转生成所述人脸第二数据集。所述第二旋转角度为[
‑
30,
‑
20,
‑
25,
‑
20,
‑
5,5,10,15,20,30]。
[0009]基于前述方案，所述训练3DDFA人脸重建模型包括以下步骤：输入当前的参数以及人脸第二数据集；基于所述参数得到的特征图PNCC和所述人脸第二数据集作为卷积神经网络的输入得到第一输出结果；基于所述参数得到的带有特征锚的图像输入PAC进行操作得到特征图PAF，将PAF作为后续卷积神经网络的输入得到第二输出结果；将所述第一输出结果和所述第二输出结果通过全连接层得到最终结果。
[0010]根据本申请的另一方面，提供一种基于生成图像的人脸重建系统，包括重建模块、增广模块、训练模块和输出模块；所述重建模块基于人脸重建模型生成人脸第一数据集；所述增广模块用于增广所述人脸第一数据集生成人脸第二数据集；所述训练模块用于基于所述人脸第二数据集训练3DDFA人脸重建模型；所述输出模块用于采集任意一张人脸2D图像，使用训练好的3DDFA人脸重建模型生成3D人脸图像。
[0011]根据本申请的另一方面，提供一种基于生成图像的人脸重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述提及的一种基于生成图像的人脸重建方法。
[0012]根据本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现上述提及的一种基于生成图像的人脸重建方法。
[0013]本申请公开了一种基于生成图像的人脸重建方法、系统、装置及存储介质，首先基于人脸重建模型生成人脸第一数据集；增广所述人脸第一数据集生成人脸第二数据集；基于所述人脸第二数据集训练3DDFA人脸重建模型；采集任意一张人脸2D图像，使用训练好的3DDFA人脸重建模型生成3D人脸图像。利用生成大批量的人脸图像，其中包括小角度人脸数据和大角度人脸数据，以及利用大批量的人脸图像对3DDFA模型进行训练，同时引入3DDFA模型，3DDFA模型对于大姿态人脸具有很好的效果，且为端到端预测，效率高，方案简单，克服了传统模型一系列缺点。
[0014]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
[0015]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0016]图1为本申请实施例中的一种基于生成图像的人脸重建方法流程图。
[0017]图2为本申请实施例中基于人脸重建模型生成不同角度的人脸图像得到人脸第一数据集的方法流程图。
[0018]图3为本申请实施例中的求解相关系数的方法流程图。
[0019]图4为本申请实施例中的3DDFA人脸重建模型训练方法流程图。
[0020]图5为本申请实施例中的基于生成图像的人脸重建系统的框图。
[0021]图6为本申请实施例中的基于生成图像的人脸重建装置的框图。
具体实施方式
[0022]为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的
附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
[0023]除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
[0024]在本专利技术公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成图像的人脸重建方法，其特征在于，包括以下步骤：基于人脸重建模型生成人脸第一数据集；增广所述人脸第一数据集生成人脸第二数据集；基于所述人脸第二数据集训练3DDFA人脸重建模型；采集任意一张人脸2D图像，使用训练好的3DDFA人脸重建模型生成3D人脸图像。2.根据权利要求1所述的方法，其特征在于，所述生成人脸第一数据集包括以下步骤：2D人脸图像通过3DMM拓展模型生成3D人脸数据；基于所述3D人脸数据和第一旋转角度调整人脸图像的姿态，生成不同角度的3D人脸图像数据；基于所述3DMM拓展模型将所述3D人脸图像数据拟合为2D人脸图像数据；所述2D人脸图像数据作为所述人脸第一数据集。3.根据权利要求2所述的方法，其特征在于，所述第一旋转角度包括小角度和大角度，其中小角度为[
‑
15,
‑
30,
‑
45,0,15,30,45]、大角度为[
‑
60,
‑
75,
‑
90,60,75,90]。4.根据权利要求3所述的方法，其特征在于，所述人脸第一数据集生成人脸第二数据集包括以下步骤：对所述人脸第一数据集中的人脸图像数据镜像翻转；按第二旋转角度旋转生成所述人脸第二数据集。5.根据权利要求4所述的方法，其特征在于，所述第二旋转角度为[
‑
30,
‑
20,
‑
25,
‑
20,
‑
5,5,10,15,20,30]。6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨旭旨，毛建江，王璐威，
申请(专利权)人：杭州欣禾圣世科技有限公司，
类型：发明
国别省市：