基于PIFu和3D-GAN改进的秦腔人物三维模型重建的方法技术

本发明专利技术公开了一种基于PIFu和3D

【技术实现步骤摘要】
基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法


[0001]本专利技术属于计算机图形学处理领域，具体涉及一种基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法。

技术介绍

[0002]秦腔“形成于秦，精进于汉，昌明于唐，完整于元，成熟于明，广播于清，几经演变，蔚为大观答”，是相当古老的剧种，堪称中国戏曲的鼻祖。旧时，在中国西北辽阔的大地乃至西域国家，秦腔曾是老百姓最为喜爱和掌握的艺术形式。它简单灵活、轻松幽默、亲切随和，富有浓郁的地域特色和乡土气息。然而随着现代经济高速发展，互联网快速普及，国民大众的娱乐方式发生了变化。秦腔原始的娱乐性功能被削弱，受众群体老龄化，面临着生存和发展的危机。
[0003]通过对2D秦腔人物图片进行三维模型重建，生成3D人物模型用来进行人机交互，极大地推动了秦腔文化的发展，以更加现代化的方式让人们重拾对传统戏剧的兴趣，体会秦腔这一传统中华文化的深厚艺术积累和丰富的人文内涵。
[0004]目前，对于某些特定领域的物体，如人脸、人体或已知的人造物体，通过参数化模型、数据驱动技术或深度神经网络的帮助，已经可以从图像中推断出相对准确的3D表面。传统方法都是从CAD库中寻找组件生成新的物体，因此生成的很真实却不新颖。最近3D深度学习的进展表明，一般的形状可以从很少的图像，有时甚至是单个输入就可进行推断出相对准确的3D表面。然而，这些方法的结果分辨率和精度通常是有限的，甚至对于特定领域的建模任务效果也不好。Siclope网络引入了一种多视图推理方法，即通过从单个图像合成新的剪影视图。虽然多视图剪影的记忆效率很高，但凹区域很难推断，因此，Siclope无法可靠地得出模型精确的细节。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术的目在于提供一种基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法，内存占用较少，精准捕捉细节，提升了三维重建模型的逼真度和运算速度。
[0006]为了实现上述目的，本专利技术采用以下技术方案予以实现：
[0007]基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法，包括以下步骤：
[0008]步骤1：搜集2D秦腔人物图片，并设置图片为适配尺寸；
[0009]步骤2：通过使用Background
‑
based抠图算法对步骤1中的秦腔人物图片进行去除背景操作；
[0010]步骤3：对步骤2得到的图片进行掩膜处理，对图片加mask，并提取mask区域；
[0011]步骤4：在原始的3D
‑
GAN模型网络中的DIB
‑
R框架前加入PIFu网络的Tex
‑
PIFu模型，同时在3D
‑
GAN网络中加入一个生成器，并引入循环一致性损失来约束生成器的训练；
[0012]循环一致性损失表示为：
[0013][0014]其中，L
cyc
表示的是循环一致性损失；参数G代表3D
‑
GAN的生成器；参数F代表的是增加的3D
‑
GAN的生成器；
[0015]表示期望x从P
data
分布中获取；x表示真实数据，
[0016]P_data(x)表示真实数据的分布；同理E_(y～P_data(y))表示的是期望y从P
data
(y)分布中获取；y表示生成数据，P
data
(y)表示生成数据的分布；G(x)代表的是输入图像x经过生成器G生成的图像y
’
；F(G(x))代表的是图像y经过生成器F生成的图像x
’
；公式中||U||1下标1代表的是1
‑
范数，整体表示U向量中元素绝对值之和；
[0017]步骤5：将步骤3得到的掩膜图片作为训练的输入数据开始训练，训练目标是使得F(G(x))≈x，G(F(y))≈y，用改进后的3D
‑
GAN对其进行三维重建最终得到的秦腔人物三维模型。
[0018]进一步，所述3D
‑
GAN模型网络结构由一个生成器、一个判别器和一个DIB
‑
R框架三部分组成。
[0019]进一步，所述步骤1中设置图片尺寸为512x512mm。
[0020]本专利技术具有以下有益效果：
[0021]本专利技术基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法，利用Background
‑
based抠图算法对2D戏曲人物图片进行消除背景操作，通过修改3D
‑
GAN网络，将其中纹理重建部分融入PIFu网络的Tex
‑
PIFu模型，为了使得生成前后身份保持一致性，本专利技术增加3D
‑
GAN一个生成器，并引入循环一致性损失来约束生成器的训练，达到生成的三维模型更加真实逼真的目的；该方法使生成的三维模型更加生动逼真，本专利技术解决了3D
‑
GAN生成的三维模型纹理粗糙以及训练时间较长的问题，大大提升了三维重建模型的逼真度和运算速度。
[0022]本专利技术方法不需要对空间进行体素划分，内存占用较少，记忆效率更高；使用全卷积神经网络可以保留图像中的局部特征，隐式函数也能够表达表面的几何细节，能够捕捉2D图像中出现的精确细节；并能预测模型每个顶点的颜色，且只需要一张2D图片就可生成真实逼真的三维模型，过程简单。
附图说明
[0023]图1是2D秦腔人物图片；
[0024]图2是Background
‑
based抠图算法结构图；
[0025]图3是经过抠图算法生成的图像；
[0026]图4是提取mask区域得到的图像；
[0027]图5是3D
‑
GAN模型的整体结构图；
[0028]图6是加入Tex
‑
PIFu的3D
‑
GAN模型；
[0029]图7是完善后的3D
‑
GAN模型；
[0030]图8是最终生成的三维模型示意图；
具体实施方式
[0031]以下结合实施例对本专利技术的具体内容做进一步详细解释说明。
[0032]本专利技术提供了一种基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法，具体包括以下步骤：
[0033]步骤1：首先在绿幕下对秦腔人物进行拍照得到2D秦腔人物图片，然后更改图像尺寸为(512，512)，如图1是得到的2D秦腔人物图片。
[0034]步骤2：为了在训练中不受到其他因素的干扰，得到更好的三维模型，利用Background
‑
based抠图算法对图1进行消除背景操作，Background
‑
based抠本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于PIFu和3D
‑
GAN改进的秦腔人物三维模型重建的方法，其特征在于包括以下步骤：步骤1：搜集2D秦腔人物图片，并设置图片为适配尺寸；步骤2：通过使用Background
‑
based抠图算法对步骤1中的秦腔人物图片进行去除背景操作；步骤3：对步骤2得到的图片进行掩膜处理，对图片加mask，并提取mask区域；步骤4：在原始的3D
‑
GAN模型网络中的DIB
‑
R框架前加入PIFu网络的Tex
‑
PIFu模型，同时在3D
‑
GAN网络中加入一个生成器，并引入循环一致性损失来约束生成器的训练；循环一致性损失表示为：其中，L
cyc
表示的是循环一致性损失；参数G代表3D
‑
GAN的生成器；参数F代表的是增加的3D
‑
GAN的生成器；表示期望x从P
data
分布中获取；x表示真实数据，P_data(x)表示真实数据的分布；同理E_(y～P_data(y))表示的是期望y从P

【专利技术属性】
技术研发人员：耿国华，李启航，冯龙，李康，周蓬勃，白涛，杨雪，刘阳洋，周明全，
申请(专利权)人：西北大学，
类型：发明
国别省市：