一种基于StyleGAN2的单视图三维重建方法及系统技术方案

本发明专利技术提供一种基于StyleGAN2的单视图三维重建方法及系统。本发明专利技术旨在降低单视图三维网格重建过程的数据依赖，首先，使用图像编码器将图像映射到高维空间，学习图像的高维特征，再输入到修改后的StyleGAN2网络中，同时对后续潜在空间的信息进行补充；然后，通过修改StyleGAN2网络，学习图像中对象的可见部分，并扩展到三维空间，同时在三维空间中预测不可见区域的纹理；最后，通过引入微分渲染将三维属性渲染到二维空间中，在图像级别约束网格，同时进行端到端的训练，使其不再依靠三维真值进行监督。

【技术实现步骤摘要】

本专利技术属于计算机视觉，具体涉及一种基于stylegan2的单视图三维重建方法及系统。

技术介绍

1、基于图像的三维重建在计算机视觉和计算机图形学的各种任务中发挥着基础性作用。一般来说，即使有许多可能的形状可以产生相同的图像，人们也只能通过查看对象的单个图像来对三维空间产生理想的预测。人们只是依靠不断获得的假设和先验知识来进行推理。让机器能够像人们一样感知对象的三维空间是计算机视觉的基本目标之一，例如机器人感知、自动驾驶、虚拟/增强现实等。

2、随着深度学习的成功，尤其是生成对抗网络，基于深度神经网络的编码器-解码器已成为主流架构，如3d-vae-gan、psgn和3dlmnet从单视图图像生成点云表示。一些其他基于深度神经网络的现有作品将体素作为三维形状的表示，并采用体积卷积网络进行形状合成。但是，由于额外的维度，体积卷积操作与2d卷积相比占用了更多的内存，这限制了体积分辨率的扩展。此外，体积表示的信息稀疏的，对于体积卷积来说，花费昂贵的计算资源来处理对象内部的信息是不必要的。虽然各种三维表示，例如体素和点云已被探索用于单视图重建，但是三角本文档来自技高网...

【技术保护点】

1.一种基于StyleGAN2的单视图三维重建方法，其特征在于，包括：

2.根据权利要求1所述的基于StyleGAN2的单视图三维重建方法，其特征在于，获得图像的潜在代码的方法为：

3.根据权利要求1所述的基于StyleGAN2的单视图三维重建方法，其特征在于，获得三维网格和纹理的方法为：

4.根据权利要求1所述的基于StyleGAN2的单视图三维重建方法，其特征在于，所述微分渲染器为dib-r微分渲染器。

5.根据权利要求1所述的基于StyleGAN2的单视图三维重建方法，其特征在于，StyleGAN2中的GAN模型采用端到端的方式进行训...

【技术特征摘要】

1.一种基于stylegan2的单视图三维重建方法，其特征在于，包括：

2.根据权利要求1所述的基于stylegan2的单视图三维重建方法，其特征在于，获得图像的潜在代码的方法为：

3.根据权利要求1所述的基于stylegan2的单视图三维重建方法，其特征在于，获得三维网格和纹理的方法为：

4.根据权利要求1所述的基于stylegan2的单视图三维重建方法，其特征在于，所述微分渲染器为dib-r微分渲染器。

5.根据权利要求1所述的基于stylegan2的单视图三维重建方法，其特征在于，stylegan2中的gan模型采用端到端的方式进行训练。

6.一种基于...

【专利技术属性】
技术研发人员：曹仰杰，王飞，李振强，杨子江，李颉，
申请(专利权)人：郑州大学，
类型：发明
国别省市：