基于Hourglass网络和MLP的3D人物模型生成方法技术

本公开了一种基于Hourglass网络和MLP的3D人物模型生成方法。本发明专利技术步骤包括：步骤1、将人物的正面图像和背面图像作为输入图像，得到人物正面深度图和背面深度图和法线图信息；步骤2、基于输入的正面图像和背面图像生成一个低分辨率空间占用信息；步骤3、基于法线图信息和人物的正面图像和背面图像生成一个高分辨率空间占用信息；步骤4、融合模型；将低分辨率空间占用信息和高分辨率空间占用信息结合后训练3D表面模型，得到完整人物3D模型；步骤5、测试重建后的人物3D模型，进行评估精度。本发明专利技术使用日常使用的拍摄设备，普通人的拍摄水平，生成足够细腻的3D人物模型，适用范围广、模型精确度高、鲁棒性强。鲁棒性强。鲁棒性强。

【技术实现步骤摘要】
基于Hourglass网络和MLP的3D人物模型生成方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于Hourglass网络和MLP的的3D人物模型生成方法。

技术介绍

[0002]近年来，计算机的硬件和软件并驾齐驱，无论是在运行效率和处理信息的能力方面均有了长足的发展。尽就计算机硬件而言，经过十年的飞速发展，性能较二十世纪末提高了几个数量级。同时，计算机软件在方法学和理论体系等方面也有了突破性的进展。在这样的基础上，人们对于计算机所呈现的信息和所能处理的信息等方面有了更高的期待。
[0003]计算机视觉技术的蓬勃发展，凭借多核心的高速中央处理器(CPU)具有超强并行计算能力的图形处理器(GPU)，以及功能越来越强大的三维特效制作软件和三维游戏引擎，电影和游戏的逼真度已经达到和接近照片级。同时，众多领域如健身运动，生物,医学，建筑以及教育也同时对3维的重建在该领域的应用有了更迫切的需求。
[0004]本专利技术提出了一种超清晰正反图像的3D人物模型生成方法，通过目标人物正反两张超清晰图像，能直接生成清晰度较高的较细腻人物3D模型。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足，提供一种基于Hourglass网络和MLP的的3D人物模型生成方法。
[0006]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0007]步骤1、将人物的正面图像和背面图像作为输入图像，通过invisible point rendering技术生成与相机视角一致的人物正面深度图和背面深度图和法线图信息；
[0008]步骤2、将步骤1中输入的人物的正面图像和背面图像进行下采样后作为输入，输入到Hourglass网络，对全局几何信息进行整合，生成128*128分辨率的主干网络图像特征Ⅰ；并将图像特征Ⅰ和查询深度信息作为输入，输入到MLP生成一个三维嵌入信息，该三维嵌入信息再次经历一个MLP生成一个低分辨率空间占用信息；
[0009]步骤3、将步骤1提取出的法线图信息和步骤1中输入的人物的正面图像和背面图像作为输入，输入到PIFu网络，生成512*512分辨率的主干网络图像特征Ⅱ，并将该图像特征Ⅱ和步骤2中生成的三维嵌入信息作为输入，输入到一个MLP中，输出一个高分辨率空间占用信息；
[0010]步骤4、融合模型；
[0011]将步骤2中得到的低分辨率空间占用信息通过STN网络，从流形空间映射到图像空间，得到与输入图像大小相同的流形蒙版；
[0012]将流形蒙版与输入图像送入表面重建网络中进行训练，以便在生成表面模型时考虑全局几何信息；
[0013]使用一个逆变换STN网络将表面模型从图像空间映射回流形空间，得到高分辨率
的3D表面模型；
[0014]将低分辨率空间占用信息和高分辨率空间占用信息结合后训练3D表面模型，从而得到一个具有高精度和高质量的完整人物3D模型；
[0015]步骤5、测试重建后的人物3D模型，进行评估精度。
[0016]经过测试，本专利技术具有的有益效果是：
[0017]1、仅通过两张图片就可以获得较清晰的3D人物建模模型。
[0018]2、对设备要求不高，现代手机的摄像能力完全能够达到，为方法的普遍使用提供了一定的基础。
[0019]3、对拍摄者的要求不高，不需要经过太多训练，普通人就可以完成拍摄工作。
[0020]4、适用范围广、模型精确度高、鲁棒性强。
附图说明
[0021]图1本专利技术方法执行流程图。
具体实施方式
[0022]下面结合附图对本专利技术的具体实施方案做作进一步说明。
[0023]本专利技术主要提出了一种基于Hourglass网络和MLP的的3D人物模型生成方法，以提高通常情况下3D生成人物模型的清晰度，图1是本专利技术的具体实施步骤：
[0024]步骤1、将人物的正面图像和背面图像作为输入图像，通过invisible point rendering技术生成与相机视角一致的人物正面深度图和背面深度图和法线图信息；
[0025]步骤2、将步骤1中输入的人物的正面图像和背面图像进行下采样后作为输入，输入到Hourglass网络，对全局几何信息进行整合，生成128*128分辨率的主干网络图像特征Ⅰ；并将图像特征Ⅰ和查询深度信息作为输入，输入到MLP生成一个三维嵌入信息，该三维嵌入信息再次经历一个MLP生成一个低分辨率空间占用信息；
[0026]步骤3、将步骤1提取出的法线图信息和步骤1中输入的人物的正面图像和背面图像作为输入，输入到PIFu网络，生成512*512分辨率的主干网络图像特征Ⅱ，并将该图像特征Ⅱ和步骤2中生成的三维嵌入信息作为输入，输入到一个MLP中，输出一个高分辨率空间占用信息；
[0027]步骤4、融合模型；
[0028]将步骤2中得到的低分辨率空间占用信息通过STN网络，从流形空间映射到图像空间，得到与输入图像大小相同的流形蒙版；
[0029]将流形蒙版与输入图像送入表面重建网络中进行训练，以便在生成表面模型时考虑全局几何信息；
[0030]使用一个逆变换STN网络将表面模型从图像空间映射回流形空间，得到高分辨率的3D表面模型；
[0031]将低分辨率空间占用信息和高分辨率空间占用信息结合后训练3D表面模型，从而得到一个具有高精度和高质量的完整人物3D模型；
[0032]步骤5、测试重建后的人物3D模型，进行评估精度。
[0033]进一步的，步骤1具体实现如下：
[0034]1‑
1.将输入图像投射到三维空间中以获取相机位置和方向；
[0035]1‑
2.在三维空间中生成一个密集的点云，该点云覆盖人体表面上的所有可能位置；
[0036]1‑
3.计算每个点到相机的距离，并将该距离转换成深度值存储在深度图中；
[0037]1‑
4.使用深度图计算每个点的法线信息，并将该法线信息存储在法线图中。
[0038]进一步的，步骤1中批量的输入图像为超清晰图像，通过PIX2PIXHD网络预测图像空间中的信息，获得正面图像以及背面图像的清晰法线图。
[0039]进一步的，步骤2具体实现如下：
[0040]将输入图像中的正面图像以及背面图像，进行一个0.5倍的下采样，然后输入到Hourglass网络。
[0041]本专利技术通过上述步骤得到的模型一定程度上能够保证模型的准确和细腻。
[0042]最后需要注意的是，具体实施的目的在于帮助进一步理解本专利技术，但是本领域的技术人员可以理解：在不脱离本专利技术及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本专利技术不应局限于实施例所公开的内容，本专利技术要求保护的范围以权利要求书界定的范围为准。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Hourglass网络和MLP的3D人物模型生成方法，其特征在于包括以下步骤：步骤1、将人物的正面图像和背面图像作为输入图像，通过invisiblepoint rendering技术生成与相机视角一致的人物正面深度图和背面深度图和法线图信息；步骤2、将步骤1中输入的人物的正面图像和背面图像进行下采样后作为输入，输入到Hourglass网络，对全局几何信息进行整合，生成128*128分辨率的主干网络图像特征Ⅰ；并将图像特征Ⅰ和查询深度信息作为输入，输入到MLP生成一个三维嵌入信息，该三维嵌入信息再次经历一个MLP生成一个低分辨率空间占用信息；步骤3、将步骤1提取出的法线图信息和步骤1中输入的人物的正面图像和背面图像作为输入，输入到PIFu网络，生成512*512分辨率的主干网络图像特征Ⅱ，并将该图像特征Ⅱ和步骤2中生成的三维嵌入信息作为输入，输入到一个MLP中，输出一个高分辨率空间占用信息；步骤4、融合模型；将步骤2中得到的低分辨率空间占用信息通过STN网络，从流形空间映射到图像空间，得到与输入图像大小相同的流形蒙版；将流形蒙版与输入图像送入表面重建网络中进行训练，以便在生成表面模型时考虑全局几何信息；使用一个逆变换STN网络将表面模型从图像空间映射回流形空间，得到高分辨率的3D表面...

【专利技术属性】
技术研发人员：李建军，王佳伟，黄峰，敬世伟，田万勇，赵露露，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：