3D模型重建方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种3D模型重建方法、装置及电子设备，属于数据处理技术领域，该方法包括：对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。通过本公开的方案，能够基于多张图像生成贴图纹理，提高了3D模型重建纹理的准确性。

【技术实现步骤摘要】
3D模型重建方法、装置及电子设备
本公开涉及3D模型重建
，尤其涉及一种3D模型重建方法、装置及电子设备。
技术介绍
基于人物的3D建模，是通过一定的技术手段来设立人物的三维模型，常见的3D模型重建方法包括基于高精度硬件，对整个人体进行全身进行扫描，根据扫描数据建立人体3D模型。还可以根据标准人体3D模型，由专业的艺术工作者，根据目标人体的样貌(照片、视频等记录下的样貌)，调整3D模型，使其尽可能地接近目标人体的3D样貌。或者使用GAN网络实现相似功能，创建后的人体3D模型，一般的使用场景是让该模型做一些指定的动作(比如跳舞)。使用深度学习中的对抗网络(GAN)也可以达到相类似的效果。方法是通过对目标人物(人物A)的多张图片数据，学习出人物A的GAN模型，然后根据舞蹈动作的2D骨骼生成人物A的跳舞动作。上述实现方式具有如下缺陷：建模和贴图都会有失真的情况。由于人体的单张照片需要是全身照片(或至少是露出半身的照片)，贴图的质量不高。由于单张照片的视角限制，再加上一些遮挡，部分人体是无法采集信息的，因此方法中大量使用GAN网络进行被遮挡部分的生成(包括3D结构和贴图)。在这个过程中难免引起失真。
技术实现思路
有鉴于此，本公开实施例提供一种3D模型重建方法、装置及电子设备，至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种3D模型重建方法，包括：对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。根据本公开实施例的一种具体实现方式，所述基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图，包括：在所述图像集合中的所有图片中查找所述三角面片对应的多个贴图纹理；基于所述三角面片的不同视角，确定多个贴图纹理的不同权重；基于贴图纹理的不同权重，确定所述三角面片的最终贴图纹理。根据本公开实施例的一种具体实现方式，所述基于贴图纹理的不同权重，确定所述三角面片的最终贴图纹理，包括：每一个可以看到三角面片的角度i，计算三角面片S可视比例ri；将所有的ri进行归一化，使得∑k*ri＝1，其中k是需要求得的系数；使用k*ri作为角度i的三角面片在面片纹理融合时的权重，记为wi；将所有对三角面片的各个角度i的贴图及其对应的权重wi作为输入，输入到GAN网络，将所述GAN网络输出贴图作为最终的贴图纹理。根据本公开实施例的一种具体实现方式，所述将所有对三角面片的各个角度i的贴图及其对应的权重wi作为输入，输入到GAN网络之前，所述方法还包括：设置能够接收多个图片元祖的输入层GAN网络，其中每个图片元祖中都包含一张图片以及该图片的权重；将所述多个图片元祖全部重叠起来，形成一个高维的图片张量；对所述图片张量进行卷积并根据权重进行输出串联，作为所述GAN中第一个pReLU层的输入。根据本公开实施例的一种具体实现方式，所述方法还包括：获取任一高清图片，将该高清随机在3D空间中进行变换，并计算变换后在2D画面上的投影；将高清图片在2D画面上的投影变换为所述高清图片正对摄像头，形成低清晰度的图片；用这多张的低清晰度的图片和生成它们的高清的图片作为一个训练集合，来训练所述GAN网络。根据本公开实施例的一种具体实现方式，所述对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型，包括：将预设的3D初始模型投影到2D平面上，形成模型轮廓；基于所述分割掩码，形成所述目标对象的输入轮廓；在所述输入轮廓和所述模型轮廓上分别设置第一关键点集合和第二关键点集合，所述第一关键点集合与所述第二关键点集合中关键点的数目相同且一一对应；计算所述模型轮廓中任一关键点pi在所述输入轮廓中的对应平面坐标(xi，yi)；根据输入轮廓和模型轮廓在长、宽上的变化比例，变换所述3D初始模型中任一关键点pi的空间坐标zi；基于所述平面坐标和所述空间坐标，确定所述3D骨骼模型的最终形状。根据本公开实施例的一种具体实现方式，所述基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型，包括：确认3D空间坐标系下的摄像机坐标，使得在所述摄像机坐标下，所述3D骨骼模型在显像画面上的投影所形成的轮廓与所述输入轮廓完全重合；确定组成所述3D骨骼模型的任一个三角面片的三个顶点在所述输入轮廓对应原图上的3个2D对应点；利用所述对应点在所述第一图像上确定贴图面片；将所述贴图面片作为其所对应的3D三角面片的贴图，将所述第一图像上的贴图面片贴在所述3D三角面片上；将包含第一图像上的贴图面片的3D骨骼模型作为所述目标对象的第一3D重建模型。根据本公开实施例的一种具体实现方式，所述对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型，包括：将预设的3D初始模型投影到2D平面上，形成模型轮廓；基于所述目标对象的分割掩码，形成所述目标对象的输入轮廓；基于所述输入轮廓和所述模型轮廓，形成所述目标对象的3D骨骼模型。第二方面，本公开实施例提供了一种3D模型重建装置，包括：分割模块，用于对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；形成模块，用于对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；第一确定模块，用于基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；第二确定模块，用于基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式中的3D模型重建方法。第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的3D模型重建方法。第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的3D模型重建方法。本公开实施例中的3D模型重建方案，包括对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。通过本公开的方案，能够基于多张图像生成贴图纹理，提高了3D模型重建纹理的准确性。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本公开本文档来自技高网...

【技术保护点】
1.一种3D模型重建方法，其特征在于，包括：对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。

【技术特征摘要】
1.一种3D模型重建方法，其特征在于，包括：对从图像集合中选取的第一图像执行分割操作，以获得第一图像中包含的目标对象；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图；基于所述贴图和所述3D骨骼模型，确定所述目标对象的3D重建模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像集合中的所有图片，确定所述3D骨骼模型中三角面片所对应的贴图，包括：在所述图像集合中的所有图片中查找所述三角面片对应的多个贴图纹理；基于所述三角面片的不同视角，确定多个贴图纹理的不同权重；基于贴图纹理的不同权重，确定所述三角面片的最终贴图纹理。3.根据权利要求2所述的方法，其特征在于，所述基于贴图纹理的不同权重，确定所述三角面片的最终贴图纹理，包括：每一个可以看到三角面片的角度i，计算三角面片S可视比例ri；将所有的ri进行归一化，使得∑k*ri＝1，其中k是需要求得的系数；使用k*ri作为角度i的三角面片在面片纹理融合时的权重，记为wi；将所有对三角面片的各个角度i的贴图及其对应的权重wi作为输入，输入到GAN网络，将所述GAN网络输出贴图作为最终的贴图纹理。4.根据权利要求3所述的方法，其特征在于，所述将所有对三角面片的各个角度i的贴图及其对应的权重wi作为输入，输入到GAN网络之前，所述方法还包括：设置能够接收多个图片元祖的输入层GAN网络，其中每个图片元祖中都包含一张图片以及该图片的权重；将所述多个图片元祖全部重叠起来，形成一个高维的图片张量；对所述图片张量进行卷积并根据权重进行输出串联，作为所述GAN中第一个pReLU层的输入。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取任一高清图片，将该高清随机在3D空间中进行变换，并计算变换后在2D画面上的投影；将高清图片在2D画面上的投影变换为所述高清图片正对摄像头，形成低清晰度的图片；用这多张的低清晰度的图片和生成它们的高清的图片作为一个训练集合，来训练所述GAN网络。6.根据权利要求1所述的方法，其特征在于，所述对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型，包括：将预设的3D初始模型投影到2D平面上，形成模型轮廓；基于所述分割掩码，形成所述目标对象的输入轮廓；在所述输入轮廓和所述模型轮廓上分别设置第...

【专利技术属性】
技术研发人员：李佩易，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11