【技术实现步骤摘要】
3D模型重建方法、装置及电子设备
本公开涉及3D模型重建
，尤其涉及一种3D模型重建方法、装置及电子设备。
技术介绍
基于人物的3D建模，是通过一定的技术手段来设立人物的三维模型，常见的3D模型重建方法包括基于高精度硬件，对整个人体进行全身进行扫描，根据扫描数据建立人体3D模型。还可以根据标准人体3D模型，由专业的艺术工作者，根据目标人体的样貌(照片、视频等记录下的样貌)，调整3D模型，使其尽可能地接近目标人体的3D样貌。或者使用GAN网络实现相似功能，创建后的人体3D模型，一般的使用场景是让该模型做一些指定的动作(比如跳舞)。使用深度学习中的对抗网络(GAN)也可以达到相类似的效果。方法是通过对目标人物(人物A)的多张图片数据，学习出人物A的GAN模型，然后根据舞蹈动作的2D骨骼生成人物A的跳舞动作。上述实现方式的执行过程中，存在3D建模贴图失真的情况，导致产生的3D建模图像不够真实。
技术实现思路
有鉴于此，本公开实施例提供一种3D模型重建方法、装置及电子设备，至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种3D模型重建方法，包括：从包含目...
【技术保护点】
1.一种3D模型重建方法，其特征在于，包括：从包含目标对象的输入图像上对所述目标对象执行分割操作，以获得所述目标对象在所述输入图像上的纹理贴图；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值；当所述深度值是否大于预设阈值时，利用预设的网络对所述边缘部分边缘纹理进行预测，形成边缘预测纹理贴图；基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型。
【技术特征摘要】
1.一种3D模型重建方法，其特征在于，包括：从包含目标对象的输入图像上对所述目标对象执行分割操作，以获得所述目标对象在所述输入图像上的纹理贴图；对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型；获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值；当所述深度值是否大于预设阈值时，利用预设的网络对所述边缘部分边缘纹理进行预测，形成边缘预测纹理贴图；基于所述边缘预测纹理贴图，形成所述目标对象的3D重建模型。2.根据权利要求1所述的方法，其特征在于，所述获取所述纹理贴图的边缘部分及所述边缘部分在所述3D骨骼模型中三角面片上的深度值，包括：获取所述边缘部分在所述3D骨骼模型中三角面片Z轴上的值；将所述Z轴上的值作为所述深度值。3.根据权利要求1所述的方法，其特征在于，所述基于所述预测纹理，形成所述目标对象的3D重建模型，包括：获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图；将正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图按照预设的规则匹配到所述3D骨骼模型的三角面片上，形成所述3D重建模型。4.根据权利要求1所述的方法，其特征在于，所述获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，包括：对所述输入图像进行梯度计算；选取梯度计算结果大于预设值的像素点，形成所述目标对象的边缘；基于所述目标对象的边缘，形成所述目标对象的分割掩码；获取所述分割掩码区域在所述输入图像上的区域表示；将所述区域表示内的像素集合作为所述输入图像的正面纹理贴图。5.根据权利要求4所述的方法，其特征在于，所述获取目标对象的正面纹理贴图、遮挡纹理贴图及边缘预测纹理贴图，还包括：获取所述3D骨骼模型被遮挡部分的区域表示；将所述区域表示及所述输入图像输入到预测网络中；利用预测网络预测所述区域表示内的图像，形成遮挡纹理贴图。6.根据权利要求1所述的方法，其特征在于，所述对所述目标对象执行骨骼检测，形成所述目标对象的3D骨骼模型，包括：将预设的3D初始模型投影到2D平面上，形成模型轮廓；基于所述分割掩码，形成所述目标对象的输入轮廓；在所述输入轮廓和所述模型轮廓上分别设置第一关键点集合和第二关键点集合，所述第一关键点集合与所述第二关键点集合中关键点的数目相同且一一对应；计算所述模型轮廓中任一关键点pi在所述输入轮廓中的对应平面坐标(xi，yi)；根据输入轮廓和...
【专利技术属性】
技术研发人员：李佩易，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。