一种三维模型的重建方法及设备技术

本申请涉及计算机视觉和计算机图形学技术领域，提供一种三维模型的重建方法及设备，采用训练好的模型，基于对各个普遍民用级RGBD相机采集的原始深度图和原始RGB图像预处理后的图像，生成初始几何模型和初始纹理模型，并对初始几何模型进行上采样和平滑处理，得到更精细、更真实自然的目标几何模型，进一步地，根据各个RGBD相机的标定结果和采集的原始RGB图像，获取目标几何模型上各个顶点各自的颜色值，得到与目标几何模型一致的目标纹理模型，减少了目标几何模型与高分辨率RGB图像映射时的纹理间隙、纹理错位、纹理光照不均匀等问题，无需人工参数，提高了重建效率和纹理精度，进而提高了重建的三维模型的精度。而提高了重建的三维模型的精度。而提高了重建的三维模型的精度。

【技术实现步骤摘要】
一种三维模型的重建方法及设备


[0001]本申请涉及计算机视觉和计算机图形学
，尤其涉及一种三维模型的重建方法及设备。

技术介绍

[0002]三维重建领域中对于人或物体的重建主要包括两部分，分别是显示模型外部轮廓的几何重建和显示模型外观颜色的纹理重建。其中，纹理重建在几何重建之后进行，主要是对三维模型的每一个顶点和面片进行着色，即获得空间几何模型上每一个顶点的RGB值，再对每一个三角面片包含的三个顶点的RGB值进行纹理计算，得到相应面片的颜色值，从而完成整个模型的纹理重建。
[0003]目前，纹理重建主要有两种方式：一是基于传统图形学的纹理重建方法，该方法将多个视角的RGB图像与几何重建的三维模型做纹理映射，首先将三维模型的几何顶点与RGB图像中像素点的UV坐标一一对应，然后对三角面片进行纹理计算。该方法可以获得高精度的纹理重建模型，但如果采用图形学算法自动映射，会存在纹理间隙，纹理错位等问题，降低了纹理重建的质量，因此，需要动画师手工修正映射关系。二是基于机器学习的纹理重建方法，该方法基于单张RGB图像对整个几何重建的三维模型进行纹理重建，由于缺少颜色数据，该方法采用生成对抗网络(Generative Adversarial Networks，GAN)进行推理，根据有限的可见颜色数据推断整个三维模型的纹理空间。该方法可以避免纹理间隙、纹理错位的问题，但没有纹理拼接、合成的过程，导致得到的纹理空间过于平滑，纹理重建分辨率低，效果差。

技术实现思路

[0004]本申请实施例提供了一种三维模型的重建方法及设备，用以提高三维模型的重建精度。
[0005]第一方面，本申请实施例提供一种三维模型的重建方法，包括：
[0006]获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像；
[0007]根据各张原始RGB图像，生成相应的原始深度图对应的同分辨率RGB图像；
[0008]根据所述各张原始深度图各自对应的掩码图像，分别对相应的原始深度图和同分辨率RGB图像进行分割，得到相应的目标深度图和目标RGB图像；
[0009]采用训练好的模型，根据各张目标深度图、各张目标RGB图像，获得目标对象的初始几何模型和初始纹理模型；
[0010]对所述初始几何模型进行上采样，得到目标几何模型，并对所述目标几何模型拼缝处的顶点数据进行平滑处理；
[0011]根据所述各个RGBD相机的标定结果，从所述各张原始RGB图像中，获取所述目标几何模型上各个顶点各自的颜色值，得到目标纹理模型；
[0012]根据所述目标几何模型和所述目标纹理模型，重建所述目标对象的三维模型。
[0013]第二方面，本申请实施例提供一种重建终端，包括显示器、存储器、至少一个通信外部接口和处理器，所述显示器、所述存储器、所述至少一个外部通信接口与所述处理器通过总线连接；
[0014]所述存储器存储有计算机程序指令，所述处理器根据所述计算机程序指令执行以下操作：
[0015]通过所述至少一个外部通信接口，获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像；
[0016]根据各张原始RGB图像，生成相应的原始深度图对应的同分辨率RGB图像；
[0017]根据所述各张原始深度图各自对应的掩码图像，分别对相应的原始深度图和同分辨率RGB图像进行分割，得到相应的目标深度图和目标RGB图像；
[0018]采用训练好的模型，根据各张目标深度图、各张目标RGB图像，获得目标对象的初始几何模型和初始纹理模型；
[0019]对所述初始几何模型进行上采样，得到目标几何模型，并对所述目标几何模型拼缝处的顶点数据进行平滑处理；
[0020]根据所述各个RGBD相机的标定结果，从所述各张原始RGB图像中，获取所述目标几何模型上各个顶点各自的颜色值，得到目标纹理模型；
[0021]根据所述目标几何模型和所述目标纹理模型，重建所述目标对象的三维模型，并由所述显示器进行显示。
[0022]第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使重建终端执行本申请实施例提供的三维模型的重建方法。
[0023]本申请的上述实施例中，可适用于普遍的民用级RGBD相机，针对各个RGBD相机采集的原始深度图，生成了对应的同分辨率深度图，并通过掩码图像对原始深度图和同分辨率RGB图像进行分割，采用了训练好的模型，根据分割后的目标深度图和目标RGB图像，得到了初始几何模型和初始纹理模型，由于RGBD相机的深度分辨率较低，所以初始几何模型和初始纹理模型的精度较低。于是，对初始几何模型进行了上采样，得到更精细的目标几何模型，并且对目标几何模型进行了平滑，使目标几何模型更加真实、自然，进一步地，根据各个RGBD相机的标定结果和采集的原始RGB图像，获取目标几何模型上各个顶点各自的颜色值，得到与目标几何模型一致的目标纹理模型。由于RGBD相机的RGB图像的分辨率较高，可以满足高精度模型的重建需求，通过对初始几何模型上采样，这样，将目标几何模型与高分辨率的RGB图像进行纹理映射时，减少了纹理间隙、纹理错位、纹理光照不均匀等问题，无需人工参数，提高了重建效率和纹理精度，进而提高了重建的三维模型的精度。
附图说明
[0024]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1示例性示出了本申请实施例提供的采集系统架构图；
[0026]图2示例性示出了本申请实施例提供的各个RGBD相机的标定方法流程图；
[0027]图3示例性示出了本申请实施例提供的三维模型的重建方法流程图；
[0028]图4示例性示出了本申请实施例提供的深度学习网络模型；
[0029]图5示例性示出了本申请实施例提供的上采样方法流程图；
[0030]图6示例性示出了本申请实施例提供的目标纹理模型的重建过程流程图；
[0031]图7示例性示出了本申请实施例提供的一种重建终端的结构图。
具体实施方式
[0032]为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0033]基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0034]需要说明的是，本申请中对于术语的简要说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型的重建方法，其特征在于，包括：获取已标定的各个RGBD相机同步采集的原始深度图和原始RGB图像；根据各张原始RGB图像，生成相应的原始深度图对应的同分辨率RGB图像；根据所述各张原始深度图各自对应的掩码图像，分别对相应的原始深度图和同分辨率RGB图像进行分割，得到相应的目标深度图和目标RGB图像；采用训练好的模型，根据各张目标深度图、各张目标RGB图像，获得目标对象的初始几何模型和初始纹理模型；对所述初始几何模型进行上采样，得到目标几何模型，并对所述目标几何模型拼缝处的顶点数据进行平滑处理；根据所述各个RGBD相机的标定结果，从所述各张原始RGB图像中，获取所述目标几何模型上各个顶点各自的颜色值，得到目标纹理模型；根据所述目标几何模型和所述目标纹理模型，重建所述目标对象的三维模型。2.如权利要求1所述的方法，其特征在于，在得到所述目标纹理模型之后，重建所述目标对象的三维模型之前，还包括：将预设滑动窗按照设定步长在所述目标几何模型的空间上进行滑动；对连续N个预设滑动窗内的各个顶点的颜色值进行融合，以更新所述目标纹理模型，N为大于等于1的整数。3.如权利要求1所述的方法，其特征在于，所述根据所述各个RGBD相机的标定结果，从所述各张原始RGB图像中，获取所述目标几何模型上各个顶点各自的颜色值，包括：针对所述各个顶点中的每一个顶点，执行以下操作：根据所述各个RGBD相机的标定结果，将所述一个顶点分别投影到各张原始深度图中；将所述一个顶点的深度值分别与所述各张原始深度图中相应像素点的像素值进行比较，并根据比较结果，确定所述一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中；将所述一个顶点投影到所述目标RGBD相机采集的原始RGB图像中，并将投影点的颜色值作为所述一个顶点的颜色值。4.如权利要求3所述的方法，其特征在于，所述将所述一个顶点的深度值分别与所述各张原始深度图中相应像素点的像素值进行比较，并根据比较结果，确定所述一个顶点是否出现在相应的原始深度图对应的目标RGBD相机的视野中，包括：针对各张原始深度图中的每一张原始深度图，执行以下操作：确定所述一个顶点的深度值和所述一张原始深度图中相应像素点的像素值的差值；若所述差值小于预设阈值，则确定所述一个顶点出现在所述一张原始深度图对应的目标RGBD相机的视野中，否则，确定所述一个顶点未出现在所述一张原始深度图对应的目标RGBD相机的视野中。5.如权利要求3所述的方法，其特征在于，当所述一个顶点同时出现在多个目标RGBD相机的视野中时，则通过以下方式确定所述一个顶点的颜色值：分别获取所述一个顶点在各个目标RGBD相机采集的原始RGB图像中的颜色值；对所述一个顶点的各个颜色值进行加权，得到所述一个顶点最终的颜色值。6.如权利要求5所述的方法，其特征在于，所述对所述一个顶点的各个颜色值进行加
权，得到所述一个顶点最终的颜色值，包括：对所述一个顶点在所述各个目标RGBD相机中...

【专利技术属性】
技术研发人员：许瀚誉，张思栋，陈春朋，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：