物体三维重建方法和装置制造方法及图纸

本公开实施例公开了一种物体三维重建方法和装置

【技术实现步骤摘要】
物体三维重建方法和装置、电子设备和存储介质


[0001]本公开涉及三维重建
，尤其是一种物体三维重建方法和装置
、
电子设备和存储介质
。

技术介绍

[0002]多视角三维重建方法，如基于预测
/
激光
/
结构光采集的深度
、
点云
、
泊松重建和贴图方法，对于弱纹理
/
反光
/
复杂结构的物体较难建模，受限于昂贵的拍摄设备和拍摄环境
。
而基于神经网络的隐式三维重建方法，可以从其隐式场中导出白模模型，然而模型上对应的颜色信息无法直接导出，此类方法只能渲染得到最终的带颜色的图片，而无法得到带颜色的三维模型
。
[0003]在对物体进行三维重建时，如何准确地得到带有颜色的三维模型，是一个亟待解决的问题
。

技术实现思路

[0004]本公开实施例提供一种物体三维重建方法和装置
、
电子设备和存储介质，以解决上述问题
。
[0005]本公开实施例的第一方面，提供一种物体三维重建方法，包括：
[0006]获取目标物体表面的像素点集合在预设三维坐标系下的三维坐标集合，并获取在所述预设坐标系下虚拟相机分别朝向所述像素点集合中所有像素点的相机视线集合；
[0007]利用颜色预测模型中的漫反射颜色预测网络对所述三维坐标集合进行处理，得到所述像素点集合的漫反射颜色值集合，并利用所述颜色预测模型中的镜面反射颜色预测网络对所述三维坐标集合和所述相机视线集合进行处理，得到所述像素点集合的镜面反射颜色值集合；
[0008]基于所述目标物体的三维结构模型
、
所述漫反射颜色值集合和所述镜面反射颜色值集合，确定所述目标物体的三维结构颜色模型
。
[0009]在本公开的一个实施例中，所述获取在所述预设坐标系下虚拟相机分别朝向所述像素点集合中所有像素点的相机视线集合，包括：
[0010]获取虚拟相机在所述预设坐标系下的相机三维坐标；
[0011]基于所述相机三维坐标和所述三维坐标集合，确定所述相机视线集合；
[0012]其中，所述虚拟相机朝向所述像素点集合中任一像素点的相机视线通过以下方式得到：基于所述相机三维坐标和所述任一像素点的像素三维坐标，确定所述虚拟相机朝向所述任一像素点的相机视线
。
[0013]在本公开的一个实施例中，在所述利用颜色预测模型中的漫反射颜色预测网络对所述三维坐标集合进行处理，得到所述像素点集合的漫反射颜色值集合，并利用所述颜色预测模型中的镜面反射颜色预测网络对所述三维坐标集合和所述相机视线集合进行处理，得到所述像素点集合的镜面反射颜色值集合之前，还包括：
[0014]基于漫反射颜色参数和镜面反射颜色参数，确定所述颜色预测模型的颜色监督损失函数；
[0015]获取所述颜色预测模型的约束代价函数；
[0016]基于所述颜色监督损失函数和所述约束代价函数，确定所述颜色预测模型的最终损失函数；
[0017]在所述最终损失函数的约束下，基于样本像素点的三维坐标，以及所述样本像素点的漫反射颜色标签和漫反射颜色标签，训练所述颜色预测模型
。
[0018]在本公开的一个实施例中，所述获取所述颜色预测模型的约束代价函数，包括：
[0019]基于漫反射颜色与真实漫反射颜色之间的差值，确定所述约束代价函数
。
[0020]在本公开的一个实施例中，所述获取所述颜色预测模型的约束代价函数，包括：
[0021]基于所述镜面反射颜色参数，确定所述约束代价函数
。
[0022]在本公开的一个实施例中，所述获取所述颜色预测模型的约束代价函数，包括：
[0023]基于在不同视角下观测所述目标物体表面同一位置点的漫反射颜色差值，确定所述约束代价函数
。
[0024]在本公开的一个实施例中，所述目标物体的三维结构模型是采用等值面提取方法对所述目标物体进行三维重建得到的
。
[0025]本公开实施例的第二方面，提供一种物体三维重建装置，包括：
[0026]信息获取模块，用于获取目标物体表面的像素点集合在预设三维坐标系下的三维坐标集合，并获取在所述预设坐标系下虚拟相机分别朝向所述像素点集合中所有像素点的相机视线集合；
[0027]模型处理模块，用于利用颜色预测模型中的漫反射颜色预测网络对所述三维坐标集合进行处理，得到所述像素点集合的漫反射颜色值集合，并利用所述颜色预测模型中的镜面反射颜色预测网络对所述三维坐标集合和所述相机视线集合进行处理，得到所述像素点集合的镜面反射颜色值集合；
[0028]颜色模型确定模块，用于基于所述目标物体的三维结构模型
、
所述漫反射颜色值集合和所述镜面反射颜色值集合，确定所述目标物体的三维结构颜色模型
。
[0029]在本公开的一个实施例中，所述信息获取模块用于获取虚拟相机在所述预设坐标系下的相机三维坐标，基于所述相机三维坐标和所述三维坐标集合，确定所述相机视线集合；其中，所述虚拟相机朝向所述像素点集合中任一像素点的相机视线通过以下方式得到：基于所述相机三维坐标和所述任一像素点的像素三维坐标，确定所述虚拟相机朝向所述任一像素点的相机视线
。
[0030]在本公开的一个实施例中，所述物体三维重建装置，还包括：
[0031]模型训练模块，用于基于漫反射颜色参数和镜面反射颜色参数，确定所述颜色预测模型的颜色监督损失函数，基于所述颜色监督损失函数和所述约束代价函数，确定所述颜色预测模型的最终损失函数，在所述最终损失函数的约束下，基于样本像素点的三维坐标，以及所述样本像素点的漫反射颜色标签和漫反射颜色标签，训练所述颜色预测模型
。
[0032]在本公开的一个实施例中，所述模型训练模块用于基于漫反射颜色与真实漫反射颜色之间的差值，确定所述约束代价函数
。
[0033]在本公开的一个实施例中，所述模型训练模块用于基于所述镜面反射颜色参数，
确定所述约束代价函数
。
[0034]在本公开的一个实施例中，所述模型训练模块用于基于在不同视角下观测所述目标物体表面同一位置点的漫反射颜色差值，确定所述约束代价函数
。
[0035]在本公开的一个实施例中，所述目标物体的三维结构模型是采用等值面提取方法对所述目标物体进行三维重建得到的
。
[0036]本公开实施例的第三方面，提供一种电子设备，包括：
[0037]存储器，用于存储计算机程序产品；
[0038]处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述第一方面所述的方法
。
[0039]本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种物体三维重建方法，其特征在于，包括：获取目标物体表面的像素点集合在预设三维坐标系下的三维坐标集合，并获取在所述预设坐标系下虚拟相机分别朝向所述像素点集合中所有像素点的相机视线集合；利用颜色预测模型中的漫反射颜色预测网络对所述三维坐标集合进行处理，得到所述像素点集合的漫反射颜色值集合，并利用所述颜色预测模型中的镜面反射颜色预测网络对所述三维坐标集合和所述相机视线集合进行处理，得到所述像素点集合的镜面反射颜色值集合；基于所述目标物体的三维结构模型
、
所述漫反射颜色值集合和所述镜面反射颜色值集合，确定所述目标物体的三维结构颜色模型
。2.
根据权利要求1所述的方法，其特征在于，所述获取在所述预设坐标系下虚拟相机分别朝向所述像素点集合中所有像素点的相机视线集合，包括：获取虚拟相机在所述预设坐标系下的相机三维坐标；基于所述相机三维坐标和所述三维坐标集合，确定所述相机视线集合；其中，所述虚拟相机朝向所述像素点集合中任一像素点的相机视线通过以下方式得到：基于所述相机三维坐标和所述任一像素点的像素三维坐标，确定所述虚拟相机朝向所述任一像素点的相机视线
。3.
根据权利要求1所述的方法，其特征在于，在所述利用颜色预测模型中的漫反射颜色预测网络对所述三维坐标集合进行处理，得到所述像素点集合的漫反射颜色值集合，并利用所述颜色预测模型中的镜面反射颜色预测网络对所述三维坐标集合和所述相机视线集合进行处理，得到所述像素点集合的镜面反射颜色值集合之前，还包括：基于漫反射颜色参数和镜面反射颜色参数，确定所述颜色预测模型的颜色监督损失函数；获取所述颜色预测模型的约束代价函数；基于所述颜色监督损失函数和所述约束代价函数，确定所述颜色预测模型的最终损失函数；在所述最终损失函数的约束下，基于样本像素点的三维坐标，以及所述样本像素点的漫反射颜色标签和漫反射颜色标签，训练所述颜色预测模型
。4.
根据权利要求3所述的方法...

【专利技术属性】
技术研发人员：李臻，饶童，潘慈辉，
申请(专利权)人：如你所视北京科技有限公司，
类型：发明
国别省市：