三维重建方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种三维重建方法、装置、设备、计算机程序产品及计算机可读存储介质；方法包括：获取多个待处理图像；将各个待处理图像确定为参考图像，并从除参考图像之外的其他待处理图像中确参考图像对应的多个源图像，获取训练好的三维重建模型，训练好的三维重建模型是利用联合损失函数训练得到的，联合损失函数至少包括图像级对比一致性损失函数分量和场景级一致性损失函数分量；利用三维重建模型对参考图像和参考图像对应的多个源图像进行预测处理，得到参考图像的深度估计图；基于各个参考图像的深度估计图和各个参考图像进行三维重建，得到所述目标对象的三维点云数据。通过本申请，能够提高三维重建的准确性。能够提高三维重建的准确性。能够提高三维重建的准确性。

【技术实现步骤摘要】
三维重建方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种三维重建方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]多视点三维重建(Multi
‑
view Stereo)，是从多视角拍摄的同场景照片中恢复场景三维几何结构的技术。在相关技术中，每次选取一个视角的照片和它相邻视角的照片提供的信息，通过稠密匹配和对极约束来估计该视角上的逐像素深度图。深度表示像素点所代表的三维空间点到相机中心的距离。在得到所有视角的深度图之后，通过光度一致性先验和几何一致性先验过滤掉其中的不可靠点，将剩下的可靠点重投影到世界坐标系下，得到场景的三维点云表示。也即将复杂的场景重建问题解耦成简单的逐视角深度估计问题，降低了重建过程中的算力和存储需求。近年来的端到端的无监督多目三维重建算法取得了巨大进展，和有监督算法的性能差距也在不断缩小。现有的无监督方法主要依靠光度一致性来提供监督信号，但是这种光度一致性假设并不总是可靠。比如说在弱纹理、光反射的区域，这种监督信号就失效了，甚至会误导模型，导致性能下降。...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取多个待处理图像，所述多个待处理图像是从多个不同视角对目标对象进行图像采集得到的；将各个待处理图像确定为参考图像，并确定所述参考图像对应的多个源图像；获取训练好的三维重建模型，所述训练好的三维重建模型是利用联合损失函数训练得到的，所述联合损失函数至少包括图像级对比一致性损失函数分量和场景级一致性损失函数分量；利用所述三维重建模型对所述参考图像和所述参考图像对应的多个源图像进行预测处理，得到所述参考图像的深度估计图；基于所述各个参考图像的深度估计图和所述各个参考图像进行三维重建，得到所述目标对象的三维点云数据。2.根据权利要求1中所述的方法，其特征在于，所述方法还包括：获取预设的三维重建模型和训练数据集，所述训练数据集中包括多个训练图像；基于所述多个训练图像构建常规样本集、图像级对比样本集和场景级对比样本集；利用所述三维重建模型分别对所述常规样本集、所述图像级对比样本集和所述场景级对比样本集进行预测处理，对应得到第一深度估计图、第二深度估计图、第三深度估计图；获取所述三维重建模型的联合损失函数；利用所述联合损失函数、所述第一深度估计图、所述第二深度估计图和第三深度估计图对所述三维重建模型进行训练，得到训练好的三维重建模型。3.根据权利要求2中所述的方法，其特征在于，所述基于所述多个训练图像构建常规样本集、图像级对比样本集和场景级对比样本集，包括：从所述多个训练图像中确定训练参考图像，并确定所述训练参考图像与各个其他训练图像之间的重叠区域信息，所述其他训练图像为出所述训练参考图像之外的其他训练图像；将所述各个其他训练图像按照重叠区域信息从大到小的顺序进行排列，将从排序后的前N
‑
1个其他训练图像确定为第一训练源图像，N为大于1的正整数；将所述训练参考图像和N
‑
1个第一训练源图像构建常规样本集；对所述各个第一训练源图像进行随机像素级遮挡处理，得到各个第二训练源图像；将所述训练参考图像和所述各个第二训练源图像构建图像级对比样本集；从排序后的前M个其他训练图像中随机选择N
‑
1个第三训练源图像，M为大于N的正整数；将所述训练参考图像和所述N
‑
1个第三训练源图像确定为场景级对比样本集。4.根据权利要求3中所述的方法，其特征在于，所述对所述各个第一训练源图像进行随机像素级遮挡处理，得到各个第二训练源图像，包括：获取针对源图像的遮挡率；基于所述遮挡率和伯努利分布，确定第一掩码图；利用所述第一掩码图，对所述各个第一训练源图像进行掩码处理，得到各个第二训练源图像。5.根据权利要求3中所述的方法，其特征在于，所述三维重建模型包括特征提取层、代
价体正则化层、归一化层和深度估计层，对应地，利用所述三维重建模型对所述常规样本集进行预测处理，对应得到第一深度估计图，包括：利用所述特征提取层分别对所述训练参考图像和N
‑
1个第一训练源图像进行特征提取，得到所述训练参考图像和N
‑
1个第一训练源图像分别对应的多个不同分辨率的特征图；获取最高分辨率的特征图对应的多个第一深度假设值，对所述训练参考图像和N
‑
1个第一训练源图像分别对应的最高分辨率的特征图进行可微单应性变换，得到N个第一特征体，所述最高分辨率的特征图对应的多个第一深度假设值是基于第二高分辨率的特征图对应的深度估计图确定的；基于所述N个第一特征体生成第一代价体，并利用所述代价体正则化层对所述第一代价体进行正则化处理的到第一正则化代价体；利用所述归一化层对所述第一正则化代价体进行归一化处理，得到第一概率体；利用所述深度估计层，基于所述多个第一深度假设值和所述第一概率体进行深度估计，得到第一深度估计图。6.根据权利要求5中所述的方法，其特征在于，所述方法还包括：获取最低分辨率的特征图对应的多个第二深度假设值，对所述训练参考图像和N
‑
1个第一训练源图像分别对应的最低分辨率的特征图进行可微单应性变换，得到N个第二特征体；基于所述N个第二特征体生成第二代价体，并利用所述代价体正则化层对所述第二代价体进行正则化处理的到第二正则化代价体；利用所述归一化层对所述第二正则化代价体进行归一化处理，得到第二概率体；利用所述深度估计层，基于所述多个第二深度假设值和所述第二概率体进行深度估计，得到最低分辨率特征图的深度估计图；基于所述最低分辨率特征图的深度估计图，确定第二低分辨率特征图对应的多个第三深度假设值。7.根据权利要求2中所述的方法，其特征在于，所述方法还包括：获取L0.5范数的光度一致性损失函数分量和所述L0.5范数的光度一致性损失函数分量对应的第一权重，其中，所述L0.5范数的光度一致性损失函数分量能够约束重建图像...

【专利技术属性】
技术研发人员：熊凯强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：