一种基于误差感知的多视图三维重建方法、介质及设备技术

本发明专利技术提供了一种基于误差感知的多视图三维重建方法、介质及设备；其中方法为：获取多视图图像；提取出K种不同尺度的多视图特征；采用包括K个阶段的深度预测模型分别对多视图特征进行处理；每个阶段对应一种尺度的多视图特征；各个阶段的分步骤分别包括可微分单应变换、代价体聚合、代价体正则化和深度回归；基于最后一个阶段得到的预测深度图，完成三维重建。该方法采用误差感知深度表示，将深度信息解耦为相对于深度假设平面的置信度和偏移量，并关注于不同的深度假设平面的挖掘与利用，使得模型具备误差感知能力以进行更为精确的深度估计，进而得到更为准确且完整的三维场景表示。

【技术实现步骤摘要】

本专利技术涉及多视图三维重建，更具体地说，涉及一种基于误差感知的多视图三维重建方法、介质及设备。

技术介绍

1、多视图三维重建是基础的3d计算机视觉任务之一，该任务以为多视图的rgb图像和对应的相机位姿作为输入，旨在恢复出准确且完整的三维场景表示,在自动驾驶、虚拟现实、城市规划、文物保护等方面有着广泛的应用。

2、多视图三维重建方法根据输出的形式可以分为基于点云的方法、基于体素的方法、基于mesh的方法和基于深度图的方法。其中基于深度图的方法将三维场景重建问题从3d空间降低为2d空间的深度估计问题，较大减少了计算量和资源消耗，并且深度图作为三维重建的中间表示，能够灵活的应用于不同的下游任务中，是多视图三维重建的主流技术方案。基于深度图的多视图三维重建方法主要分为深度估计和深度图融合两步，完成场景所有视角的深度估计后，结合相机参数对所有预测深度图进行融合，从而得到场景对应的三维点云表示。

3、早期多视图三维重建采用传统方法，特征提取和特征匹配等步骤依赖于手工设计的特征和相似度度量，在非朗博表面和弱纹理区域等场景下泛化能力较差，为了解决本文档来自技高网...

【技术保护点】

1.一种基于误差感知的多视图三维重建方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述可微分单应变换中，对于N个多视图特征以特征F0为参考视角，基于一系列深度假设平面将所有原始视角特征分别变换到参考视角下，得到变换后的特征

3.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述代价体聚合中，对于变换后的特征先将每个特征分别与特征V0计算相似度的匹配代价，然后通过一个子网络学习出对应的权重ωi并对匹配代价进行加权，将所有的匹配代价进行加权求和，得到最终的代价体C：>

4.根据权利...

【技术特征摘要】

1.一种基于误差感知的多视图三维重建方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述可微分单应变换中，对于n个多视图特征以特征f0为参考视角，基于一系列深度假设平面将所有原始视角特征分别变换到参考视角下，得到变换后的特征

3.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述代价体聚合中，对于变换后的特征先将每个特征分别与特征v0计算相似度的匹配代价，然后通过一个子网络学习出对应的权重ωi并对匹配代价进行加权，将所有的匹配代价进行加权求和，得到最终的代价体c：

4.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述代价体正则化中，利用3d unet对代价体c进行正则化；3d unet包括编码部分和解码部分；编码部分对代价体c进行三次下采样，并在解码部分逐渐进行上采样与多尺度特征融合，最后生成误差感知深度表示的置信度与偏移量

5.根据权利要求1所述的基于误差感知的多视图三维重建方法，其特征在于：所述深度回归中，对于多视图特征中的特征f0每个像素点p,每个深度假设平面的深度值hj加上偏移量得到深度假设平面对应的预测深度值对于每个像素点p的所有深度假设平面，选择置信度最高的深度假设平面对应的预测深度值作为像素点p的预测深度值

6.根据权利要求5所述的基于误差感知的多视图三维重建方法，其特征在于：所述深度预测模型的训练过程中，计...

【专利技术属性】
技术研发人员：谷文聪，康文雄，赵学艳，郭键琳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：