端到端3D场景重建和图像投影制造技术

本公开提供了端到端三维(3D)场景重建和图像投影的方法和装置。可以获得由一组相机拍摄的一组原始图像。可以通过对场景重建网络和图像增强网络进行联合优化，至少基于所述一组原始图像和所述一组相机的相机参数来重建3D场景。可以获得目标视点。可以通过所述场景重建网络，利用所述3D场景来生成与所述目标视点相对应的投影图像。可以通过所述图像增强网络，将所述投影图像更新为增强投影图像。将所述投影图像更新为增强投影图像。将所述投影图像更新为增强投影图像。

【技术实现步骤摘要】
端到端3D场景重建和图像投影

技术介绍

[0001]三维场景重建(3D scene reconstruction)可以指对客观世界的场景建立适合于计算机表示和处理的3D数学模型的过程，其是在计算机中建立表达客观世界的虚拟现实的关键技术。例如，在基于图像的3D场景重建中，可以利用从不同角度拍摄的多个场景图像、通过预定算法来重建3D信息并再现3D场景。3D场景重建已被广泛地应用于例如工业测量、建筑设计、医学影像、3D动画游戏、虚拟现实(VR)、等等。

技术实现思路

[0002]提供本
技术实现思路
以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本
技术实现思路
并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
[0003]本公开的实施例提出了用于端到端3D场景重建和图像投影的方法和装置。可以获得由一组相机拍摄的一组原始图像。可以通过对场景重建网络和图像增强网络进行联合优化，至少基于所述一组原始图像和所述一组相机的相机参数来重建3D场景。可以获得目标视点。可以通过所述场景重建网络，利用所述3D场景来生成与所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于端到端三维(3D)场景重建和图像投影的方法，包括：获得由一组相机拍摄的一组原始图像；通过对场景重建网络和图像增强网络进行联合优化，至少基于所述一组原始图像和所述一组相机的相机参数来重建3D场景；获得目标视点；通过所述场景重建网络，利用所述3D场景来生成与所述目标视点相对应的投影图像；以及通过所述图像增强网络，将所述投影图像更新为增强投影图像。2.根据权利要求1所述的方法，其中，所述联合优化是至少基于所述场景重建网络的梯度回传机制和所述图像增强网络的梯度回传机制的。3.根据权利要求2所述的方法，其中，所述重建3D场景包括：生成初始3D点集；通过所述场景重建网络，基于所述初始3D点集和所述一组相机中的至少一个相机的相机参数来生成投影图像实例；以及至少基于所述投影图像实例和由所述至少一个相机拍摄的原始图像来产生梯度回传，以优化所述场景重建网络和所述初始3D点集。4.根据权利要求2所述的方法，其中，所述重建3D场景包括：生成显式的3D场景表示。5.根据权利要求4所述的方法，其中，所述生成显式的3D场景表示包括：生成初始3D点集；通过所述场景重建网络中的深度学习模型，基于所述初始3D点集来生成解码3D点集；通过所述场景重建网络中的变换模型，利用所述一组相机中的至少一个相机的相机参数，将所述解码3D点集投影为投影图像实例；以及至少基于所述投影图像实例和由所述至少一个相机拍摄的原始图像来产生梯度回传，以优化所述场景重建网络、所述初始3D点集和所述解码3D点集，其中，所述经优化的解码3D点集对应于所述显式的3D场景表示。6.根据权利要求2所述的方法，其中，所述重建3D场景包括：生成隐式的3D场景表示。7.根据权利要求6所述的方法，其中，所述生成隐式的3D场景表示包括：生成初始3D点集；通过所述场景重建网络中的变换模型，基于所述一组相机中的至少一个相机的相机参数来获得与所述至少一个相机相对应的相机信息；通过所述场景重建网络中的深度学习模型，基于所述初始3D点集和所述相机信息来生成投影图像实例；以及至少基于所述投影图像实例和由所述至少一个相机拍摄的原始图像来产生梯度回传，以优化所述场景重建网络和所述初始3D点集，其中，所述经优化的初始3D点集对应于所述隐式的3D场景表示。8.根据权利要求2所述的方法，还包括：
...

【专利技术属性】
技术研发人员：魏亚楠，张拯，梁耀波，张晓，唐婕，徐涛，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：