一种单视角重复对象场景的三维重建方法与系统技术方案

本发明专利技术公开了一种单视角重复对象场景的三维重建方法与系统，方法包括：采集单视角场景图片；处理单视角场景图片方法，实现单实例多视角框架，包括语义分割、位姿估计、图像编码等处理步骤，充分提取数据有效信息；搭建基于SDF函数的神经辐射场重建网络模型；通过各项几何损失与渲染损失监督训练神经辐射场；通过体渲染实现显示三维模型与渲染图片可视化，本发明专利技术针对现有神经辐射场技术不足之处进行改进，极大地提升了重建算法的训练效率和场景重建的整体效果。不仅实现了在单视角图像输入条件下的高保真度场景重建，包括准确的几何形状与细节丰富的纹理，还突破了对稠密视图的依赖，为三维重建技术在多个应用领域中的广泛应用开辟了新的可能性。

【技术实现步骤摘要】

本专利技术涉及单视角图像的三维重建，具体是涉及一种单视角重复对象场景的三维重建方法与系统。

技术介绍

1、基于图像的三维重建技术在理解和互动真实三维世界方面扮演着至关重要的角色，为虚拟现实(vr)、增强现实(ar)和机器人学等众多领域的应用提供了新的可能性。神经辐射场(neural radiance fields，nerf)技术，通过采用体渲染技术，为三维重建任务带来了突破，显著提高了场景的几何细节。在拥有密集视点采集的简单场景中，nerf能够实现高度精确的重建效果，展现了令人印象深刻的能力。然而，它在处理稀疏视角输入的情况时面临挑战，而这正是现实应用场景中常见的问题。在实际情况下，获取密集视点的图像数据往往不现实，使得从单一视角进行三维重建成为计算机视觉领域中的一项具有挑战性的任务。这项任务旨在仅依靠单个摄像头捕获的图像，恢复出场景的三维几何结构和外观，其困难之处在于单个视角提供的信息有限，固有的不确定性和模糊性使得精确重建尤为复杂。

2、为了突破在单视角图像输入下神经辐射场对多视图信息的高依赖性，实现场景的新视角合成及高质量三维重建模型，当本文档来自技高网...

【技术保护点】

1.一种单视角重复对象场景的三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种单视角重复对象场景的三维重建方法，其特征在于，所述预训练语义分割模型为基于Transformer的预训练网络来分割场景中所有的物体实例，得到语义分割信息，根据所述语义分割信息得到物体类别信息，针对N个重复的同类物体并对其在单视图图片中进行裁剪，将单幅场景图像I转换为一组从不同视角拍摄同一物体的对象图像集构造单实例多视角图片补丁训练集。

3.根据权利要求2所述的一种单视角重复对象场景的三维重建方法，其特征在于，所述步骤S103具体为：利用SfM算法获取N个多视角裁剪图片...

【技术特征摘要】

1.一种单视角重复对象场景的三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种单视角重复对象场景的三维重建方法，其特征在于，所述预训练语义分割模型为基于transformer的预训练网络来分割场景中所有的物体实例，得到语义分割信息，根据所述语义分割信息得到物体类别信息，针对n个重复的同类物体并对其在单视图图片中进行裁剪，将单幅场景图像i转换为一组从不同视角拍摄同一物体的对象图像集构造单实例多视角图片补丁训练集。

3.根据权利要求2所述的一种单视角重复对象场景的三维重建方法，其特征在于，所述步骤s103具体为：利用sfm算法获取n个多视角裁剪图片对应的n个相机姿态对齐n个虚拟相机将所有摄像机对准一个参考坐标系{pref}，获得重复对象的6dof姿态：

4.根据权利要求1所述的一种单视角重复对象场景的三维重建方法，其特征在于...

【专利技术属性】
技术研发人员：吕佳俊，丁缘媛，刘勇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：