可扩展的大场景三维重建方法、装置、设备及存储介质制造方法及图纸

技术编号:42392306 阅读:11 留言:0更新日期:2024-08-16 16:17
本发明专利技术公开了一种可扩展的大场景三维重建方法、装置、设备及存储介质,使用NeRF模型中增设的全局网络对不同场景的多视角图像以及对应的位姿信息进行全局捕获,得到大场景的几何结构;使用NeRF模型中增设的局部网络对不同场景的多视角图像以及对应的位姿信息进行局部捕获,得到大场景中不同场景的的体密度;利用外观嵌入网络对大场景中不同场景的多视角图像进行外观特征提取,得到大场景中不同场景的外观特征;使用NeRF模型中增设的全局网络将大场景中不同场景的的体密度以及大场景中不同场景的外观特征转换为大场景中不同场景的局部细节特征;使用NeRF模型中增设的全局网络对大场景的几何结构以及大场景中不同场景的局部细节特征进行融合。本发明专利技术能够有效解决大场景三维重建中的计算瓶颈、场景细节丢失以及光照适应性问题。

【技术实现步骤摘要】

本专利技术属于计算机视觉和三维重建领域,涉及一种可扩展的大场景三维重建方法、装置、设备及存储介质


技术介绍

1、随着计算机视觉和机器学习技术的快速发展,三维重建作为一种从二维图像序列或单一视角图像推断三维空间结构的重要手段,在虚拟现实、增强现实、电影制作、城市规划、无人驾驶等多个领域展现出巨大的应用价值。特别是在大规模场景的三维重建任务中,传统的基于结构化的三维重建方法往往受限于传感器范围、场景遮挡以及大量数据处理的复杂性,无法有效应对大规模场景的高精度重建需求。

2、近年来,神经辐射场(neural radiance fields,nerf)方法因其能够以连续的方式表示三维场景的颜色和密度信息而在三维重建领域引起了广泛关注。nerf通过训练一个深度神经网络,能够从任意视角精确地渲染场景,从而实现照片级的真实感重建效果。然而,直接应用于大场景三维重建时,nerf及其衍生算法面临着严峻的挑战:

3、1.计算复杂性:随着场景规模的增大,nerf所需的计算资源呈指数增长,训练和渲染的时间成本极高,尤其是在单个gpu上处理大规模场景时,模本文档来自技高网...

【技术保护点】

1.一种可扩展的大场景三维重建方法,其特征在于,包括:

2.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述使用NeRF模型中增设的局部网络对不同场景的多视角图像以及对应的位姿信息进行局部捕获,得到大场景中不同场景的体密度,具体为:

3.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述利用外观嵌入网络对所述大场景中不同场景的多视角图像进行外观特征提取,得到大场景中不同场景的外观特征,具体为:

4.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述使用NeRF模型中增设的全局网络对所述大场景的几何...

【技术特征摘要】

1.一种可扩展的大场景三维重建方法,其特征在于,包括:

2.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述使用nerf模型中增设的局部网络对不同场景的多视角图像以及对应的位姿信息进行局部捕获,得到大场景中不同场景的体密度,具体为:

3.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述利用外观嵌入网络对所述大场景中不同场景的多视角图像进行外观特征提取,得到大场景中不同场景的外观特征,具体为:

4.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述使用nerf模型中增设的全局网络对所述大场景的几何结构以及所述大场景中不同场景的局部细节特征进行融合,具体为:

5.根据权利要求1所述的一种可扩展的大场景三维重建方法,其特征在于,所述nerf模型中增设的全局网络是10层的mlp网络,第一层以及最后一层分别对应为输入和输出,第二层到第八层宽度为256,第九层宽度为...

【专利技术属性】
技术研发人员:李智杰李云鹏李昌华高元薛靖裕介军
申请(专利权)人:西安建筑科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1