一种基于生成式神经辐射场的三维重建方法技术

技术编号:40520120 阅读:22 留言:0更新日期:2024-03-01 13:38
本发明专利技术公开了一种基于生成式神经辐射场的三维重建方法,涉及计算机视觉技术领域,主要包括步骤:基于当前已知视点处随机采样点的隐向量和初始方向向量,分别获取附加有仿射方向和特征方向的隐向量;进行外置解耦图像和内置解耦图像的获取;通过重构器对外置解耦图像和基准图像进行重构并通过重建损失函数进行基于初始方向向量监督下的重构器训练;通过解码器对内置解耦图像进行解码并通过内外解耦损失函数进行内置解耦和外置解耦之间的协调训练;进行生成器与辨别器之间的动态对抗训练。本发明专利技术提出了在三维重建场景中引入细粒度解耦的方法,在保证场景重建精确性和高效性的同时增强了场景的可控制性和可解释性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,具体涉及一种基于生成式神经辐射场的三维重建方法


技术介绍

1、三维重建旨在通过一定量的先验数据,重构适合计算机处理的数学模型来表征三维物体,是数字化表达客观世界的关键技术。随着计算机视觉技术的快速发展和深度学习框架的支持,基于视觉信息的三维重建成为了该领域的重要研究方向。这类数字化重建方法是指通过摄像头、相机、扫描传感器等视觉传感器获得若干位置视点信息,并根据这些信息进行新视点合成,最终实现三维渲染和重建。除了在学术领域如医学仿真建模、结构力学分析、地质模型构建等方面发挥重要作用,数字化重建技术也成为了新兴工业领域的基础研究,如数字孪生、3d打印、流水线可视化等。

2、近年来,三维重建技术的研究和应用得到了快速的发展,但仍然面临着许多问题。国内外传统的三维重建方法,主要依赖于建模工程师以及各种专业建模软件。这些软件基于几何算法,便于建立形状规则或变化规律的几何模型。但对于构建不规则的几何形状如流体结构和人体模型,以及高精度结构如工业部件重建等,人工重建往往需要大量建模时间来提高模型精确度。区别于传统的人工重建,新兴的本文档来自技高网...

【技术保护点】

1.一种基于生成式神经辐射场的三维重建方法,其特征在于,生成式对抗模型的生成器中含有与神经映射网络输出相连的神经辐射场,具体包括步骤:

2.如权利要求1所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述S1步骤中,通过对随机采样点施加扰动,并基于扰动后图像与原始图像之间的扰动比对获取初始方向向量。

3.如权利要求1所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述S1步骤中,通过对隐向量与初始方向向量进行仿射变换获得附加有仿射方向的隐向量。

4.如权利要求3所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述A3步骤中...

【技术特征摘要】

1.一种基于生成式神经辐射场的三维重建方法,其特征在于,生成式对抗模型的生成器中含有与神经映射网络输出相连的神经辐射场,具体包括步骤:

2.如权利要求1所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述s1步骤中,通过对随机采样点施加扰动,并基于扰动后图像与原始图像之间的扰动比对获取初始方向向量。

3.如权利要求1所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述s1步骤中,通过对隐向量与初始方向向量进行仿射变换获得附加有仿射方向的隐向量。

4.如权利要求3所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述a3步骤中,还会通过重建损失函数进行基于初始方向向量监督下的仿射变换训练。

5.如权利要求1所述的一种基于生成式神经辐射场的三维重建方法,其特征在于,所述a3步骤中...

【专利技术属性】
技术研发人员:金鑫谢巴奥曾文军
申请(专利权)人:宁波数字孪生东方理工研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1