一种基于自监督深度的快速神经辐射场新视角合成方法和系统技术方案

技术编号:41340273 阅读:16 留言:0更新日期:2024-05-20 09:58
本发明专利技术提出一种基于自监督深度的快速神经辐射场新视角合成方法和系统,本发明专利技术涉及计算机视觉领域,本发明专利技术主要针对基于神经辐射场的新视角合成任务,通过将Hash Encoding同时作用在Proposal网络和nerf网络上,提出一种紧凑的NeRF模型,解决重建速度慢的问题。为确保重建精度不下降,本发明专利技术通过提出一种自监督的深度正则项和基于余弦相似性的重建误差损失函数,提升了重建精度,解决了现有方法重建速度和重建精度之间的矛盾。本发明专利技术能够支持高速高质量的神经辐射场重建,为三维重建、虚拟现实等任务提供保障。

【技术实现步骤摘要】

本专利技术属于计算机视觉,尤其涉及一种基于自监督深度的快速神经辐射场新视角合成方法和系统


技术介绍

1、神经辐射场(nerf)是一种用于三维重建的深度学习算法,旨在实现从一系列二维图像中恢复三维场景。由于它的学习能力和准确性,神经辐射场已被广泛应用于新视角合成、计算摄影、虚拟现实等领域。

2、原始的神经辐射场使用多层感知机(mlp)对整个三维场景的辐射场进行建模。由于使用一个超大型的网络,导致训练缓慢,一个简单的场景也需要一天以上的时间。为了解决这一问题,近期一些基于网格的神经辐射场模型极大减小了对多层感知机的依赖,极大提高重建速度。但是相比于纯神经网络模型mipnerf360,这些模型都存在着一定的重建精度下降。该现象在重建无界场景时表现尤为明显。在神经辐射场重建无界场景时,由于重建任务本身的病态性质,很容易出现场景深度重建错误的问题。在视觉上,这种错误表现为浮动物体或模糊的伪影。


技术实现思路

1、为解决现有方法存在提高重建速度时,重建精度下降的技术问题,本专利技术提出一种基于自监督深度的快本文档来自技高网...

【技术保护点】

1.一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述NeRF网络由空间网络和方向网络组成,在所述步骤S35中,包括:

3.根据权利要求2所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,在所述步骤S36中,包括:

4.根据权利要求3所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述深度损失Ldeep的计算公式为:

5.根据权利要求4所述的一种基于自监督深度的快速神经辐射场新视角合成方...

【技术特征摘要】

1.一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述nerf网络由空间网络和方向网络组成,在所述步骤s35中,包括:

3.根据权利要求2所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,在所述步骤s36中,包括:

4.根据权利要求3所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述深度损失ldeep的计算公式为:

5.根据权利要求4所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述总损失l的计算公式为:

6.根据权利要求1所述的一种基于自监督深度的快速神经辐射场新视角合成方法,其特征在于,所述体渲染方程表示为:

7.根据权利要求1所述的一种基于自监督深度的快速...

【专利技术属性】
技术研发人员:朱斌何高湘解博陈熠朱耀轩夏安宁
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1