基于生成对抗策略和高斯溅射的新视角合成方法及系统技术方案

技术编号:44210315 阅读:17 留言:0更新日期:2025-02-06 18:42
本申请公开了一种基于生成对抗策略和高斯溅射的新视角合成方法及系统,所述方法包括:获取重建场景视角下的场景图像;基于预先构建的高斯溅射模型,根据所述场景图像得到迭代后的中间渲染图像;构建生成对抗模型的判别器,将所述高斯溅射模型作为所述生成对抗模型的生成器,基于所述判别器和生成器,根据所述场景图像和所述中间渲染图像对所述高斯溅射模型进行训练,得到经过优化的高斯溅射模型;获取目标相机位姿,并将所述目标相机位姿输入至经过优化的所述高斯溅射模型,得到目标场景图像。本申请能够减少渲染结果中的视觉伪影,并更好的拟合场景中的细节部分,增强场景细节的渲染效果。

【技术实现步骤摘要】

本申请涉及新视角合成,尤其涉及一种基于生成对抗策略和高斯溅射的新视角合成方法及系统


技术介绍

1、三维场景建模是虚拟现实、增强现实、自动驾驶等领域的重要需求,随着这些领域的快速发展,对三维场景建模的效率和准确性提出了更高的要求。新视角合成技术是三维场景建模的核心问题之一,它的目标是利用不同视角的二维图像及其相机参数信息作为输入,通过对场景的几何、外观、光照等属性进行建模,合成一个三维场景,然后渲染出新视角图像。传统的视图合成技术主要采用网格、点云和体素三种场景表示方式,它们各有优缺点,也存在一些共同的局限性:网格和点云表示方式通常需要大量的数据和计算资源,而体素表示方式则无法很好地处理细节和复杂的场景。

2、神经辐射场(neural radiance fields,nerf)是计算机图形学和三维场景重建领域的一项新技术,它能够从稀疏的输入视角集合中合成逼真的场景,开创新视角合成任务的新范式。但是这也带来了代价:神经辐射场类方法计算密集,通常需要长时间的训练和大量的资源进行渲染,尤其是对于高分辨率的输出。因此,尽管神经辐射场在图像合成方面取得了本文档来自技高网...

【技术保护点】

1.一种基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述基于生成对抗策略和高斯溅射的新视角合成方法包括:

2.根据权利要求1所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述根据所述场景图像得到迭代后的中间渲染图像,具体包括:

3.根据权利要求1所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述基于所述判别器和生成器,根据所述场景图像和所述中间渲染图像对所述高斯溅射模型进行训练,得到经过优化的高斯溅射模型,具体包括:

4.根据权利要求3所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述判别器包...

【技术特征摘要】

1.一种基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述基于生成对抗策略和高斯溅射的新视角合成方法包括:

2.根据权利要求1所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述根据所述场景图像得到迭代后的中间渲染图像,具体包括:

3.根据权利要求1所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述基于所述判别器和生成器,根据所述场景图像和所述中间渲染图像对所述高斯溅射模型进行训练,得到经过优化的高斯溅射模型,具体包括:

4.根据权利要求3所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述判别器包括第一全连接层、多层感知器混合层、全局池化层和第二全连接层;

5.根据权利要求3所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,所述生成对抗模型的损失函数表示为:

6.根据权利要求3所述的基于生成对抗策略和高斯溅射的新视角合成方法,其特征在于,经过优化的所述高斯溅射模型...

【专利技术属性】
技术研发人员:王鸿鹏杨子巍
申请(专利权)人:哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1