基于三维高斯的三维场景生成与编辑方法、系统技术方案

技术编号:42587411 阅读:23 留言:0更新日期:2024-09-03 18:04
本发明专利技术涉及三维建模技术领域,公开了一种基于三维高斯的三维场景生成与编辑方法。其中,三维场景生成方法包括:将用户指定的文本内容扩展为对应场景中所包含物体的指示文本和场景的详细描述;通过基于三维高斯的三维物体生成方法生成各指示文本对应的物体的三维高斯模型;完成整个场景的初始化;对场景三维高斯模型进行中期迭代优化;通过得到的一组相机位姿将中期迭代优化后的场景三维高斯模型渲染一组二维图像;使用伪真实图像对中期迭代优化后的场景三维高斯模型进行监督优化。通过多时间步采样对二维文生图扩散模型进行蒸馏,在优化中能够兼顾场景中的物体特征与空间特征,保证场景一致的优化。

【技术实现步骤摘要】

本专利技术涉及三维建模,具体涉及一种基于三维高斯的三维场景生成与编辑方法、系统


技术介绍

1、三维场景生成是人工智能生成任务中三维内容生成的一个重要方向,利用人工智能自动生成三维场景,能够提高三维资产的创建效率和降低三维资产的创建难度,在游戏制作、混合现实、设计装修等领域中能够发挥重要作用。近来,相关的最新研究成果已经引起学术界与工业界广泛的兴趣。目前的文本驱动三维场景生成主要可以分为基于图像补全的三维场景生成方法以及基于三维模型组合的三维场景生成方法。

2、基于图像补全完成三维场景生成的方法可以在有限范围和角度上呈现出逼真的视觉效果,但其生成场景的三维一致性有限,即使微小的观察视角变化也可能导致场景的视觉完整性崩溃,这表示此类方法缺乏鲁棒性。text2room、text2nerf等方法从初始化一张图像开始,对图像进行部分掩蔽来模拟相邻视角的视图,他们利用预训练的图像修复模型和深度估计模型来补全被掩蔽的图像区块并推断其深度,从而通过深度信息和图像对齐的迭代过程生成完整的三维场景。因此,在超出预定义的相机采样区域时,此类方法生成的三维场景在渲染本文档来自技高网...

【技术保护点】

1.一种基于三维高斯的三维场景生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于三维高斯的三维场景生成方法,其特征在于,步骤三中,所述基于物体的三维高斯模型,使用预定义的环境初始化方法初始化场景的环境三维高斯模型与地面三维高斯模型,具体包括:

3.根据权利要求1所述的基于三维高斯的三维场景生成方法,其特征在于,步骤三中,所述使用预定义的三维高斯点仿射变换方法,根据用户指定的场景内容布局,将环境三维高斯模型、地面三维高斯模型与物体三维高斯模型组合到一个场景三维高斯模型中,完成整个场景的初始化,具体包括:

4.根据权利要求1所述的基于三维高...

【技术特征摘要】

1.一种基于三维高斯的三维场景生成方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于三维高斯的三维场景生成方法,其特征在于,步骤三中,所述基于物体的三维高斯模型,使用预定义的环境初始化方法初始化场景的环境三维高斯模型与地面三维高斯模型,具体包括:

3.根据权利要求1所述的基于三维高斯的三维场景生成方法,其特征在于,步骤三中,所述使用预定义的三维高斯点仿射变换方法,根据用户指定的场景内容布局,将环境三维高斯模型、地面三维高斯模型与物体三维高斯模型组合到一个场景三维高斯模型中,完成整个场景的初始化,具体包括:

4.根据权利要求1所述的基于三维高斯的三维场景生成方法,其特征在于,步骤s41中,所述使用预定义的相机采样策略采样相机位姿,使用预定义的渲染方法在迭代过程中对场景三维高斯模型进行二维图像的渲染,具体包括:

5.根据权利要求4所述的基于三维高斯的三维场景生成方法,其特征在于,步骤五中,所述根据预定义的相机...

【专利技术属性】
技术研发人员:史昊霖李浩冉廖勇孙玮吴曼青
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1