场景重建高斯模型生成方法以及场景重建方法技术

技术编号:43418583 阅读:29 留言:0更新日期:2024-11-22 17:52
本发明专利技术公开了一种场景重建高斯模型生成方法以及场景重建方法;包括:根据待训练图像序列确定训练数据,根据训练数据进行高斯模型的训练,生成场景重建高斯模型;根据待训练图像序列确定训练数据,包括:根据待训练图像序列确定点云数据并构建不同层次的锚高斯集合;对待训练图像序列进行分区并确定每个图像分区对应的图像采集装置,对不同层次的锚高斯集合中的锚点进行投影,确定每个图像采集装置的所有可观察锚点,生成每个图像分区的训练集;根据待训练图像序列和三维高斯参数确定训练图像序列中每张待训练图像的约束表达;将图像分区的训练集及约束表达作为训练数据,解决了场景重建质量较差的问题,保证计算效率和重建精度,提高重建质量。

【技术实现步骤摘要】

本专利技术涉及图像处理,尤其涉及一种场景重建高斯模型生成方法以及场景重建方法


技术介绍

1、神经辐射场(neural radiance field,nerf)通过学习一个连续的体积场景函数,将三维坐标和观察方向映射到相应的rgb颜色和体积密度,从而建立三维场景模型。这种方法可以从一组输入图像中合成复杂场景的新视图。

2、三维高斯散射(3d gaussian splatting,3dgs)是神经渲染领域的另一种创新方法,它使用高斯函数来表示体积数据。该技术包括在场景中放置三维高斯核,以近似辐射度和密度的空间分布。更重要的是,3dgs拥有明确的表示方法,可利用光栅化渲染方法进行实时渲染。随后的工作主要集中在提高渲染质量,进一步简化3dgs以提高渲染速度,以及将其应用扩展到反射表面。

3、现有技术中的三维高斯散射在进行场景渲染时,要么侧重于对象级重建,要么难以捕捉复杂的几何曲面,在进行场景重建时重建质量较差。


技术实现思路

1、本专利技术提供了一种场景重建高斯模型生成方法以及场景重建方法,本文档来自技高网...

【技术保护点】

1.一种场景重建高斯模型生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对不同层次的锚高斯集合中的锚点进行投影,确定每个所述图像采集装置的所有可观察锚点,根据投影结果确定每个图像分区对应的所有可观察锚点,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像的约束表达,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据三维高斯参数确定高斯核的最小轴,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据渲染图像及其对应的嵌入确定模...

【技术特征摘要】

1.一种场景重建高斯模型生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对不同层次的锚高斯集合中的锚点进行投影,确定每个所述图像采集装置的所有可观察锚点,根据投影结果确定每个图像分区对应的所有可观察锚点,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像的约束表达,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据三维高斯参数确定高斯核的最小轴,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据渲染图像及其对应的嵌入确定模拟照明图像,包括:

6.根据权利要求3所述的方法,其特征在于,所述根据所述渲染图像、所述模拟照明图像和待训练图像确定外观损失,包括:

7.根据权利要求3所述的...

【专利技术属性】
技术研发人员:陈俊佚叶伟才王一凡黄迪欧阳万里乔宇贺通
申请(专利权)人:上海人工智能创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1