【技术实现步骤摘要】
本专利技术涉及图像处理,尤其涉及一种场景重建高斯模型生成方法以及场景重建方法。
技术介绍
1、神经辐射场(neural radiance field,nerf)通过学习一个连续的体积场景函数,将三维坐标和观察方向映射到相应的rgb颜色和体积密度,从而建立三维场景模型。这种方法可以从一组输入图像中合成复杂场景的新视图。
2、三维高斯散射(3d gaussian splatting,3dgs)是神经渲染领域的另一种创新方法,它使用高斯函数来表示体积数据。该技术包括在场景中放置三维高斯核,以近似辐射度和密度的空间分布。更重要的是,3dgs拥有明确的表示方法,可利用光栅化渲染方法进行实时渲染。随后的工作主要集中在提高渲染质量,进一步简化3dgs以提高渲染速度,以及将其应用扩展到反射表面。
3、现有技术中的三维高斯散射在进行场景渲染时,要么侧重于对象级重建,要么难以捕捉复杂的几何曲面,在进行场景重建时重建质量较差。
技术实现思路
1、本专利技术提供了一种场景重建高斯模型生成方
...【技术保护点】
1.一种场景重建高斯模型生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对不同层次的锚高斯集合中的锚点进行投影,确定每个所述图像采集装置的所有可观察锚点,根据投影结果确定每个图像分区对应的所有可观察锚点,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像的约束表达,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据三维高斯参数确定高斯核的最小轴,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据渲染图像
...【技术特征摘要】
1.一种场景重建高斯模型生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对不同层次的锚高斯集合中的锚点进行投影,确定每个所述图像采集装置的所有可观察锚点,根据投影结果确定每个图像分区对应的所有可观察锚点,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像的约束表达,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据三维高斯参数确定高斯核的最小轴,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据渲染图像及其对应的嵌入确定模拟照明图像,包括:
6.根据权利要求3所述的方法,其特征在于,所述根据所述渲染图像、所述模拟照明图像和待训练图像确定外观损失,包括:
7.根据权利要求3所述的...
【专利技术属性】
技术研发人员:陈俊佚,叶伟才,王一凡,黄迪,欧阳万里,乔宇,贺通,
申请(专利权)人:上海人工智能创新中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。