场景重建方法、装置、电子设备、存储介质及产品制造方法及图纸

技术编号:43134818 阅读:18 留言:0更新日期:2024-10-29 17:40
本申请提供一种场景重建方法、装置、电子设备、存储介质及产品。涉及视觉计算技术领域。该方法包括:根据待重建场景获取第一图片,第一图片中存在至少一张含有遮挡信息的图片;将第一图片输入场景重建模型得到第一点云;其中,场景重建模型包括遮挡预测器、球谐系数预测器和三维高斯模型;遮挡预测器用于提取第一图片中的遮挡信息所对应的外观编码信息;球谐系数预测器用于根据外观编码信息得到三维高斯模型的残差球谐系数,残差球谐系数用于叠加至三维高斯模型当前的球谐系数,以更新三维高斯模型;将待重建场景对应的点云输入图形处理单元进行光栅化渲染,得到待重建场景的场景重建结果。本申请的方法能够提高场景重建结果的准确性。

【技术实现步骤摘要】

本申请涉及视觉计算领域,尤其涉及一种场景重建方法、装置、电子设备、存储介质及产品


技术介绍

1、随着科技的发展,虚拟现实、3d内容生成和自动驾驶等领域发展迅速。因此,需要从图片集合中重建真实世界场景,并实现逼真的新视角合成。

2、一些场景重建方法中,在根据图片进行场景重建时,将包含待重建场景的图片输入到场景重建模型,得到模型输出的场景重建结果。但是,该方案对输入图片的要求较高,当输入的图片存在遮挡时,重建的场景结果准确性不佳。


技术实现思路

1、本申请提供一种场景重建方法、装置、电子设备、存储介质及产品,用以提高场景构建结果的准确性。

2、第一方面,本申请提供一种场景重建法,包括:根据待重建场景获取第一图片,第一图片中存在至少一张含有遮挡信息的图片;将第一图片输入场景重建模型得到第一点云;其中,场景重建模型包括遮挡预测器、球谐系数预测器和三维高斯模型;遮挡预测器用于提取第一图片中的遮挡信息所对应的外观编码信息;球谐系数预测器用于根据外观编码信息得到三维高斯模型的残差球谐系数,残差球谐本文档来自技高网...

【技术保护点】

1.一种场景重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述遮挡预测器包括:第一特征提取器、通道注意力模块、空间注意力模块以及外观编码器;其中,

4.根据权利要求3所述的方法,其特征在于,所述通道注意力模块包括平均池化层、最大池化层、以及第一多层感知器;其中,

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述损失函数包括:遮挡物掩盖项、第一正则化项、第二正则化项、约束项;其中,

...

【技术特征摘要】

1.一种场景重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述遮挡预测器包括:第一特征提取器、通道注意力模块、空间注意力模块以及外观编码器;其中,

4.根据权利要求3所述的方法,其特征在于,所述通道注意力模块包括平均池化层、最大池化层、以及第一多层感知器;其中,

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述损失函数包括:遮挡物掩盖项、第一正则化项、第二正则化项、约束项;其中,

7.根据权利要求1-...

【专利技术属性】
技术研发人员:齐越王宇泽杨朔王蒙曾令恺
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1