当前位置: 首页 > 专利查询>浙江大学专利>正文

基于互信息优化神经辐射场的稀疏视角室内场景重建方法技术

技术编号:42422902 阅读:13 留言:0更新日期:2024-08-16 16:37
本发明专利技术提供了一种基于互信息优化神经辐射场的稀疏视角室内场景重建方法,本发明专利技术方法通过约束神经辐射场的法向梯度信息来优化重建结果,使得最后的几何重建结果更准确,尤其是在少纹理区域等信息相对较少的区域,获得一个更加准确,更加合理的重建结果,为场景采集之后的场景展示、人机交互,环境理解等步骤提供前提条件。

【技术实现步骤摘要】

本专利技术属于场景重建领域,尤其涉及一种基于互信息优化神经辐射场的稀疏视角室内场景重建方法


技术介绍

1、通过图片进行室内重建广泛运用于各种环境当中,比如虚拟现实,增强现实中对于现有场景的采集以及机器人对于环境的感知中。对于环境的理解以及后续的与环境的交互过程当中起到了非常重要的作用。

2、针对从图像中进行室内场景重建的方法,现有的技术总体分为两类:1)基于传统的图像特征匹配或者是基于深度学习的特征匹配,之后通过三角测量来确定特征点的三维位置,最终通过点云来恢复室内几何信息。但是该类技术存在以下问题:

3、1、特征匹配需要场景中存在较多的纹理信息,但室内场景中大部分区域是没有纹理的,比如墙壁,天花板等,这样会造成提取到的信息大大减少,给之后的确定特征点,通过点云来重建带来了困难。

4、2、对于传统的匹配,需要设计特征的提取方法,目前大部分方法使用的是尺度不变特征转换算法,该类方法对于比较光滑的特征点提取信息能力较差,因此在光滑区域比较多的室内场景中适用范围比较有限。

5、3、对于基于深度学习的特征匹配,在不本文档来自技高网...

【技术保护点】

1.一种基于互信息优化神经辐射场的稀疏视角室内场景重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述相关性采用像素间的法向和/或语义信息的距离描述。

3.根据权利要求1所述的方法,其特征在于,所述第一网络、第二网络采用多层感知机;其中,第一网络的中间层输出作为第一网络提取的输入数据的隐式的场景特征。

4.根据权利要求1所述的方法,其特征在于,根据相机中心的射线路径结合三维点的符号距离函数值和颜色值加权求和得到每一像素的颜色预测值表示如下:

5.根据权利要求1所述的方法,其特征在于,所述几何约束项表示如下:

<...

【技术特征摘要】

1.一种基于互信息优化神经辐射场的稀疏视角室内场景重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述相关性采用像素间的法向和/或语义信息的距离描述。

3.根据权利要求1所述的方法,其特征在于,所述第一网络、第二网络采用多层感知机;其中,第一网络的中间层输出作为第一网络提取的输入数据的隐式的场景特征。

4.根据权利要求1所述的方法,其特征在于,根据相机中心的射线路径结合三维点的符号距离函数值和颜色值加权求和得到每一像素的颜色预测值表示如下:

5.根据权利要求1所述的方法,其特征在于,所述几何约束项表示如下:

6.根据权利要求1所述的方法,其特征在于,所述互信息优化项表示如下:

7.根据权利要求1所...

【专利技术属性】
技术研发人员:王旭龙郑友怡
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1