【技术实现步骤摘要】
本申请实施例涉及计算机视觉，特别涉及一种使用三维高斯后端表征的稠密视觉slam方法及系统。
技术介绍
1、稠密即时定位与地图构建(simultaneous localization and mapping，slam)对包括机器人、虚拟现实、增强现实在内的应用非常重要。在计算机视觉和机器人领域，稠密slam的目的是构建一个未知环境的稠密地图，并同时跟踪相机位姿。该技术广泛用于机器人、虚拟现实和增强现实领域中。
2、传统的稠密slam方法使用点云、网格表示或体素格作为场景表示，这些方法在获取精细的密集地图方面面临严重挑战。这些方法虽然在定位精度上取得了显著进展，但在细节丰富的场景重建方面仍有局限。近年来，基于神经辐射场(nerf)的slam方法被探索用于增强传统slam技术，以提高场景重建的质量，但是训练与渲染时间消耗很长。
技术实现思路
1、本申请实施例提供一种使用三维高斯后端表征的稠密视觉slam方法及系统，在实现实时的训练渲染能力的同时，保证了高精度的场景稠密重建、渲染结果，实现了系统准确性和效率的平衡。
2、为解决上述技术问题，第一方面，本申请实施例提供一种使用三维高斯后端表征的稠密视觉slam方法，该方法包括以下步骤：首先，构建三维高斯场景表征；然后，基于三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建；接下来，基于重建后的场景几何结构，进行由粗到细的相机可微位姿估计，得到渲染结果；最后，对渲染结果进行实验验证。
4、在一些示例性实施例中，采用splatting渲染方式，构建三维高斯场景表征；其中，三维高斯场景表征如下所示：
5、g＝{gi:(xi,∑i,λi,yi)|i＝1,...,n} (1)
6、其中，三维高斯场景的整体环境由多个高斯球gi表征，并且每个高斯球gi具有高斯中心位置xi、协方差∑i、不透明度∧i、球谐系数yi；图像平面的颜色渲染使用基于点的渲染方法得到：
7、
8、图像平面的深度渲染使用如下公式得到：
9、
10、其中，di、αi分别为第i个高斯球中心到相机平面的距离和不透明度，n为影响该像素点颜色的高斯球数量。
11、在一些示例性实施例中，基于三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建，包括：对rgb-d序列的第一帧初始化处理；在每个关键帧时，首先使用历史3d高斯场景表示进行重新渲染rgb-d图像，并计算每个像素的累积不透明度，将像素分为可靠像素和不可靠像素；然后将不可靠像素反投影为3d点，并将一组新的3d高斯场景表示初始化，以建模新的观测到的区域；在添加了新的3d高斯场景之后，检查当前摄像机视锥中的所有可见3d高斯，并减小不在场景表面附近的3d高斯的不透明度，以优化建图。
12、在一些示例性实施例中，对rgb-d序列的第一帧初始化处理，包括：从具有h×w分辨率的整个图像中均匀采样一般的相聚，并将其反投影具有对应深度d的3d点，然后将球谐系数的零阶项初始化为rgb颜色，协方差根据空间点密度设置，如下所示：
13、{gi＝(pi，∑init，λinit，ci)|i＝1，..·，m} (4)
14、其中，初始化由m个高斯球gi表征，并且每个高斯球gi具有高斯中心位置pi、协方差∑init、不透明度∧init、颜色ci。
15、在一些示例性实施例中，计算每个像素的累积不透明度，将像素分为可靠像素和不可靠像素，如下式所示：
16、t＜τt或
17、其中，τt是预先设定的累计不透明度阈值，t是累计不透明度，d是观测的深度，是能够渲染到的深度，τd是预先设定的深度阈值；检查当前摄像机视锥中的所有可见3d高斯，并减小不在场景表面附近的3d高斯的不透明度，如下式所示：
18、如果d-dist(xi，puv)＞γ (6)
19、其中，∧i是场景环境的不透明度，dist(xi，puv)表示高斯球中心xi与该中心在相机平面投影puv之间的距离，如果实际深度d减去该距离的差值大于阈值γ，则采用预先设定衰减系数η对不透明度∧i做衰减处理。
20、在一些示例性实施例中，基于重建后的场景几何结构，进行由粗到细的相机可微位姿估计，得到渲染结果，包括：基于重建后的场景几何结构以及位姿估计解析导数方程，进行由粗到细的两阶段位姿估计，得到渲染结果。
21、在一些示例性实施例中，位姿估计解析导数方程如下所示：
22、
23、在一些示例性实施例中，进行由粗到细的两阶段位姿估计，包括：依次进行粗略优化阶段、精细优化阶段的位姿估计；在粗略优化阶段，首先渲染一个分辨率为h/2×w/2的粗略图像，在均匀采样的图像坐标系下优化相机位姿估计公式，进行tc次迭代，得到相机姿态表示为pc；在精细优化阶段，通过选择可靠的三维高斯来重新渲染全分辨率的图像，同时忽略可能会引起噪点的3d高斯，检查所有在粗略摄像机姿态pc下可见的三维高斯，然后将其位置投影到二维的图像平面上，使用粗略的摄像机姿态pc和相机内参；给定投影像素的深度观测di和三维高斯与相机图像平面之间的距离di，选择可靠的3d高斯如下式所示：
24、gselected＝{gi|gi∈g and abs(di-di)≤ε}
25、
26、最终的相机位姿通过相机跟踪损失公式进行另外的tf次迭代得到；
27、相机轨迹跟踪的优化函数如下所示：
28、
29、第二方面，本申请实施例还提供一种使用三维高斯后端表征的稠密视觉slam系统，包括：依次连接的三维高斯场景表征模块、自适应的三维高斯扩展模块、位姿估计模块以及实验验证模块；其中，三维高斯场景表征模块用于构建三维高斯场景表征；自适应的三维高斯扩展模块用于根据三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建；位姿估计模块用于根据重建后的场景几何结构，进行由粗到细的相机可微位姿估计，得到渲染结果；实验验证模块用于对所述渲染结果进行实验验证。
30、本申请实施例提供的技术方案至少具有以下优点：
31、本申请实施例提供一种使用三维高斯后端表征的稠密视觉slam方法及系统，该方法包括以下步骤：首先，构建三维高斯场景表征；然后，基于三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建；接下来，基于重建后的场景几何结构，进行由粗到细的相机可微位姿估计，得到渲染结果；最后，对渲染结果进行实验验证。
32、本申请首次提出了使用三维高斯作为后端唯一表征的稠密视觉slam方法，该方法采用彩色和深度的分割splatting技术，有效地实现了在不依赖传统点云初始化或相机姿态输入的前提下本文档来自技高网...
【技术保护点】
1.一种使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，在构建三维高斯场景表征之前，还包括：
3.根据权利要求1所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，采用Splatting渲染方式，构建三维高斯场景表征；其中，
4.根据权利要求1所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，基于三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建，包括：
5.根据权利要求4所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，所述对RGB-D序列的第一帧初始化处理，包括：
6.根据权利要求4所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，计算每个像素的累积不透明度，将像素分为可靠像素和不可靠像素，如下式所示：
7.根据权利要求1所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，所述基于重建后的场景几何结构，进行由粗到细的相机可微
8.根据权利要求7所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，所述位姿估计解析导数方程如下所示：
9.根据权利要求7所述的使用三维高斯后端表征的稠密视觉SLAM方法，其特征在于，所述进行由粗到细的两阶段位姿估计，包括：
10.一种使用三维高斯后端表征的稠密视觉SLAM系统，其特征在于，包括：依次连接的三维高斯场景表征模块、自适应的三维高斯扩展模块、位姿估计模块以及实验验证模块；其中，
...【技术特征摘要】
1.一种使用三维高斯后端表征的稠密视觉slam方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的使用三维高斯后端表征的稠密视觉slam方法，其特征在于，在构建三维高斯场景表征之前，还包括：
3.根据权利要求1所述的使用三维高斯后端表征的稠密视觉slam方法，其特征在于，采用splatting渲染方式，构建三维高斯场景表征；其中，
4.根据权利要求1所述的使用三维高斯后端表征的稠密视觉slam方法，其特征在于，基于三维高斯场景表征，进行自适应的三维高斯扩展，对观察到的场景几何结构进行重建，包括：
5.根据权利要求4所述的使用三维高斯后端表征的稠密视觉slam方法，其特征在于，所述对rgb-d序列的第一帧初始化处理，包括：
6.根据权利要求4所述的使用三维高斯后...
【专利技术属性】
技术研发人员：王栋，严驰，屈德林，赵斌，王之港，叶昕怡，李学龙，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。