基于3D高斯场景的视觉重定位方法、系统及存储介质技术方案

本发明专利技术公开一种基于3D高斯场景的视觉重定位方法、系统及存储介质，该方法包括：S1初始输入：基于3D高斯喷溅技术，由已知相机位姿的训练图像训练获得3D高斯场景；S2图像检索：在训练图像中检索与查询图像最为相似的图像，将其位姿作为查询图像的相机初始位姿；S3特征编码：基于初始位姿，提取2D点特征和3D点特征；S4相似匹配：构建2D点特征和3D点特征的相似度匹配矩阵，根据相似得分选择2D‑3D匹配点；S5位姿解算：根据步骤S4中获得的2D‑3D匹配点，计算出当前匹配的位姿结果，作为下一轮迭代的初始位姿，重复步骤S3一S5得到最终相机位姿。本发明专利技术充分利用了3D高斯对于场景的特征表示能力，结合深度神经网络实现3D空间点特征提取，更加准确地实现2D‑3D匹配。

【技术实现步骤摘要】

本专利技术涉及视觉重定位，尤其涉及一种基于3d高斯场景的视觉重定位方法、系统及存储介质。

技术介绍

1、在自动驾驶、机器人导航、ar/vr等
，场景重建和重定位技术提供了智能体感知环境和与环境交互的能力，具有重要意义。基于视觉信息的重定位技术由于传感器信息丰富、成本低等优势，成为计算机视觉领域的研究热点。基于图像信息的重定位算法关键在于如何根据2d图像重建高质量的3d模型，以便充分利用3d场景信息，获取准确的2d-3d匹配点。由于图像传感信息特点，传统slam方法构建3d模型比较稀疏且计算成本较大，近几年神经渲染技术和3d高斯喷溅技术的兴起提供了更加高效准确的场景重建方法。

2、神经渲染技术和3d高斯喷溅技术是近两年新兴的3d场景重建技术，已经比较成熟，具有丰富的落地价值，3d高斯喷溅相较于神经渲染更加高效，是当下计算机视觉领域的研究热门。cvpr2024论文the nerfect match：exploring nerf features for visuallocalization提供了基于神经渲染技术进行视觉重定位的思路，而如何基于本文档来自技高网...

【技术保护点】

1.一种基于3D高斯场景的视觉重定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，在步骤S3中，以查询图像作为输入，使用以下视觉特征编码器中的任一种，来进行特征提取，以获得2D点特征

3.根据权利要求2所述的方法，其特征在于，在步骤S3中，根据相机初始位姿和相机内参模型，在3D高斯场景中得到每个像素点对应的深度，从而得到3D采样点及其入射方向其中，x表示三维坐标，θ和表示入射球面角，进而得到每个采样点对应的辐射场特征然后通过神经网络编码获得3D点特征

4.根据权利要求3所述的方法，其特征在于，在步骤S4中，通过dual-s...

【技术特征摘要】

1.一种基于3d高斯场景的视觉重定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，在步骤s3中，以查询图像作为输入，使用以下视觉特征编码器中的任一种，来进行特征提取，以获得2d点特征

3.根据权利要求2所述的方法，其特征在于，在步骤s3中，根据相机初始位姿和相机内参模型，在3d高斯场景中得到每个像素点对应的深度，从而得到3d采样点及其入射方向其中，x表示三维坐标，θ和表示入射球面角，进而得到每个采样点对应的辐射场特征然后通过神经网络编码获得3d点特征

4.根据权利要求3所述的方法，其特征在于，在步骤s4中，通过dual-softmax匹配函数进行正逆向检索，来构建2d点特征fq和3d点特征fs的相似度匹配矩阵

5.根据权利要求4所述的方法，其特征在于，在步骤s4中，相似度匹配矩阵通过3d点投影到2d点的方式构建真值来进行监督。

6.根据权利要求5所述的方法，其...

【专利技术属性】
技术研发人员：何弢，廖文龙，王浩宇，彭湃，
申请(专利权)人：酷哇科技有限公司，
类型：发明
国别省市：