一种面向稀疏视角的三维高斯视觉定位方法技术

本发明专利技术公开一种面向稀疏视角的三维高斯视觉定位方法，属于定位技术领域，用于视觉定位，包括提取稀疏图像的全局图像特征和局部图像特征，构建特征数据库；将特征数据库和RGB图像进行最邻近搜索，获得稀疏度指标，计算伪视角的相机位姿，用训练主模型在伪视角下渲染彩色图与深度图，提取全局特征及局部特征并纳入特征数据库，结合目标彩色图构建2D‑3D对应关系，进行动态内点筛选和位姿求解，获得定位结果。本发明专利技术智能补全关键区域的视角缺失，有效提升三维场景中特征表达的均衡性与覆盖度，实现2D‑3D匹配关系的动态更新与误匹配剔除，从而显著提升定位精度与系统稳定性，在稀疏训练条件下具有更强的鲁棒性和实际可用性。

【技术实现步骤摘要】

本专利技术公开一种面向稀疏视角的三维高斯视觉定位方法，属于定位。

技术介绍

1、随着增强现实（ar）、机器人导航、自动驾驶等场景对高精度三维感知与位姿估计的需求日益增长，视觉定位技术作为其核心支撑，受到广泛关注。目前主流方法包括：基于深度学习的绝对姿态回归（apr）、场景坐标回归（scr），以及近年来快速发展的三维神经渲染方法（nerf）。apr方法通过神经网络端到端预测图像的相机位姿，避免显式几何建模；scr方法借助图像像素与三维空间点之间的回归关系，通过pnp等算法估计相机位姿。此外，nerf等神经渲染方法通过建立连续的体积密度与颜色场，用于建模场景的隐式三维结构，部分研究尝试将其引入视觉定位任务中，辅助几何信息恢复。

2、然而，上述方法在实际部署中仍面临一系列挑战。它们普遍依赖大量、密集采集的训练图像，以支撑模型的空间结构建模与特征泛化能力。当图像分布稀疏、视角覆盖不均时，模型难以捕捉场景的真实几何特征，导致匹配精度下降、位姿估计不稳定。特别是在稀疏视角下，图像之间的重叠区域显著减少，严重制约了2d关键点与3d点之间的有效匹配，造成误匹配本文档来自技高网...

【技术保护点】

1.一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，包括使用RGB图像和相机位姿训练三维高斯溅射模型，通过二维投影与可微渲染机制生成彩色图像与深度图，提取稀疏图像的全局图像特征和局部图像特征，构建特征数据库；

2.根据权利要求1所述的一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，训练三维高斯溅射模型包括，所述RGB图像为稀疏视角图像，使用相同的稀疏视角图像作为三维高斯溅射模型的输入，所述三维高斯溅射模型通过双分支三维高斯点云模型协同建模方式构建，包括训练主模型和辅助监督模型，每个三维高斯点云模型包括多个高斯点，高斯点为四元组，、、、分别为空间位置、高斯点的空间尺度与...

【技术特征摘要】

1.一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，包括使用rgb图像和相机位姿训练三维高斯溅射模型，通过二维投影与可微渲染机制生成彩色图像与深度图，提取稀疏图像的全局图像特征和局部图像特征，构建特征数据库；

2.根据权利要求1所述的一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，训练三维高斯溅射模型包括，所述rgb图像为稀疏视角图像，使用相同的稀疏视角图像作为三维高斯溅射模型的输入，所述三维高斯溅射模型通过双分支三维高斯点云模型协同建模方式构建，包括训练主模型和辅助监督模型，每个三维高斯点云模型包括多个高斯点，高斯点为四元组，、、、分别为空间位置、高斯点的空间尺度与方向的协方差矩阵、颜色值和不透明度；

3.根据权利要求2所述的一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，生成彩色图像与深度图包括，在相机视角下，根据jacobian变换将三维协方差矩阵投影为二维协方差矩阵：

4.根据权利要求3所述的一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，构建特征数据库包括构建全局图像特征集合和局部图像特征集合；

5.根据权利要求4所述的一种面向稀疏视角的三维高斯视觉定位方法，其特征在于，构建全局图像特征集合包括，使用图像局部特征提取网络从稀疏视角图像中提取二维关键点坐标及对应的，结合稀疏视角图像对应的相机内参矩阵、外参矩阵、深度...

【专利技术属性】
技术研发人员：王风华，宋科技，胡亚超，梁鸿，张千，钟敏，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：