【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体来说涉及视觉定位，更具体地说，涉及一种几何结构辅助的视觉定位方法和系统。
技术介绍
1、定位系统在自主导航或虚拟/增强现实中扮演着重要角色。尽管已存在基于不同传感器配置的多种现有技术，全球导航卫星系统和惯性导航系统(gnss/ins)技术仍然广泛应用于自主系统的定位。然而，它们在城市中的表现不太稳定，在室内环境中更是完全失效。另一种替代方案是利用三维(3d)激光雷达(lidar)设备。3d lidar设备扫描场景结构，可与事先构建的点云地图进行匹配。然而，由于单次扫描提供的外观信息有限，通过使用lidar扫描从现有数据库中识别地点以恢复全局位置并不容易。此外，具有恢复厘米级传感器姿态能力的gnss/ins或lidar系统通常价格昂贵，无法广泛应用于导航或其他应用。
2、传统基于视觉的方法将查询图像与通过视觉特征丰富的稀疏三维场景模型进行匹配。然后通过三维到二维(3d-2d)对应关系来估计相机姿态。与基于gnss/ins或lidar的系统相比，视觉定位系统的成本可能更为经济实惠。然而，其代价是以视觉感知对各种条件都十分敏感；并且无法直接使用视觉传感器获取度量信息。这两个缺点使得普遍的视觉定位系统不够健全，限制了应用场景。
3、为了缓解视觉定位系统中的问题，一些方法引入了预先生成的密集地图信息，这有助于约束视觉结构，从而导致更好的姿态估计结果。然而，与传统的基于视觉的流水线相比，这些系统通常需要更多的计算资源，只能通过高规格的台式机来满足，限制了这些方法在一些大规模的，特别是在嵌入式设备上的应用
技术实现思路
1、根据本专利技术的一个方面，提供了一种用于导航移动系统的几何结构辅助视觉定位方法，。所述方法包括：检索关于初始化位置数据的3d地图所述3d地图受视觉结构和几何结构的约束，并由具有映射的地标的一组高斯分布的高斯混合模型建模；通过移动系统的摄像机获取一系列实时图像帧；以及对于每个实时图像帧：从实时图像帧中提取一个或多个局部特征；预测与实时图像帧相对应的摄像机姿态；通过在3d地图中跟踪预测的摄像机姿态创建关键帧；识别相对于创建的关键帧的一个或多个时序可见地标；获取局部特征与时序可见地标之间的一个或多个二维到三维(2d-3d)对应关系；以及通过基于一个或多个2d-3d对应关系估计实时图像帧的状态来定位所述移动系统。
2、根据本专利技术的另一个方面，提供了一种用于导航移动系统的几何结构辅助视觉定位系统。所述系统包括一个配置为获取一系列实时图像帧的摄像机；包括一个映射模块的第一处理器，所述映射模块配置为基于初始化位置数据检索3d地图所述3d地图受到视觉结构和几何结构的约束，并由具有映射的地标的一组高斯分布的高斯混合模型建模；以及包括一个定位模块的第二处理器，所述定位模块配置为通过以下步骤处理每个实时图像帧：从实时图像帧中提取一个或多个局部特征；预测与实时图像帧相对应的摄像机姿态；通过在3d地图中跟踪预测的摄像机姿态创建关键帧；相对于创建的关键帧识别一个或多个时序可见地标；获取局部特征与时序可见地标之间的一个或多个二维到三维(2d-3d)对应关系；并通过基于一个或多个2d-3d对应关系估计实时图像帧的状态来定位移动系统。
3、优选地，所述摄像机姿态通过视觉惯性测程过程进行预测，所述视觉惯性测程过程包括：通过移动系统的惯性测量单元获取实时惯性测量数据；将实时惯性测量数据预积分成单一的相对运动约束；并基于所述单一的相对运动约束估计摄像机姿态。
4、优选地，所述一个或多个时序可见地标通过以下步骤识别：将3d地图划分为一组体素以形成一个体素化地图，其中每个映射的地标与一个或多个体素相交；从创建的关键帧的光学中心向体素化地图投射多条射线；对于每条投射的射线，定位沿着投射的射线的一个或多个体素；并识别与定位的体素相交的一个或多个映射的地标作为相对于创建的关键帧的时序可见地标。
5、所提供的视觉定位方法和系统可接收来自低成本传感器套件(如视觉惯性传感器)的输入数据，并利用其他模态，如昂贵的lidar设备生成的高清地图和集成导航系统。因此，可在不需要初始姿态引导系统的情况下利用几何结构和视觉结构的优势。从而能够很好地平衡定位的准确性和计算效率。
本文档来自技高网...【技术保护点】
1.一种用于导航移动系统的几何结构辅助视觉定位方法，其特征在于，包括：
2.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述摄像机姿态通过位置识别过程进行预测，所述位置识别过程包括：
3.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述摄像机姿态可通过视觉惯性测程过程进行预测，所述视觉惯性测程过程包括：
4.根据权利要求2或3的几何结构辅助视觉定位方法，其特征在于，所述识别相对于所述创建的关键帧的一个或多个所述时序可见地标的步骤包括：
5.根据权利要求2或3的几何结构辅助视觉定位方法，其特征在于，所述识别相对于所述创建的关键帧的一个或多个所述时序可见地标的步骤包括：
6.根据权利要求4或5的几何结构辅助视觉定位方法，其特征在于，所述估计所述实时图像帧的状态的步骤包括通过求解一个最小二乘优化问题和最小化给定的总能量函数Etotal，所述总能量函数Etotal定义如下：
7.根据权利要求6的几何结构辅助视觉定位方法，其特征在于，所述方法还包括通过最近点互动(ICP)方案，进一步优化已识别的时序
8.根据权利要求7的几何结构辅助视觉定位方法，其特征在于，所述最近点互动(ICP)方案包括：
9.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述方法还包括以点云构建所述3D地图，所述点云是由激光雷达(LiDAR)所产生。
10.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述初始化位置数据是通过一个GNSS/INS获得。
11.一种用于导航移动系统的几何结构辅助视觉定位系统，其特征在于，包括：
12.根据权利要求11所述的几何结构辅助视觉定位系统，其特征在于，所述定位模块还被配置为通过以下步骤预测与所述实时图像帧相对应的所述摄像机姿态：
13.根据权利要求11所述的几何结构辅助视觉定位系统，其特征在于，还包括惯性测量单元，所述惯性测量单元被配置为获取实时惯性测量数据；以及其中所述定位模组被配置为通过以下步骤预测与所述实时图像帧相对应的所述摄像机姿态：
14.根据权利要求12或13所述的几何结构辅助视觉定位系统，其特征在于，所述定位模组还被配置为通过以下步骤识别相对于所述创建的关键帧的一个或多个所述时序可见地标：
15.根据权利要求12或13所述的几何结构辅助视觉定位系统，其特征在于，所述定位模组还被配置为通过以下步骤识别相对于所述创建的关键帧的一个或多个所述时序可见地标：
16.根据权利要求14或15所述的几何结构辅助视觉定位系统，其特征在于，所述定位模组还被配置为通过求解一个最小二乘优化问题以最小化给定的总能量函数Etotal估计所述实时图像帧的状态，所述总能量函数Etotal定义如下：
17.根据权利要求16所述的几何结构辅助视觉定位系统，其特征在于，所述定位模组还被配置为通过最近点互动(ICP)方案，进一步优化已识别的时序可见地标的位置。
18.根据权利要求17所述的几何结构辅助视觉定位系统，其特征在于，所述定位模组还被配置为通过以下步骤进行所述最近点互动(ICP)方案：
19.根据权利要求11所述的几何结构辅助视觉定位系统，其特征在于，包括激光雷达(LiDAR)，所述激光雷达(LiDAR)被配置为产生点云用于构建所述3D地图。
20.根据权利要求11所述的几何结构辅助视觉定位系统，其特征在于，包括一个GNSS/INS以获得所述初始化位置数据。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于导航移动系统的几何结构辅助视觉定位方法，其特征在于，包括：
2.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述摄像机姿态通过位置识别过程进行预测，所述位置识别过程包括：
3.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述摄像机姿态可通过视觉惯性测程过程进行预测，所述视觉惯性测程过程包括：
4.根据权利要求2或3的几何结构辅助视觉定位方法，其特征在于，所述识别相对于所述创建的关键帧的一个或多个所述时序可见地标的步骤包括：
5.根据权利要求2或3的几何结构辅助视觉定位方法，其特征在于，所述识别相对于所述创建的关键帧的一个或多个所述时序可见地标的步骤包括：
6.根据权利要求4或5的几何结构辅助视觉定位方法，其特征在于，所述估计所述实时图像帧的状态的步骤包括通过求解一个最小二乘优化问题和最小化给定的总能量函数etotal，所述总能量函数etotal定义如下：
7.根据权利要求6的几何结构辅助视觉定位方法，其特征在于，所述方法还包括通过最近点互动(icp)方案，进一步优化已识别的时序可见地标的位置。
8.根据权利要求7的几何结构辅助视觉定位方法，其特征在于，所述最近点互动(icp)方案包括：
9.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述方法还包括以点云构建所述3d地图，所述点云是由激光雷达(lidar)所产生。
10.根据权利要求1的几何结构辅助视觉定位方法，其特征在于，所述初始化位置数据是通过一个gnss/ins获得。
11.一种用于导航移动系统的几何结构辅助视觉定位系统，其特征在于，包括：
12.根据权利要求11所述的几何结构辅助视觉...
【专利技术属性】
技术研发人员：黄淮扬，叶昊阳，焦健浩，刘明，
申请(专利权)人：香港科大研究开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。