一种融合云端的视觉SLAM系统及方法技术方案

本发明专利技术公开了一种融合云端的视觉SLAM系统及方法，该SLAM系统包括：本地端和云端；本地端包括追踪模块、局部地图维护模块；云端包括局部建图模块、闭环检测模块。该方法包括：步骤1，完成云端的地图初始化，本地端获取局部地图；步骤2，进入追踪定位与地图创建模式；步骤3，本地端局部地图的更新维护；步骤4，系统重定位、更新维护云端地图并进行闭环检测，开始全局优化消除累计误差，优化位姿和云端地图；步骤5，输出优化后的位姿结果。本发明专利技术通过对SLAM系统功能模块进行分离，利用云端对资源占用较大，时间成本较高的模块处理，本地端处理要求实时性的模块并通过BRPC实现云端和本地端的数据传输，缓解了本地端运行SLAM的计算、存储和实时性的压力。

【技术实现步骤摘要】
一种融合云端的视觉SLAM系统及方法
本专利技术涉及视觉空间定位
，尤其涉及一种融合云端的视觉SLAM系统及方法。
技术介绍
同时定位与成图(SLAM)技术是指移动服务机器人在未知环境进行工作时，需要运用搭载的传感器获取周围环境的信息，对获取的信息进行处理，进行定位和增量式构图，进而指导移动机器人的工作。其中视觉SLAM采用视觉传感器获取外界信息具备诸多优点，成本低，自身重量轻，能够获取丰富的高分辨率图像信息，逐渐在机器人定位和构图领域越发受到重视。SLAM系统计算密集，构建一致性的地图更需要处理能力强的设备，当前的SLAM的搭载设备往往是嵌入式设备，其计算能力和存储空间特别有限，难以提供实时的地图构建功能，这就给设备的体积、资源负担和成本带来压力。因此，SLAM的实际应用和大面积推广还较为缓慢。为了缓解上述SLAM的任务需求和设备能力之间的矛盾，并且云机器人的概念被提出来后，就引起很多研究者的兴趣，并慢慢引入到SLAM领域中,云SLAM与传统的SLAM有明显不同的特点，云端具备有良好的计算能力和存储空间，可以把传统的SL本文档来自技高网...

【技术保护点】
1.一种融合云端的视觉SLAM系统，其特征在于，该SLAM系统包括：本地端和云端；本地端包括追踪模块、局部地图维护模块；云端包括局部建图模块、闭环检测模块；本地端和云端之间通过BRPC通讯模块进行数据通讯；其中：/n追踪模块，用于完成传感器测量值之间、传感器测量与地图特征之间的匹配关系，用以确定环境中真实存在的物理信息，并用于提取图像特征信息进行位姿估计，完成相机在运动过程中的位置轨迹计算与定位；/n局部地图维护模块，用于本地地图信息的维护，获取云端的更新的地图信息对地图中包含局部关键帧集合和局部地图点集合同步更新，完成本地端添加关键帧和地图点的操作来更新地图信息，同时为追踪模块提供追踪的地图...

【技术特征摘要】
1.一种融合云端的视觉SLAM系统，其特征在于，该SLAM系统包括：本地端和云端；本地端包括追踪模块、局部地图维护模块；云端包括局部建图模块、闭环检测模块；本地端和云端之间通过BRPC通讯模块进行数据通讯；其中：
追踪模块，用于完成传感器测量值之间、传感器测量与地图特征之间的匹配关系，用以确定环境中真实存在的物理信息，并用于提取图像特征信息进行位姿估计，完成相机在运动过程中的位置轨迹计算与定位；
局部地图维护模块，用于本地地图信息的维护，获取云端的更新的地图信息对地图中包含局部关键帧集合和局部地图点集合同步更新，完成本地端添加关键帧和地图点的操作来更新地图信息，同时为追踪模块提供追踪的地图信息；
局部建图模块，用于在接受到本地端的关键帧信息后，利用云端关键帧数据进行特征匹配，进而三角化恢复特征点对应三维空间点的信息，并存储关键帧和地图点的信息，同时在地图的基础上进行位姿优化得到更加精确的地图信息和运动信息；
闭环检测模块，处理局部地图中的关键帧，试图检测闭环并纠正闭环，利用在闭环检测出的回环关键帧与当前帧之间的相似变换矫正当前关键帧及相邻的关键帧集合的位姿；另一方面，系统将回环关键帧及其相邻关键帧集合中可视的地图点投影到当前帧中进行地图点数据的融合，并构建基本姿态图，进行位姿图的优化。


2.根据权利要求1所述的融合云端的视觉SLAM系统，其特征在于，本地端为具有单目摄像头的机器人。


3.一种融合云端的视觉SLAM方法，其特征在于，该方法包括以下步骤：
步骤1，系统初始化，本地端获取图像数据，并判断本地端是否完成初始化；若未完成初始化，则对本地端进行系统初始化，并与云端交互，完成云端的地图初始化，本地端获取局部地图；若已经完成初始化，则操作直接跳转至步骤2；
步骤2，系统完成初始化开始进入追踪定位与地图创建模式，本地端在完成初始化后采用帧间追踪获取初始位姿，帧间追踪成功后开始局部地图的追踪和关键帧的选取；
步骤3，本地端局部地图的更新维护，将本地端选取的关键帧存入本地端关键帧库，并利用BRPC通讯接收云端数据，实现对本地端局部地图的更新；
步骤4，云端接收本地端发送的关键帧，将其存入云端关键帧库，系统重定位、更新维护云端地图并进行闭环检测，在云端判断是否需要重定位，若要重定位，则通过BRPC通讯向本地端发送指令，跳转至步骤2执行局部地图追踪；若不要重定位，则在云端进行局部地图更新，并通过BRPC通讯将更新后的局部地图发送给本地端，云端进行闭环检测；将当前接收的关键帧与云端关键帧库中存储的关键帧进行相似度比较，若相似度满足闭环检测条件，则开始全局优化消除累计误差，优化位姿和云端地图；
步骤5，输出优化后的位姿结果。


4.根据权利要求3所述的融合云端的视觉SLAM方法，其特征在于，步骤1的具体方法为：
步骤1.1，将图像数据输入本地端，图像提取的特征数目大于阈值100时的该图像可作为初始帧F0并同标准对之后输入的图像帧处理得到初始帧F1，将F0与F1输入系统本地端中，开始进行初始化操作，首先对初始帧进行特征提取和匹配得到F1与F0任意一对对应的匹配点对{pc,pr}，依据该匹配点计算得到对应归一化平面的坐标{xc,xr}，之后通过对极几何等原理计算得到初始位姿T0；
步骤1.2，将步骤1.1中的初始帧F0作为初始关键帧KF0与对应的地图点MapPoints0添加进入局部地图中，将关键帧与地图点存储在关键帧数据库CDB；
步骤1.3，将初始关键帧KF0和KF1和地图点进行封装利用BRPC通讯框架上传到云端；云端接收封装的数据之后将关键帧存储在关键帧数据库SDB中并进行数据共视，至此完成系统初始化。


5.根据权利要求4所述的融合云端的视觉SLAM方法，其特征在于，步骤1.1的具体方法如下：
依据归一化平面坐标{xc,xr}，之后分别计算本次运动的单应矩阵H和基础矩阵F，依据匹配点计算得到归一化平面的坐标，对于单应矩阵H建立直接线性变换矩阵：
xc＝Hxr
基于RANSAC使用归一化4点法算法求解出单应矩阵H；对于基础矩阵F，依据对极几何约束建立方程：



基于RANSAC，使用归一化8点算法求解基础矩阵；其中RANSAC算法在一定程度上可以剔除外点，同时针对单应矩阵H和基础矩阵F计算矩阵得分：



其中SH和SF是采用H和F恢复运动的精度打分，如果阈值RH>0.45，使用H矩阵通过SVD分解计算相机位姿，否则使用F矩阵计算本质矩阵E，然后通过SVD分解本质矩阵E计算位姿；最后对位姿进行检查，求出最优解得到初始位姿T0；
得到初始位姿之后利用初始位姿对该图像的特征信息三角化得到世界坐标系下的地图点集合MapPoints0，依据归一化平面的坐标对{xc,xr}，存在的几何关系为：



其中zc,zr为对应的相机坐标系下的Z轴坐标，即深度信息，kc,kr为当前帧和参考帧的相机内参，Pw为对应的3D点坐标，Tcw和Trw表示世界坐标系与相机坐标系下的位姿变换，在初始化阶段F0与F1位姿T分别设置为单位阵和T0；
对以上公式叉乘对应的归一化平面的点可得：



整理得：



此时对公式进行SVD求解最终得到最终的3D点坐标Pw，对{pc,pr}的匹配点对完成以上的三角化的操作后最终得到地图点集合MapPoints0，完成初试化操作。


6.根据权利要求3所述...

【专利技术属性】
技术研发人员：姚剑，卓德胜，廖志，龚烨，涂静敏，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42