一种结合单目视觉的RGB‑D SLAM方法技术

本发明专利技术公开了一种结合单目视觉的RGB‑D SLAM方法，对于深度传感器获取的数据，都分别采用单目视觉方法和RGB‑D深度视觉方法进行特征提取、特征匹配、运动估计和优化，然后建立单目局部位姿地图和RGB‑D局部位姿地图，机器人在运动的过程中，对单目局部位姿地图和RGB‑D局部位姿地图进行三维地图融合，构建全局地图，并对融合的位姿地图进行闭环检测，优化得到最优的全局地图，本发明专利技术是一种实时性高、适应性强、稳定性好的RGB‑D视觉SLAM方法，解决了RGB‑D深度传感器获取无法获取深度信息或者获取深度信息获取不足的问题。

【技术实现步骤摘要】

本专利技术涉及一种结合单目视觉的RGB-D SLAM方法。
技术介绍
视觉传感器可以提供，结构紧凑、精确、无创和易于理解视觉信息，同时，除去提供丰富的视觉信息以外，视觉传感器价格低廉，性价比高。目前移动机器人领域中，比较常用的有单目视觉方法和RGB-D SLAM方法。单目视觉SLAM方法指的是，在机器人运动状态下的，采用一步三回头的方法，利用三角法计算出深度信息，把深度信息放入地图中构建出三维地图环境模型，但是在实际的过程中，深度计算消耗大量计算资源且速度比较慢。从深度传感器被应用于SLAM领域之后，越来越多的开发者将目标转移到RGB-D SLAM领域中，并且在这上面做了很多工作，但是在传感器获取数据准确度不高的情况下，大环境下SLAM仍然是一个非常具有挑战的问题。因为深度传感器的深度信息有效距离只有4米左右，在环境快速变化的过程中，超过4米的空旷环境下并不一定有深度信息反馈，这给我们RGB-D SLAM带来了许多困难。
技术实现思路
本专利技术的目的在于提供一种结合单目视觉的RGB-D SLAM方法，是一种实时性高、适应性强、稳定性好的RGB-D视觉SLAM方法，解决了RGB-D深度传感器获取无法获取深度信息或者获取深度信息获取不足的问题。参照图1，本专利技术采用单目视觉RGB信息和RGB-D深度信息分别构建局部地图，然后通过算法对单目SLAM局部地图和RGB-D深度局部地图进行地图融合，融合后经过闭环检测优化，生成全局最优地图，通过单目视觉信息对RGB-D深度信息的结合，使得在地图构建的过程中深度信息获取更加迅速，同时在大环境下空旷地带，以及在深度信息收到影响时，都可以完成SLAM任务，达到良好的实时性和稳定性。其实现的技术方案为：首先利用深度传感器提供RGB信息IRGB和深度信息IDepth分别利用RGB-D SLAM和单目SLAM的方法分别构建局部地图，其中具体内容如下：1、RGB-D局部地图生成RGB-D算法包含三个部分：前端、后端以及最终地图，前端主要负责对RGB-D获取的IRGB和IDepth信息进行处理，IRGB信息通过特征提取，描述转换、以及结合IDepth信息进行特征匹配；后端主要完成，特征转换，图姿优化、闭环检测；最后得到最优的三维环境重建。(1)前端算法主要分为以下几个部分：特征检测与描述符的提取，特征匹配，状态估计和优化，特征检测和提取可以使用SIFT、SURF、ORB算法，对RGB图像进行特性检测和描述符的提取。对于训练帧和查找帧中提取出来的描述符，可以采用单匹配算法(BruteForce)或者快速近似最近邻搜索(FLANN)算法，对不同帧之间的特征进行匹配。一般情况下，在得到匹配信息之后，要对二维的环境模型进行三维重建，因为RGB-D信息包含RGB和深度信息，因此可以很快的从二维的环境模型中重出建三维环境模型。匹配后的三维点云集合，使用随机采样RANSAC方法对运动进行估计，根据匹配点之间的相对位置变化关系可以估算出一个可信度较高的运动变换模型。运动变化估计采用RANSAC(随机采样的方法进行采样)，具体过程是在每一次迭代过程中，随机选择少量采样点建立模型，并对每一个数据模型进行评估，采样中小于阈值的符合要求，大于阈值的则重新计算模型，优化过程中选择使用ICP方法，ICP实际上是求解非线性最小值问题，假设有点(pi,qi)，则求解模型可以表示为：min∑i||(Rpi+t)-qi||2(2)后端算法主要是针对前端获得的初始位姿图进行优化，因为理想的计算总是有差距的，在实际过程中，不断有误差产生，而且每一帧的误差都可能对以后的运动轨迹产生影响，其中使用的最多的优化方法就是回环检测(Loop closure detection)，没有回环检测的时候，误差将对后续计算产生影响，当入回环检测之后，整个运动过程之间就多了一些约束，因此，误差就相对减少了。在得到运动节点的运动变化之后，利用该运动变化，生成位姿图，位姿图构建完成后，使用Canny算子，对轮廓信息进行提取和储存，再使用回环检测(Loop closure detection)对位姿图进行回环检测，生成RGB-D局部位姿地图。2、单目局部地图生成单目视觉地图一般包含两个部分，参照图2：一个是预测跟踪，另外一个是循环检测和地图构建，追踪部分用来估计相机位置，地图构建部分主要是计算相机深度，并构建三维地图环境。首先需要对摄像头进行标定，标定的过程中，可以结合深度信息，镜像标定，同时可以利用标定过程，获取尺度信息。然后预测并且建立运动模型，扩展卡尔曼滤波可以有效应用于预测当中，预测之后对关键点进跟踪，跟踪过程中，不断选择关键点，并对关键点进行校准，为下一次计算和循环检测做准备，同时利用现有的运动图像序列的位姿变化，恢复出深度信息，循环检测和地图构建部分，利用扩展卡尔曼方法进行滤波，并对标记进行评价，恢复出局部地图。在此局部地图构建中有两个非常重要的步骤，一个是利用对极几何进行位置估计，另外一个是三角法求深度：(1)相机位置估计位姿估计主要使用到对极点几何中的内容，参照图3，C0,C1,P三点共面，可以得到，同时，p0,p1在坐标系C0,C1下可以表示为：和此时由共面可以得知，p0·(t×Rp1)＝0，其中t是相机光心的平移，R表示的是两坐标的旋转变换。通过矩阵变换可以得到：p0T[t]xRp1＝0。在此定义本征矩阵E为[t]xR，是一个3×3的矩阵，表示为： ( x 0 , x 1 , 1 ) E 11 E 12 E 13 E 21 E 22 E 23 E 31 E 32 本文档来自技高网...

【技术保护点】
一种结合单目视觉的RGB‑D SLAM方法，其特征在于，包括以下几个步骤：对于深度传感器获取的数据，都分别采用单目视觉方法和RGB‑D深度视觉方法进行特征提取、特征匹配、运动估计和优化，然后建立单目局部位姿地图和RGB‑D局部位姿地图，机器人在运动的过程中，对单目局部位姿地图和RGB‑D局部位姿地图进行三维地图融合，构建全局地图，并对融合的位姿地图进行闭环检测，优化得到最优的全局地图。

【技术特征摘要】
1.一种结合单目视觉的RGB-D SLAM方法，其特征在于，包括以下几个步骤：对于深度传感器获取的数据，都分别采用单目视觉方法和RGB-D深度视觉方法进行特征提取、特征匹配、运动估计和优化，然后建立单目局部位姿地图和RGB-D局部位姿地图，机器人在运动的过程中，对单目局部位姿地图和RGB-D局部位姿地图进行三维地图融合，构建全局地图，并对融合的位姿地图进行闭环检测，优化得到最优的全局地图。2.根据权利要求1所述的一种结合单目视觉的RGB-D SLAM方法，其特征在于，在RGB-D局部位姿地图中，采用SIFT、SURF、ORB算法中任意一种，对RGB图像进行特性检测和描述符的提取，对于训练帧和查找帧中提取出来的描述符，采用单匹配算法或者快速近似最近邻搜索算法，对不同帧之间的特征进行匹配。3.根据权利要求1所述的一种结合单目视觉的RGB-D SLAM方法，其特征在于，在RGB-D局部位姿地图中，运动变化估计采用随机采样的方法进行采样，优化过程中选择使用ICP方法，对于点(pi,qi)，则求解模型可以表示为：min∑i||(Rpi+t)-qi||2，在运动的过程中加入闭环检测，不断对位姿进行修正，以减少误差，最后采用g2o的算法进行位姿图优化，对优化后的位姿进行提取，然后进行三维局部地图重建。4.根据权利要求1所述的一种结合单目视觉的RGB-D SLAM方法，其特征在于，在单目视觉方法中，先对摄像头进行标定，并采用SIFT算法进行特征提取和特征匹配，匹配完成后...

【专利技术属性】
技术研发人员：张恒，温珍强，刘艳丽，庄斌，朱梦雨，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：江西;36