一种基于RGB-D的SLAM算法的改进方法技术

本发明专利技术公开了一种基于RGB-D的SLAM算法的改进方法，分为前端和后端两部分，前端的任务分为特征检测与描述符提取、特征匹配、运动变换估计和运动变换优化；后端的任务利用前端得到的6D运动变换关系初始化位姿图进行闭环检测添加闭环约束条件，利用非线性误差函数优化方法进行位姿图优化，得到全局最优相机位姿和相机运动轨迹，并进行三维环境重建。本发明专利技术使用ORB方法进行特征检测与描述符提取，并对深度信息不合法的特征点进行过滤；使用基于FLANN的KNN方法进行双向特征匹配，使用单应性矩阵变换对匹配结果进行优化；使用改进RANSAC的运动变换估计方法得到更精确的inliers匹配点对；使用基于GICP的运动变换优化方法提高点云配准的速度和精度。

【技术实现步骤摘要】

本专利技术涉及移动机器人研宄领域，具体是一种基于RGB-D的SLAM算法的改进方 法。
技术介绍
为了在未知环境中进行导航，移动机器人需要构建环境地图并且同时定位自 身在地图中的位置，像这样同时解决这两个问题的过程就称为同步定位与地图构建 (SimultaneouslyLocalizationAndMapping，SLAM)。当机器人处于室外环境的时候，这 个问题可以通过高精度的GPS来解决。但是，当机器人处于室内环境时，或当GPS不够精确 无法满足高精度的需求时，或者当机器人所处环境涉密时，人们就必须使用其他方法来精 确估计机器人的位置并且同时构建环境地图。SLAM问题就是在这样的需求背景下提出的， 是当前移动机器人研宄领域的一个重要课题。 移动机器人可以通过不同类型的传感器获取所处环境的信息，传感器的类型不 同，得到的环境信息的内容也不相同。如声呐测距仪获取的信息为传感器与障碍的距离信 息，激光扫描测距仪获取的信息为传感器与障碍的距离和角度信息，视觉传感器获取的信 息为环境的图像信息等等。移动机器人可以同时配置多类传感器，通过融合不同传感器所 获取的信息，可以有效地提高地图环境的精度。 把视觉传感器和红外传感器集成到一起并实现两种传感器信息之间的良好同步， 这样就构成了RGB-D传感器。基于RGB-D传感器的VSLAM则被称为RGB-DSLAM。 因此，本专利技术提出了一种针对RGB-DSLAM实现算法的各部分改进方法。
技术实现思路
本专利技术的目的在于提供一种增强特征匹配、匹配点精确的基于RGB-D的SLAM算法 的改进方法，针对现有RGB-DSLAM算法中存在的效率低与误差大的问题做出改进。 为实现上述目的，本专利技术提供如下技术方案： -种基于RGB-D的SLAM算法的改进方法，分为前端和后端两部分，前端的任务为 提取不同观察结果之间的空间关系，分为特征检测与描述符提取、特征匹配、运动变换估计 和运动变换优化；后端的任务为使用非线性误差函数优化位姿图中相机的位姿信息；使用 基于图的位姿优化方法，利用前端得到的6D运动变换关系初始化位姿图，然后进行闭环检 测添加闭环约束条件，再利用非线性误差函数优化方法进行位姿图优化，最终得到全局最 优相机位姿和相机运动轨迹，并进行三维环境重建；其中，特征检测与描述符提取、特征匹 配、运动变换估计和运动变换优化的具体方法如下所述： 1)基于0RB的特征检测与描述符提取方法 0RB算法是一种快速特征检测与描述符提取算法，包含OFAST特征点检测和 rBRIEF描述符提取两个步骤；该算法的具体内容如下： (1)在oFAST特征点检测步骤中，首先对原图像构建尺度空间金字塔，然后使用 FAST特征点检测方法检测出足够多的特征点并使用Harris角点评估方法对检测到的特征 点进行筛选，再根据强度矩心求出特征点的方向； (2)在rBRIEF描述符提取步骤中，首先对oFAST特征点生成BRIEF特征描述符，然 后利用oFAST特征点的方向矢量对BRIEF特征描述符进行转向生成steeredBRIEF特征描 述符，再使用贪心学习算法从训练集中筛选出一组具有较大方差值、高度不相关且位均值 位于0. 5附近的二元点集，然后使用这组二元点集生成BRIEF特征描述符并进行转向，得到 具有旋转不变性的rBRIEF特征描述子； 2)基于FLANN的增强特征匹配方法 基于FLANN的增强特征匹配方法是对查找帧和训练帧特征描述符进行双向的基 于FLANN的KNN匹配，然后使用单应性矩阵变换对匹配结果进行优化； 3)改进RANSAC的运动变换估计方法 使用RANSAC的方法进行运动变换估计总体上是一个迭代的过程；在每一次迭代 过程中从三维坐标匹配点对集合中随机选择20个三维坐标匹配点对，根据这些三维坐标 匹配点对求出一个运动变换模型；对于三维坐标匹配点对集合中的每一个元素，使用所求 出的运动变换模型将元素中的原坐标进行投影以得到投影坐标，计算目标坐标与投影坐标 之间的误差，如果误差小于阈值，则该三维坐标匹配点对是局内点，将其加入局内点集合； 否则认为它是局外点，不作处理；统计局内点的数目，并计算该模型下的平均误差；如果局 内点数目高于阈值并且平均误差低于阈值，则利用所有的局内点重新计算新的运动变换模 型；然后再次对新的运动变换模型进行评估； (4)基于GICP的运动变换优化方法 GICP算法在对标准ICP算法和点到面ICP算法进行归纳与综合的基础上，更进一 步使用了面到面的思想进行改进；GICP算法的抽象程度更高，而且在一定条件下退化成标 准ICP算法或者点到面ICP算法；GICP算法点云配准所需的时间高于标准ICP算法，但是 GICP的精度远远高于标准ICP，使用GICP算法替换标准ICP算法进行RGB-DSLAM算法中 的运动变换优化，以使得求解出的运动变换误差更小。 作为本专利技术进一步的方案：〇FAST特征点检测的具体步骤如下所述，FAST是一种 非常快速的特征点检测算法，根据候选点与其圆形邻域内相邻像素点的灰度值差异来判断 候选点是否为特征点，具体判断方法如式（1-1)所示：【主权项】1. 一种基于RGB-D的SLAM算法的改进方法，分为前端和后端两部分，前端的任务为提 取不同观察结果之间的空间关系，分为特征检测与描述符提取、特征匹配、运动变换估计和 运动变换优化；后端的任务为使用非线性误差函数优化位姿图中相机的位姿信息；使用基 于图的位姿优化方法，利用前端得到的6D运动变换关系初始化位姿图，然后进行闭环检测 添加闭环约束条件，再利用非线性误差函数优化方法进行位姿图优化，最终得到全局最优 相机位姿和相机运动轨迹，并进行=维环境重建；其特征在于，其中，特征检测与描述符提 取、特征匹配、运动变换估计和运动变换优化的具体方法如下所述： 1) 基于ORB的特征检测与描述符提取方法 ORB算法是一种快速特征检测与描述符提取算法，包含oFAST特征点检测和巧RIEF描 述符提取两个步骤；该算法的具体内容如下： (1) 在oFAST特征点检测步骤中，首先对原图像构建尺度空间金字塔，然后使用FAST特 征点检测方法检测出足够多的特征点并使用Harris角点评估方法对检测到的特征点进行 筛选，再根据强度矩屯、求出特征点的方向； (2) 在巧RIEF描述符提取步骤中，首先对oFAST特征点生成BRIEF特征描述符，然后 利用oFAST特征点的方向矢量对BRIEF特征描述符进行转向生成steeredBRIEF特征描述 符，再使用贪屯、学习算法从训练集中筛选出一组具有较大方差值、高度不相关且位均值位 于0. 5附近的二元点集，然后使用该组二元点集生成BRIEF特征描述符并进行转向，得到具 有旋转不变性的巧RIEF特征描述子； 2) 基于FLAW^的增强特征匹配方法 基于FLAW^的增强特征匹配方法是对查找帖和训练帖特征描述符进行双向的基于FLAW^的脚W匹配，然后使用单应性矩阵变换对匹配结果进行优化； 3) 改进RANSAC的运动变换估计方法 使用RANSAC的方法进行运动变换估计总体上是一个迭代的过程；在每一次迭代过程 中从=维坐标匹配点对集合中随机选择20个=维坐标匹配点对，本文档来自技高网...

【技术保护点】
一种基于RGB‑D的SLAM算法的改进方法，分为前端和后端两部分，前端的任务为提取不同观察结果之间的空间关系，分为特征检测与描述符提取、特征匹配、运动变换估计和运动变换优化；后端的任务为使用非线性误差函数优化位姿图中相机的位姿信息；使用基于图的位姿优化方法，利用前端得到的6D运动变换关系初始化位姿图，然后进行闭环检测添加闭环约束条件，再利用非线性误差函数优化方法进行位姿图优化，最终得到全局最优相机位姿和相机运动轨迹，并进行三维环境重建；其特征在于，其中，特征检测与描述符提取、特征匹配、运动变换估计和运动变换优化的具体方法如下所述：1)基于ORB的特征检测与描述符提取方法ORB算法是一种快速特征检测与描述符提取算法，包含oFAST特征点检测和rBRIEF描述符提取两个步骤；该算法的具体内容如下：(1)在oFAST特征点检测步骤中，首先对原图像构建尺度空间金字塔，然后使用FAST特征点检测方法检测出足够多的特征点并使用Harris角点评估方法对检测到的特征点进行筛选，再根据强度矩心求出特征点的方向；(2)在rBRIEF描述符提取步骤中，首先对oFAST特征点生成BRIEF特征描述符，然后利用oFAST特征点的方向矢量对BRIEF特征描述符进行转向生成steered BRIEF特征描述符，再使用贪心学习算法从训练集中筛选出一组具有较大方差值、高度不相关且位均值位于0.5附近的二元点集，然后使用这组二元点集生成BRIEF特征描述符并进行转向，得到具有旋转不变性的rBRIEF特征描述子；2)基于FLANN的增强特征匹配方法基于FLANN的增强特征匹配方法是对查找帧和训练帧特征描述符进行双向的基于FLANN的KNN匹配，然后使用单应性矩阵变换对匹配结果进行优化；3)改进RANSAC的运动变换估计方法使用RANSAC的方法进行运动变换估计总体上是一个迭代的过程；在每一次迭代过程中从三维坐标匹配点对集合中随机选择20个三维坐标匹配点对，根据这些三维坐标匹配点对求出一个运动变换模型；对于三维坐标匹配点对集合中的每一个元素，使用所求出的运动变换模型将元素中的原坐标进行投影以得到投影坐标，计算目标坐标与投影坐标之间的误差，如果误差小于阈值，则该三维坐标匹配点对是局内点，将其加入局内点集合；否则认为它是局外点，不作处理；统计局内点的数目，并计算该模型下的平均误差；如果局内点数目高于阈值并且平均误差低于阈值，则利用所有的局内点重新计算新的运动变换模型；然后再次对新的运动变换模型进行评估；(4)基于GICP的运动变换优化方法GICP算法在对标准ICP算法和点到面ICP算法进行归纳与综合的基础上，更进一步使用了面到面的思想进行改进；GICP算法的抽象程度更高，而且在一定条件下退化成标准ICP算法或者点到面ICP算法；GICP算法点云配准所需的时间高于标准ICP算法，但是GICP的精度远远高于标准ICP，使用GICP算法替换标准ICP算法进行RGB‑D SLAM算法中的运动变换优化，以使得求解出的运动变换误差更小。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张亮，沈沛意，朱光明，宋娟，刘强强，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61