一种融合深度信息的视觉SLAM回环检测方法及装置制造方法及图纸

本发明专利技术涉及机器人同时定位与地图构建技术领域，具体涉及一种融合深度信息的视觉SLAM回环检测方法及装置，获取机器人运动过程中拍摄的视频流图像，并离线抽取视频流图像中的关键帧，运用深度神经网络训练得到关键帧的深度图，利用M2DP算法提取深度图的全局特征描述符，进而利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度，对关键帧进行回环检测，本发明专利技术提供的方法具有对光照的不变性，能实现机器人的准确定位和地图构建。

A Visual SLAM Loop Detection Method and Device Fusing Depth Information

The invention relates to the technical field of simultaneous positioning and mapping for robots, in particular to a visual SLAM loop detection method and device that fuses depth information, obtains video stream images captured in the process of robot motion, extracts key frames from video stream images offline, obtains depth maps of key frames by using depth neural network training, and extracts the full depth maps by using M2DP algorithm. Local feature descriptors are then used to calculate the cosine distance of depth map by matrix vector multiplication, so as to match the similarity of key frames and detect key frames in a loop. The method provided by the invention has the invariance of light, and can realize the accurate positioning and map construction of the robot.

【技术实现步骤摘要】
一种融合深度信息的视觉SLAM回环检测方法及装置
本专利技术涉及机器人同时定位与地图构建
，具体涉及一种融合深度信息的视觉SLAM回环检测方法及装置。
技术介绍
自仿生学与智能机器人技术的出现以来,研究者们就渴望有朝一日,机器人能够像人类一样,通过眼睛去观察和理解周围的世界,并能够能在自然环境中灵巧地自主行走,实现人机和谐共融。其中，一个重要而基本的问题是，如何通过二维的图像信息分析景物的三维结构，确定相机在其中的位置。这个问题的解决，离不开一项基本技术的研究：同时定位与地图构建(Simultaneous-Localizationand-Mapping,SLAM)，特别是基于视觉的SLAM技术。为了达到基于视觉的SLAM技术实现人眼一样的效果，只要环视四周，辨识物体，就能判断自己的位置，而当前基于特征点和像素的算法，离这样的目的显然远远不够。几乎所有的闭环检测方法都是利用视觉传感，即对环境利用关键帧进行视觉描述，然后通过当前的图像与地图中关键帧匹配完成闭环检测的工作。在闭环检测问题上，机器人研究工作主要侧重解决两个难题：第一个是有可拓展性的、适用于大环境中的图像匹配，因为很多任务要求机器人在需用成千上万乃至百万幅关键帧来描述环境，因而产生可拓展即适用于大环境的高速高精度图像匹配算法的要求。第二个需要解决的难题是图像匹配时所应具有环境条件不变性，这是指能够对各种不同条件下采集的图像进行准确匹配，包括对光照变化的处理，以及对动态环境、季节、天气以及视角变化处理的能力。目前的方法中对光照不变性较弱，而如何提高机器人对光照的不变性，从而实现机器人的准确定位和地图构建，是值得解决的问题。
技术实现思路
本专利技术的目的在于提供一种融合深度信息的视觉SLAM回环检测方法及装置，旨在提高机器人对光照的不变性，从而实现机器人的准确定位和地图构建。为了实现上述目的，本专利技术提供以下技术方案：本专利技术提供一种融合深度信息的视觉SLAM回环检测方法，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、离线抽取视频流中的关键帧；步骤S300、运用深度神经网络训练得到关键帧的深度图；步骤S400、利用M2DP算法提取深度图的全局特征描述符；步骤S500、利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度；步骤S600、对关键帧进行回环检测。进一步，所述步骤S100中的视频流图像通过设置于机器人上的相机采集。进一步，所述步骤S300具体包括：步骤S310、构建关键帧相对深度的数据库；步骤S320、在同一关键帧中随机选取两个图像点，标注同一关键帧中两个所述图像点的相对远近信息；步骤S330、通过神经网络的训练得到原图之中的相对深度信息；步骤S340、得到具有物体信息的图像，所述图像和原图大小一致。进一步，所述步骤S400具体包括：将深度图变换成点云后，向若干设定好的平面投影，生成2D图像描述符，然后通过主成分分析方法对重叠的2D图像描述符降维，生成128维的全局特征描述符。进一步，所述步骤S500中利用矩阵向量乘法计算深度图的余弦距离具体为：通过获取当前关键帧与地图中关键帧的矩阵向量，并利用矩阵向量乘法计算深度图的余弦距离，从而获得当前关键帧与地图中关键帧相似度。进一步，所述步骤S600具体包括：当所述当前关键帧与地图中关键帧相似度达到设定比例时，则判定回环检测已经发生，从而调整地图的偏移并更新全局地图；当所述当前关键帧与地图中关键帧相似度低于设定比例时，则判定回环检测没有发生，从而新建关键帧并扩充地图。本专利技术还提供一种融合深度信息的视觉SLAM回环检测装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在所述装置的以下模块中：获取模块，用于获取机器人运动过程中拍摄的视频流图像；抽取模块，用于离线抽取视频流中的关键帧；训练模块，用于运用深度神经网络训练得到关键帧的深度图；提取模块，用于利用M2DP算法提取深度图的全局特征描述符；匹配模块，用于利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度；检测模块，用于对关键帧进行回环检测。本专利技术的有益效果是：本专利技术公开一种融合深度信息的视觉SLAM回环检测方法及装置，获取机器人运动过程中拍摄的视频流图像，并离线抽取视频流图像中的关键帧，运用深度神经网络训练得到关键帧的深度图，利用M2DP算法提取深度图的全局特征描述符，进而利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度，对关键帧进行回环检测，本专利技术提供的方法具有对光照的不变性，能实现机器人的准确定位和地图构建。附图说明通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：图1是本专利技术实施例一种融合深度信息的视觉SLAM回环检测方法的流程图；图2是本专利技术实施例一种融合深度信息的视觉SLAM回环检测装置的结构示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本专利技术的保护范围。如图1所示，本专利技术实施例提供的一种融合深度信息的视觉SLAM回环检测方法，在Turtlebot2移动机器人上搭载机器人操作系统(RobotOperatingSystem简称ROS)，上位机设置为NVIDIATX2，载于Turtlebot2上的KinectV2摄像头通过ROS系统传输视频到SLAM回环检测系统上；所述回环检测方法包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、离线抽取视频流中的关键帧；步骤S300、运用深度神经网络训练得到关键帧的深度图；步骤S400、利用M2DP算法提取深度图的全局特征描述符；步骤S500、利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度；步骤S600、对关键帧进行回环检测，为机器人自主导航提供可靠的支撑。进一步，所述步骤S100中的视频流图像通过设置于机器人上的相机采集。进一步，所述步骤S200中离线抽取视频流中的关键帧的方法为：使用相似度检测方法，所述检测方法基于感知哈希算法，具体包括：步骤S210、抽取视频流中的图像，并缩小所述图像的尺寸；步骤S220、简化图像的色彩；步骤S230、计算图像的离散余弦变换；步骤S240、缩小图像的离散余弦变换；步骤S250、计算图像的平均值；步骤S260、用汉明距离法计算图像的哈希值。进一步，所述步骤S300具体包括：步骤S310、构建关键帧相对深度的数据库；步骤S320、在同一关键帧中随机选取两个图像点，标注同一关键帧中两个所述图像点的相对远近信息；步骤S330、通过神经网络的训练得到原图之中的相对深度信息；步骤S340、得到具有物体信息的图像，所述图像和原图大小一致。进一步，所述步骤S400具体包括：将深度图变换成点云后本文档来自技高网...

【技术保护点】
1.一种融合深度信息的视觉SLAM回环检测方法，其特征在于，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、离线抽取视频流中的关键帧；步骤S300、运用深度神经网络训练得到关键帧的深度图；步骤S400、利用M2DP算法提取深度图的全局特征描述符；步骤S500、利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度；步骤S600、对关键帧进行回环检测。

【技术特征摘要】
1.一种融合深度信息的视觉SLAM回环检测方法，其特征在于，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、离线抽取视频流中的关键帧；步骤S300、运用深度神经网络训练得到关键帧的深度图；步骤S400、利用M2DP算法提取深度图的全局特征描述符；步骤S500、利用矩阵向量乘法计算深度图的余弦距离，从而匹配关键帧的相似度；步骤S600、对关键帧进行回环检测。2.根据权利要求1所述的一种融合深度信息的视觉SLAM回环检测方法，其特征在于，所述步骤S100中的视频流图像通过设置于机器人上的相机采集。3.根据权利要求1所述的一种融合深度信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300具体包括：步骤S310、构建关键帧相对深度的数据库；步骤S320、在同一关键帧中随机选取两个图像点，标注同一关键帧中两个所述图像点的相对远近信息；步骤S330、通过神经网络的训练得到原图之中的相对深度信息；步骤S340、得到具有物体信息的图像，所述图像和原图大小一致。4.根据权利要求1所述的一种融合深度信息的视觉SLAM回环检测方法，其特征在于，所述步骤S400具体包括：将深度图变换成点云后，向若干设定好的平面投影，生成2D图像描述符，然后通过主成分分析方法对重叠的2D图像描述符降维，生成12...

【专利技术属性】
技术研发人员：吴俊君，陈世浪，周林，邝辉宇，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东,44