一种融合语义信息的视觉SLAM回环检测方法及装置制造方法及图纸

本发明专利技术涉及机器人同时定位与地图构建技术领域，具体涉及一种融合语义信息的视觉SLAM回环检测方法及装置，首先获取机器人运动过程中拍摄的视频流图像，然后从视频流图像中离线抽取关键帧，检测出关键帧中的物体级图像，并提取物体级图像的特征，进而匹配物体级图像特征，对关键帧进行回环检测，本发明专利技术具有对光照的不变性，从而实现机器人的准确定位和地图构建。

【技术实现步骤摘要】
一种融合语义信息的视觉SLAM回环检测方法及装置
本专利技术涉及机器人同时定位与地图构建
，具体涉及一种融合语义信息的视觉SLAM回环检测方法及装置。
技术介绍
自仿生学与智能机器人技术的出现以来,研究者们就渴望有朝一日,机器人能够像人类一样,通过眼睛去观察和理解周围的世界,并能够能在自然环境中灵巧地自主行走,实现人机和谐共融。其中，一个重要而基本的问题是，如何通过二维的图像信息分析景物的三维结构，确定相机在其中的位置。这个问题的解决，离不开一项基本技术的研究：同时定位与地图构建(Simultaneous-Localizationand-Mapping,SLAM)，特别是基于视觉的SLAM技术。为了达到基于视觉的SLAM技术实现人眼一样的效果，只要环视四周，辨识物体，就能判断自己的位置，而当前基于特征点和像素的算法，离这样的目的显然远远不够。几乎所有的回环检测方法都是利用视觉传感，即对环境利用关键帧进行视觉描述，然后通过当前的图像与地图中关键帧匹配完成回环检测的工作。在回环检测问题上，机器人研究工作主要侧重解决两个难题：第一个是有可拓展性的、适用于大环境中的图像匹配，因为很多任务要求机器人在需用成千上万乃至百万幅关键帧来描述环境，因而产生可拓展即适用于大环境的高速高精度图像匹配算法的要求。第二个需要解决的难题是图像匹配时所应具有环境条件不变性，这是指能够对各种不同条件下采集的图像进行准确匹配，包括对光照变化的处理，以及对动态环境、季节、天气以及视角变化处理的能力。目前的视觉SLAM回环检测方法中对光照不变性较弱，因此，如何提高机器人移动过程中对光照的不变性，从而实现机器人的准确定位和地图构建，是值得解决的问题。
技术实现思路
本专利技术的目的在于提供一种融合语义信息的视觉SLAM回环检测方法及装置，旨在提高机器人移动过程中对光照的不变性，从而实现机器人的准确定位和地图构建。为了实现上述目的，本专利技术提供以下技术方案：本专利技术提供一种融合语义信息的视觉SLAM回环检测方法，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、从视频流图像中离线抽取关键帧；步骤S300、检测出关键帧中的物体级图像；步骤S400、提取物体级图像的特征；步骤S500、匹配物体级图像特征；步骤S600、对关键帧进行回环检测。进一步，所述视频流图像通过设置于机器人上的相机采集。进一步，所述步骤S200具体包括：步骤S210、利用滑动窗将图像分块；步骤S220、分别从亮度、对比度和结构三方面度量图像；步骤S230、采用高斯加权计算每一窗口的均值、方差以及协方差；步骤S240、计算两幅图像对应块的结构相似度；步骤S250、将两幅图像结构相似度的平均值作为结构相似性度量；步骤S260、当相邻两帧的结构相似度小于阈值时，选取前一帧作为关键帧。进一步，作为本专利技术的一个可选项，所述步骤S300具体包括：步骤S311、均匀地对图像进行密集抽样；步骤S312、利用卷积神经网络提取图像特征；步骤S313、对图像进行分类与回归，得到关键帧中的物体。进一步，作为本专利技术的另一个可选项，所述步骤S300具体包括：步骤S321、将关键帧输入多路精细化分割网络中；步骤S322、将组合图像中的低分辨率特征图转换成高分辨率的特征图；步骤S323、对低分辨率特征图和高分辨率特征图逐层进行采样、融合，直到原图大小；步骤S324、得到具有物体信息的图像，所述图像和原图大小一致。进一步，作为本专利技术的另一个可选项，所述步骤S300为，利用EdgeBoxes目标检测算法检测出图像中的物体。进一步，所述步骤S400具体为，运用ResNet卷积神经网络模型，将每幅关键帧表达成具有卷积特征的物体图像集合，将每个物体的特征向量用PCA降维方法进行降维。进一步，所述步骤S500具体包括：步骤S510、根据卷积网络的物体类别建立单词字典，通过离线过程的倒置索引存储地图中所有关键帧；步骤S520、计算机器人观测到的图像中的物体图像集合，通过倒置索引查表，搜索出地图中列于前端的若干关键帧；步骤S530、利用霍夫变换，计算物体图像集合中的物体图像，然后通过对所述物体图像对齐转换参数空间投票，完成排序；步骤S540、对步骤S530中列于前端的若干关键帧进行基于卷积网络特征的高精度匹配，获取若干关键帧之间的相似度。进一步，所述步骤S600具体包括：当所述相似度达到设定比例时，则判定回环检测已经发生，从而调整地图的偏移并更新全局地图；当相似度低于设定比例时，则判定回环检测没有发生，从而新建关键帧并扩充地图。本专利技术还提供一种融合语义信息的视觉SLAM回环检测装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在所述装置的以下模块中：获取模块，用于获取机器人运动过程中拍摄的视频流图像；抽取模块，用于从视频流图像中离线抽取关键帧；检测模块，用于检测出关键帧中的物体级图像；提取模块，用于提取物体级图像的特征；匹配模块，用于匹配物体级图像特征；判断模块，用于对关键帧进行回环检测。本专利技术的有益效果是：本专利技术公开一种融合语义信息的视觉SLAM回环检测方法及装置，首先获取机器人运动过程中拍摄的视频流图像，然后从视频流图像中离线抽取关键帧，检测出关键帧中的物体级图像，并提取物体级图像的特征，进而匹配物体级图像特征，对关键帧进行回环检测，本专利技术具有对光照的不变性，从而实现机器人的准确定位和地图构建。附图说明通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：图1是本专利技术实施例一种融合语义信息的视觉SLAM回环检测方法的流程图；图2是本专利技术实施例一种融合语义信息的视觉SLAM回环检测装置的结构示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本专利技术的保护范围。如图1所示，本专利技术实施例提供的一种融合语义信息的视觉SLAM回环检测方法，在Turtlebot2移动机器人上搭载机器人操作系统(RobotOperatingSystem简称ROS)，上位机设置为NVIDIATX2，载于Turtlebot2上的KinectV2摄像头通过ROS系统传输视频到SLAM回环检测系统上。所述SLAM回环检测方法包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、从视频流图像中离线抽取关键帧；步骤S300、检测出关键帧中的物体级图像；步骤S400、提取物体级图像的特征；步骤S500、匹配物体级图像特征；步骤S600、对关键帧进行回环检测。进一步，所述步骤S100具体为：所述视频流图像通过设置于机器人上的相机采集。进一步，所述步骤S200具体包括：步骤S210、利用滑动窗将图像分块；步骤S220、分别从亮度、对比本文档来自技高网...

【技术保护点】
1.一种融合语义信息的视觉SLAM回环检测方法，其特征在于，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、从视频流图像中离线抽取关键帧；步骤S300、检测出关键帧中的物体级图像；步骤S400、提取物体级图像的特征；步骤S500、匹配物体级图像特征；步骤S600、对关键帧进行回环检测。

【技术特征摘要】
1.一种融合语义信息的视觉SLAM回环检测方法，其特征在于，包括以下步骤：步骤S100、获取机器人运动过程中拍摄的视频流图像；步骤S200、从视频流图像中离线抽取关键帧；步骤S300、检测出关键帧中的物体级图像；步骤S400、提取物体级图像的特征；步骤S500、匹配物体级图像特征；步骤S600、对关键帧进行回环检测。2.根据权利要求1所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述视频流图像通过设置于机器人上的相机采集。3.根据权利要求2所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S200具体包括：步骤S210、利用滑动窗将图像分块；步骤S220、分别从亮度、对比度和结构三方面度量图像；步骤S230、采用高斯加权计算每一窗口的均值、方差以及协方差；步骤S240、计算两幅图像对应块的结构相似度；步骤S250、将两幅图像结构相似度的平均值作为结构相似性度量；步骤S260、当相邻两帧的结构相似度小于阈值时，选取前一帧作为关键帧。4.根据权利要求1～3任一所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300具体包括：步骤S311、均匀地对图像进行密集抽样；步骤S312、利用卷积神经网络提取图像特征；步骤S312、对图像进行分类与回归，得到关键帧中的物体。5.根据权利要求1～3任一所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300具体包括：步骤S321、将关键帧输入多路精细化分割网络中；步骤S322、将组合图像中的低分辨率特征图转换成高分辨率的特征图；步骤S323、对低分辨率特征图和高分辨率特征图逐层进行采样、融合，直到原图大小；步骤S324、得到具有物体信息的图像，所述图像和原图大小一致。6.根据权利要求1～3任一所述的一种融合语义信息的视觉SLA...

【专利技术属性】
技术研发人员：吴俊君，陈世浪，周林，邝辉宇，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东,44