一种基于深度学习的机器人闭环检测方法技术

本发明专利技术涉及一种基于深度学习的机器人闭环检测方法，包括(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。

A closed loop robot detection method based on depth learning

The invention relates to a deep learning robot based on closed-loop detection methods, including (1) to obtain the first frame environment RGB images and 3D data, the environment of the RGB images and 3D data registration to obtain RGB+DEPTH four channel image environment, the RGB+DEPTH four channel image input to the convolutional neural network, intermediate layer the output of the convolutional neural network as the feature extraction results of the first frame (2); (1) the characteristics of the method to obtain the continuous N frame extraction results; (3) the feature extraction results of the N frame and the M frame matching characteristics, according to the results to determine whether the loop feature matching, M+1< N.

【技术实现步骤摘要】
一种基于深度学习的机器人闭环检测方法
本专利技术涉及一种基于深度学习的机器人闭环检测方法。
技术介绍
在机器人学与计算机视觉领域，视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。视觉里程计是机器人定位、地图构建以及路径规划等高层任务的基础。但是视觉里程计由于传感器的估计精度，会产生累计误差，其估计的机器人位姿会与真实位姿之间发生漂移，这种漂移可以通过闭环检测消除。传统的闭环检测方法多依赖单一传感器信息，通过人为设计的特征提取和描述方法进行信息配准，有较大的应用局限性，这些方法忽略了环境中有用的信息，造成闭环检测的准确度不高。因此，不可避免地导致机器人定位、地图构建的鲁棒性差，而且，这些方法计算代价较大，不适合实时检测。
技术实现思路
本专利技术为了解决上述问题，提出了一种基于深度学习的机器人闭环检测方法，基于深度学习技术，实现了基于多传感器信息的融合，可同时提取环境结构特征和色彩纹理特征，另外无需人工设计和计算特征点及描述子，更无须执行繁杂的特征点匹配方法，具有较强的鲁棒性和实时性。为了实现上述目的，本专利技术采用如下方案：一种基于深度学习的机器人闭环检测方法，其特征在于：(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。进一步，获取RGB+DEPTH四通道图像具体包括：对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，采用像素插值结合平滑处理方法生成对应的深度图；深度图像与RGB图像并联生成RGBD四通道图像。所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库，或是结构类似的卷积神经网络。进一步，采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。相似性矩阵是对称矩阵，其中的第N行、第M列元素代表第N帧和第M帧之间的归一化后的欧式距离。进一步，对所述相似性矩阵进行特征值分解，去掉较大特征值，以得到降秩后的矩阵，用于避免根据特征匹配结果做出伪闭环的判断。进一步，选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。进一步，将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。本专利技术的有益效果：本专利技术提出了一种基于卷积神经网络(convolutionalneuralnetwork,CNN)的深度学习闭环检测方法。可以同时融合3D激光点云数据与RGB图像数据，自适应的提取隐含在数据中的环境纹理信息、色彩信息和结构信息，生成对场景的有效特征描述，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，该技术可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，该技术无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。附图说明图1为本专利技术简化的流程图。具体实施方式：下面结合附图与实施例对本专利技术作进一步说明。实施例1：一种基于深度学习的机器人闭环检测方法，(1)机器人摄像头获取的RGB图像与三维激光扫描仪获取的三维数据，即激光点云数据进行配准，从而构造出RGB+DEPTH四通道图像。配准方法为：激光器数据利用摄像机内外参数投影到上述RGB图像平面，经过像素插值和平滑生成对应的深度图像，与RGB彩色图像并联生成RGBD四通道图像，将RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；本专利技术可采用广泛应用于视觉识别的预训练神经网络Alexnet，也可基于场景识别数据库Places对预训练网络再进行参数调优，或是结构类似的卷积神经网络。将配准数据输入训练好的卷积神经网络中，其各个隐含层的输出对应于图像特征表示，本专利技术选用匹配精度较高的中间层特征完成特征提取。(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。本专利技术为避免特征匹配时做出假闭环决策，采用以下优化方法：一方面对相似性矩阵进行特征值分解，舍弃较大的特征值，以得到降秩后的相似性矩阵；另一方面闭环的发生在机器人行进过程中有一定的连续性，因此可根据相邻关键帧是否都能够检测到闭环做出决策。即为：将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。进一步，本专利技术可以选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。关键帧有多种方法选取机制：可以通过判断上一帧和当前帧之间的特征差异，也可以通过距离和角度变化来决定，可参考王可、贾松敏等人的相关论著。关键帧的选取主要是为了减少机器人在构建地图过程中的冗余信息，使得地图存储量得到精简，提升检索效率。实施例2：一种机器人，包括摄像机，其特征在于：还配置有三维激光扫描仪，采用上述的闭环检测方法判断闭环是否发生。采用这种方法的机器人，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，本专利技术可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，本专利技术无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。上述虽然结合附图对本专利技术的具体实施方式进行了描述，但并非对本专利技术保护范围的限制，所属领域技术人员应该明白，在本专利技术的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本专利技术的保护范围以内。本文档来自技高网...

【技术保护点】
一种基于深度学习的机器人闭环检测方法，其特征在于：(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。

【技术特征摘要】
1.一种基于深度学习的机器人闭环检测方法，其特征在于：(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。2.根据权利要求1所述的方法，其特征在于：对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，并生成对应的深度图像。3.根据权利要求2所述的方法，其特征在于：生成对应的深度图像包括：采用像素插值结合平滑处理方法生成对应的深度图像。4.根据权利要求3所述的方法，其特征在于：所述深度图像与RGB图像并联生成RGBD四通道图像。5.根据权利要求1所述的方法，其特征在于：所述卷积神经网络采用预训练神经网络Alexnet或基于Pl...

【专利技术属性】
技术研发人员：刘国良，赵洋，田国会，张威，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37