一种基于端到端度量网络的视觉SLAM闭环检测方法技术

本发明专利技术公开了一种基于端到端度量网络的视觉SLAM闭环检测方法，包括以下步骤：S1、对当前时刻的环境图像进行预处理，得到当前时刻的标准化图像；S2、采用特征提取模型对历史时刻和当前时刻的标准化图像分别进行图像特征提取；S3、采用两个图像的多层特征构建相似矩阵；S4、采用卷积神经网络对相似矩阵进行进一步地特征提取；S5、构建相似性度量模型，将相似矩阵的特征图输入相似性度量模型进行历史时刻与当前时刻的环境图像的相似度计算，确定当前时刻的环境是否产生闭环；本发明专利技术解决了现有的闭环检测方法大都将特征提取和相似性度量作为两个环节独立进行使得检测效果不能进一步优化的问题。

【技术实现步骤摘要】
一种基于端到端度量网络的视觉SLAM闭环检测方法
本专利技术涉及同时定位与地图构建领域，具体涉及一种基于端到端度量网络的视觉SLAM闭环检测方法。
技术介绍
近年来，计算机技术和人工智能的飞速发展，带动了许多新兴产业的发展，机器人产业是其中杰出的代表。机器人的出现，给人们的生产生活带来了极大的便利，极大的提高了人们的生活质量。机器人的良好运行得益于同时定位与地图构建技术的发展，该技术使得机器人能够在完全陌生的环境中，通过自身携带的传感器获取周边环境信息，实现自主定位，尤其是在全球定位系统(GPS)无法覆盖的地方，这种技术弥补了GPS信号穿透性差的缺陷。在机器人领域受到越来越多的关注。闭环检测，是整个SLAM系统中至关重要的一个环节。它作用于整个SLAM系统的后端。SLAM系统的前端能够根据传感器数据恢复出机器人的行走轨迹，在恢复轨迹的过程中由于累计误差的存在会造成轨迹的漂移，影响定位的精度。而闭环检测能够通过传感器采集到的数据，判断当前位置是否是机器人曾经到达过的位置，来纠正大量时间尺度上的累积误差，修正轨迹漂移，这对于定位精度的提高以及全局一致性地图的构建起着至关重要的作用。在视觉SLAM中，最简单也最流行的方法是将闭环检测看作图片匹配问题来解决。通过比较在当前位置获取的环境图像和之前到过位置的环境图像之间的相似度来确定此处是否发生了闭环。因此，视觉SLAM中的闭环检测本质上就是图像匹配问题，也被称为地点识别问题，主要可以分为两个关键步骤：特征提取和相似性度量。在传统的闭环检测方法中，特征提取方法通常采用词袋模型(BoW)。基于BoW的方法主要利用的人们利用经验手工设计的特征，一方面特征的信息不够全面，无法应对复杂的视角变化和光照变化等场景，另一方面这部分特征多是一些统计特征，计算复杂度高，效率低下。随着深度学习技术的发展，深度学习技术在图像分类、识别、检索等领域取得了一系列优异的成果，而且相关的网络模型可以很方便的迁移到闭环检测问题中作为特征提取模型来使用，因此，越来越多的研究人员开始利用神经网络来提取特征。通过神经网络提取的特征能够更加有效的表征图片本身，而且能够很好的应对复杂场景下的感知混淆和感知偏差问题。但现有的基于深度学习的方法更多的是关注如何提取更加有效的特征，而忽略了相似性度量的重要性，并且这些方法往往将相似性度量和特征提取当作两个相互独立的环节，忽略了相似性度量的效果会受制于特征提取的有效性，同时相似性度量方法又最终决定了闭环检测的效果。因此，这种基于给定特征以及固定相似性度量的闭环检测方法很难突破检测精度和召回率的进一步提高。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种基于端到端度量网络的视觉SLAM闭环检测方法解决了现有的闭环检测方法大都将特征提取和相似性度量作为两个环节独立进行使得检测效果不能进一步优化的问题。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于端到端度量网络的视觉SLAM闭环检测方法，包括以下步骤：S1、对当前时刻的环境图像进行预处理，得到当前时刻的标准化图像；S2、采用特征提取模型对历史时刻的标准化图像和当前时刻的标准化图像分别进行图像特征提取，得到两个图像的多层特征；S3、采用两个图像的多层特征构建相似矩阵；S4、采用卷积神经网络对相似矩阵进行进一步地特征提取，得到相似矩阵的特征图；S5、构建相似性度量模型，将相似矩阵的特征图输入相似性度量模型进行历史时刻的环境图像与当前时刻的环境图像的相似度计算，并基于相似度，确定当前时刻的环境是否产生闭环。进一步地：所述步骤S1包括以下分步骤：S11、调整当前时刻的环境图像的尺寸，读取该图像并将其转换为张量格式图像；S12、对张量格式图像进行标准化操作，得到当前时刻的标准化图像。进一步地：步骤S12中标准化操作的具体公式为：其中，imagestd为当前时刻的标准化图像，x为张量格式图像，μ为张量格式图像的均值，stddev为张量格式图像的标准方差。进一步地：所述步骤S2中特征提取模型包括：第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块；所述第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块依次连接；所述第1卷积模块的输入端作为特征提取模型的输入端；所述第5卷积模块的输出端作为特征提取模型的输出端；所述第1卷积模块、第2卷积模块和第5卷积模块均由卷积层和池化层构成；所述第3卷积模块和第4卷积模块由卷积层构成；所述第1卷积模块的卷积核大小为11×11；所述第2卷积模块、第3卷积模块和第4卷积模块的卷积核大小均为5×5；所述第5卷积模块的卷积核大小为3×3；所述第1卷积模块的卷积层的步长为4，所述第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块的卷积层的步长均为1；所述第1卷积模块的卷积层的卷积核个数为96，所述第2卷积模块的卷积层的卷积核个数为256，所述第3卷积模块的卷积层的卷积核个数为384，所述第4卷积模块的卷积层的卷积核个数为384，所述第5卷积模块的卷积层的卷积核个数为256；所述第1卷积模块、第2卷积模块和第5卷积模块的池化层均为最大池化层，其池化核的大小均为3×3，其步长均为2。进一步地：所述第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块中的卷积层采用卷积核对输入数据进行特征提取的公式为：其中，为第l卷积模块的卷积层的第i个神经元上第j个特征图的输出特征，为第l卷积模块的卷积层的卷积核，bj第j个特征图的偏置，Relu(·)为激活函数，a为第a个卷积核，m为卷积核的总数。进一步地：所述第1卷积模块、第2卷积模块和第5卷积模块中的最大池化层进行特征压缩的公式为：其中，为最大池化层的输出，r为池化核的大小，yi,j为最大池化层的输入，为第i个池化核内的最大值。进一步地：所述步骤S3中构建相似矩阵的公式为：其中，SMij为相似矩阵，F1,i为当前时刻的图像的多层特征，F2,j为历史时刻的图像的多层特征。进一步地：所述步骤S4中卷积神经网络包括：第6卷积模块、第7卷积模块和第8卷积模块；所述第6卷积模块和第7卷积模块均由卷积层和池化层构成；所述第8卷积模块由卷积层构成；所述第6卷积模块、第7卷积模块和第8卷积模块的卷积核尺寸为3×3；所述第6卷积模块的卷积核的数量为64；所述第7卷积模块的卷积核的数量为128；所述第8卷积模块的卷积核的数量为256；所述第6卷积模块和第7卷积模块的池化层均采用最大池化层，其池化核的大小均为3×3。进一步地：所述步骤S5中相似性度量模型包括：第9卷积模块、第10卷积模块、第11卷积模块、拼接层、第一全连接层、第二全连接层和第三全连接层；所述第9卷积模块、第10卷积模块、第11卷积模块、拼接层、第一全连接层、第二全连接层和第三全连接层依次连接；所述第9卷积模块的输入端作为相似性度量模型的输入端；所述第本文档来自技高网...

【技术保护点】
1.一种基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，包括以下步骤：/nS1、对当前时刻的环境图像进行预处理，得到当前时刻的标准化图像；/nS2、采用特征提取模型对历史时刻的标准化图像和当前时刻的标准化图像分别进行图像特征提取，得到两个图像的多层特征；/nS3、采用两个图像的多层特征构建相似矩阵；/nS4、采用卷积神经网络对相似矩阵进行进一步地特征提取，得到相似矩阵的特征图；/nS5、构建相似性度量模型，将相似矩阵的特征图输入相似性度量模型进行历史时刻的环境图像与当前时刻的环境图像的相似度计算，并基于相似度，确定当前时刻的环境是否产生闭环。/n

【技术特征摘要】
1.一种基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，包括以下步骤：
S1、对当前时刻的环境图像进行预处理，得到当前时刻的标准化图像；
S2、采用特征提取模型对历史时刻的标准化图像和当前时刻的标准化图像分别进行图像特征提取，得到两个图像的多层特征；
S3、采用两个图像的多层特征构建相似矩阵；
S4、采用卷积神经网络对相似矩阵进行进一步地特征提取，得到相似矩阵的特征图；
S5、构建相似性度量模型，将相似矩阵的特征图输入相似性度量模型进行历史时刻的环境图像与当前时刻的环境图像的相似度计算，并基于相似度，确定当前时刻的环境是否产生闭环。


2.根据权利要求1所述的基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S1包括以下分步骤：
S11、调整当前时刻的环境图像的尺寸，读取该图像并将其转换为张量格式图像；
S12、对张量格式图像进行标准化操作，得到当前时刻的标准化图像。


3.根据权利要求2所述的基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S12中标准化操作的具体公式为：



其中，imagestd为当前时刻的标准化图像，x为张量格式图像，μ为张量格式图像的均值，stddev为张量格式图像的标准方差。


4.根据权利要求1所述的基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，所述步骤S2中特征提取模型包括：第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块；
所述第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块依次连接；所述第1卷积模块的输入端作为特征提取模型的输入端；所述第5卷积模块的输出端作为特征提取模型的输出端；所述第1卷积模块、第2卷积模块和第5卷积模块均由卷积层和池化层构成；所述第3卷积模块和第4卷积模块由卷积层构成；所述第1卷积模块的卷积核大小为11×11；所述第2卷积模块、第3卷积模块和第4卷积模块的卷积核大小均为5×5；所述第5卷积模块的卷积核大小为3×3；所述第1卷积模块的卷积层的步长为4，所述第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块的卷积层的步长均为1；所述第1卷积模块的卷积层的卷积核个数为96，所述第2卷积模块的卷积层的卷积核个数为256，所述第3卷积模块的卷积层的卷积核个数为384，所述第4卷积模块的卷积层的卷积核个数为384，所述第5卷积模块的卷积层的卷积核个数为256；所述第1卷积模块、第2卷积模块和第5卷积模块的池化层均为最大池化层，其池化核的大小均为3×3，其步长均为2。


5.根据权利要求4所述的基于端到端度量网络的视觉SLAM闭环检测方法，其特征在于，所述第1卷积模块、第2卷积模块、第3卷积模块、第4卷积模块和第5卷积模块中的卷积层采用卷积核对输入数据进行特征提取的公式为：



其中，为第l卷积模块的卷积层的...

【专利技术属性】
技术研发人员：肖卓凌，李莹，张钰涵，袁正希，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51