一种多尺度特征融合的闭环检测系统及方法技术方案

本发明专利技术公开了一种多尺度特征融合的闭环检测系统及方法，该闭环检测系统包括分别对当前采集图像与历史采集的任一图像组成的相似性待匹配图像进行处理的基础特征提取模块和多尺度特征提取

【技术实现步骤摘要】
一种多尺度特征融合的闭环检测系统及方法


[0001]本专利技术属于机器人导航
，涉及机器人导航中的闭环检测，尤其涉及一种基于多尺度特征融合的闭环检测技术。

技术介绍

[0002]闭环检测已成为移动机器人导航领域的一个关键问题和研究热点，特别是在同时定位与建图(SLAM)中，因为它可以减少机器人位姿估计的累积误差并构建全局一致性地图，这对于自主机器人的定位、建图和在大场景下进行导航、避障尤为重要。正确的闭环检测可以在姿势图中添加边缘约束，以帮助进一步优化机器人运动估计并构建一致性地图。错误的闭环检测将导致地图构建失败。因此，良好的闭环检测算法对于一致性地图乃至整个SLAM系统都至关重要。
[0003]基于视觉的闭环检测，也称为视觉重定位，是指机器人在导航过程中使用视觉传感器提供的图像来识别以前访问过的位置。近年来，学者们在基于视觉的闭环检测算法上进行了大量研究。传统算法可以大致分为两类：基于词袋(BoW)的方法和基于全局描述符的方法。
[0004]目前，基于词袋的方法是用于闭环检测的主流方法，其是指从场景图像中提取局部特征，并将它们聚类为多个“单词”；然后，基于这些“单词”以矢量的形式描述整个图像。因此，视觉闭环检测问题被转换为两张图像描述向量的相似性度量问题。基于词袋的方法的关键问题是如何选择图像的局部特征，常见的特征点提取算法有SIFT、SURF和ORB等。Rosten E等公开了一种用于高速角点检测的特征点提取方法，首先提取了FAST关键点，然后使用Brief计算描述符(Rosten E,Drummond T.Machine learning for high
‑
speed corner detection[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2006:430
‑
443)。对于一般的情况，可以通过直方图或汉明距离将词袋模型描述的图像进行一对一比较，并且当距离小于某个阈值时，确认检测到闭环。尽管词袋模型法取得了巨大的成功，但也存在许多缺陷：
[0005]①
鲁棒性差，没法适应相机角度、光照强度变化大和存在障碍物遮挡的场景；这是由于，词袋模型运用的诸如SIFT、SURF和ORB等描述符，只能提取图像的局部特征，不具有全局性，只能表示某个特征的有无，无法描述特征之间的相对位置关系；因此，很难具有高的鲁棒性。
[0006]②
迁移性差，字典需要提前由人工建立，并且建立的字典与特定环境极度相关，在一个场景中运行良好的方法很难在其它场景中达到同样的效果。因此，很难在不同场景之间扩展模型。
[0007]③
效率低，特征提取、匹配流程复杂，且从图像中提取特征和构建特征向量需要花费大量的时间，这不利于某些对实时性能要求较高的SLAM系统；这是由于传统的闭环检测方法包含图像预处理、特征提取、外点筛除和建立特征向量等一系列流程，耗时巨大，对计算平台的性能要求较高，算法很难在嵌入式设备上实时运行。
[0008]张云洲等公开了基于栈式卷积自编码的是视觉SLAM闭环检测，利用自动编码器提取图像特征，并使用相似性测量矩阵来检测闭环，这在公共数据集上具有很高的准确性(张云洲,胡航,秦操,楚好,吴运幸.基于栈式卷积自编码的视觉SLAM闭环检测[J].控制与决策,2019,34(05):981
‑
988)。
[0009]然而，无论传统的基于词袋模型的闭环检测方法，还是基于深度学习的闭环检测方法，均未考虑特征的多尺度性，只是在一个尺度上进行特征提取，不仅影响闭环检测效果，还进一步限制了其泛化能力，仍然难以实现训练模型在不同场景之间的有效迁移。

技术实现思路

[0010]针对目前适用于机器人导航的闭环检测方法存在的鲁棒性差、迁移性差等问题，提供一种多尺度特征融合的闭环检测方法，利用多尺度特征、单一的特征相似性度量等，能够提取图像中蕴含的高级、抽象和全局特征，通过多维特征相似性度量，旨在提高视觉闭环检测的准确率和鲁棒性。
[0011]本专利技术的专利技术思路为：根据当前采集的图像与较早拍摄的图像之间的相似性来确定两个时刻是否在同一位置。因此，本专利技术具有成对的输入，对应于两个分支，如图1所示。本专利技术分为三层：基础特征提取，多尺度特征提取
‑
融合和多维相似性度量。基础特征提取层提取输入图像的基础特征。多尺度特征提取
‑
融合层对提取的基础特征进行多尺度再提取和融合，得到图像的抽象特征。多维相似性度量层使用多维相似性度量方法来确定输入的两张图像是否形成闭环。两个分支在基础特征提取层和特征融合层结构上是相同的。
[0012]基于上述专利技术思路，本专利技术提供的多尺度特征融合的闭环检测系统，其包括分别对当前采集图像与历史采集的任一图像组成的相似性待匹配图像进行处理的基础特征提取模块和多尺度特征提取
‑
融合模块，以及用于获取待匹配图像相似性得分的多维相似性度量模块；
[0013]基础特征提取模块结构相同，用于对相似性待匹配的图像进行基础特征提取；
[0014]多尺度特征提取
‑
融合模块，位于基础特征提取模块的后面，用于对提取的基础特征进一步进行多尺度特征提取并进行融合得到相似性待匹配图像的高级特征；
[0015]多维相似性度量模块，用于分别获取相似性待匹配图像的高级特征各列的空间相似性向量、各行的通道相似性向量和全局相似性得分，并依据空间相似性向量、通道相似性向量和全局相似性得分通过全连接处理得到最终相似性得分。
[0016]上述基础特征提取模块可以采用常规CNN(Convolutional Neural Networks，卷积神经网络)，本专利技术采用的是VGG(Simonyan K,Zisserman A.Very deep convolutional networks for large
‑
scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.)。与早期的CNN相比，VGG使用更深的网络模型来获取特征。它还增加了诸如ReLU激活函数，本地响应正则化(LRN)，Dropout等模块，可以降低过度拟合的风险。此外，网络上公开了其在多个大型数据集上的预训练权重。鉴于这些优点，本专利技术采用VGG
‑
16模型的第5池化层的输出作为基础特征提取模块输出的图像特征表达，而舍弃了其后的全连接层。
[0017]上述多尺度特征提取
‑
融合模块包括特征再提取单元、多尺度特征提取单元、转化单元、重构单元；所述特征再提取单元用于对提取的基础特征进行进一步特征提取和通道降维；所述多尺度特征提取单元包括多个并行设置的不同尺度的特征运算块和第一级联
层，各特征运算块分别对特征再提取单元的输出进行不同尺度感受野的特征提取，并利用第一级联层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度特征融合的闭环检测系统，其特征在于，包括：分别对当前采集图像与历史采集的任一图像组成的相似性待匹配图像进行处理的基础特征提取模块和多尺度特征提取
‑
融合模块，以及用于获取待匹配图像相似性得分的多维相似性度量模块；基础特征提取模块，用于对相似性待匹配的图像进行基础特征提取；多尺度特征提取
‑
融合模块，用于对提取的基础特征进行多尺度特征提取并进行融合得到两个相似性待匹配图像的高级特征；多维相似性度量模块，用于分别获取相似性待匹配图像的高级特征各列的空间相似性向量、各行的通道相似性向量和全局相似性得分，并依据空间相似性向量、通道相似性向量和全局相似性得分通过全连接处理得到最终相似性得分。2.根据权利要求1所述多尺度特征融合的闭环检测系统，其特征在于所述基础特征提取模块采用VGG，以VGG
‑
16模型的第5池化层的输出作为基础特征提取模块输出。3.根据权利要求1所述多尺度特征融合的闭环检测系统，其特征在于所述多尺度特征提取
‑
融合模块包括特征再提取单元、多尺度特征提取单元、转化单元、重构单元；所述特征再提取单元用于对提取的基础特征进行进一步特征提取和通道降维；所述多尺度特征提取单元包括多个并行设置的不同尺度的特征运算块和第一级联层，各特征运算块分别对特征再提取单元的输出进行不同尺度感受野的特征提取，并利用第一级联层将各特征运算块的输出在通道维度上进行级联；所述转化单元，用于将多尺度特征提取单元输出结果进行通道降维；所述重构单元包括多个并行设置的不同尺度的池化层和第二级联层，各池化层分别对转化单元输出特征进行不同尺度池化运算，并利用第二级联层将各池化层输出特征在空间维度上进行级联得到高级特征。4.根据权利要求3所述多尺度特征融合的闭环检测系统，其特征在于所述特征再提取单元可以由一个以上的卷积层组成，当包含两个以上卷积层时，卷积层顺次设置即可；卷积层中过滤器的数量为64
‑
256；所述多尺度特征提取单元包括3
‑
6个特征运算块；特征运算块由池化层或/和一个以上的卷积层组成；当包含两个以上卷积层时，卷积层顺次设置即可；卷积层中过滤器的数量为64
‑
128。5.根据权利要求1所述多尺度特征融合的闭环检测系统，其特征在于所述多维相似性度量模块包括空间相似性度量单元、通道相似性度量单元、全局相似性度量单元、第三级联层和全连接层；所述空间相似性度量单元将两个待匹配图像高级特征的各对应列进行相似性分析，得到两个待匹配图像特征在每个通道上的空间相似性向量，并对该空间相似性向量进行压缩处理；所述通道相似性度量单元将两个待匹配图像高级特征的各对应行进行相似性分析，得到两个待匹配图像特征在各行的通道相似性向量，并对该通道相似性向量进行压缩处理；所述全局相似性度量单元将两个待匹配图像高级特征进行相似性分析，得到两个待匹配图像特征的全局相似性得分；第三级联层将压缩后的空间相似性向量、压缩后的通道相似性向量和全局相似性得分在通道维度上进行拼接得到最终相似性向量，并通过全连接层生成最终相似性得分。6.根据权利要求5所述多尺度特征融合的闭环检测系统，其特征在于空间相...

【专利技术属性】
技术研发人员：胡博，钟羽中，赵涛，尹艳杰，张鸿，佃松宜，李胜川，周桂平，刘佳鑫，李勇，郭锐，
申请(专利权)人：四川大学国网山东省电力公司，
类型：发明
国别省市：