一种基于孪生卷积神经网络的回环检测方法技术

本发明专利技术公开了一种基于孪生卷积神经网络的回环检测方法，涉及移动机器人三维地图构建与定位技术领域。所述方法包括：根据神经网络构建训练以及验证数据集；根据神经网络的预测结果是否达到阈值判定回环的产生；强化数据增强神经网络对光照条件的鲁棒性。本发明专利技术通过深度学习结合视觉SLAM的方法，显著提升回环检测的鲁棒性以及准确率。的鲁棒性以及准确率。的鲁棒性以及准确率。

【技术实现步骤摘要】
一种基于孪生卷积神经网络的回环检测方法


[0001]本专利技术涉及视觉SLAM领域，特别是涉及一种基于孪生卷积神经网络的回环检测方法。

技术介绍

[0002]同时定位与建图(Simultaneous Localization and Mapping，SLAM)是当前机器人导航定位领域具有研究前景的
其技术意义在于，机器人在未知环境中能够依赖于自身传感器确定自身在环境地图中的位置，同时可以根据传感器信息建立环境地图。SLAM依据传感划分可以分为激光SLAM和视觉SLAM；而近年来，随着视觉传感器的发展，视觉SLAM受到了足够的关注。视觉SLAM的框架分为传感器信息接收、前端视觉里程计、后端非线性优化、回环检测以及建图。回环检测的本质是确认机器人是否到达了之前的位置。在传统方法中，基于词袋模型的回环检测方法受到广泛应用，它通常分为三步：1)提取图像特征：使用提取算法，从图像中提取特征描述；2)构造视觉词典：对训练图像的特征进行聚类分析生成视觉单词，所有的视觉单词组成视觉词典；3)视觉单词直方图：计算词典中各个单词在该图像中显示的次数，生成视觉单词直方图，用该直方图表示图像信息。但这种方法具有局限性且计算量较大，实时性也不够优秀。随着深度学习的发展，在目标检测，图像分类的问题中都获得了较大的成功，基于深度学习的视觉SLAM方法也逐渐受到人们的关注。多数研究选择卷积神经网络提取图像的描述子的方式代替手工提取，再进行相似性的度量。本文提出基于改进的孪生网络回环检测方法，提高了回环检测的准确率。首先选择了卷积神经网络作为孪生分支，融合ECA模块，提出了AECASiamese网络。

技术实现思路

[0003]针对现有技术的不足，本申请提供一种基于孪生卷积神经网络的回环检测方法，可以解决上述问题。
[0004]本专利技术解决其技术问题所采用的技术方案是：一种基于深度学习方法的回环检测算法，能够显著提升回环检测算法的准确率和实时性。
[0005]为实现上述目的，本专利技术进行了一下步骤：
[0006]步骤一、回环检测的数据集构建：
[0007]牛津大学公开了NewCollege和CityCentre作为回环检测数据集，包括了GPS信息，GroundTrue信息，图片信息；利用GPS信息确定回环的位置，回环的场景需增加要一定的距离限制在进行识别，回环的产生在一定长度的连续帧上都是一致的，一旦成功检测回环，之后的帧因为区分程度不高于阈值也会被判定为回环，所产生的效益就不够大，更多的回环并不会带来更多的信息，所以在构成数据集时需要一定的距离限制，不要反复地学习同一类的回环；利用GroundTrue信息重新对图像信息进行打乱和标注，拆分为回环以及不回环两部分，回环场景标记为1，不回环场景标记为0.其中GPS信息表示了每一张图像的具体坐标；GroundTruth矩阵，用于对回环的标注，若图像i与j处于回环，则对应矩阵(i,j)元素为
1。
[0008]同时为了强化深度学习方法对光照的鲁棒性，进一步提升回环检测方法对光照变化的适应能力，对数据集中经过裁剪的图像进行随机的亮度调整用于神经网络的训练。
[0009]步骤二、AECASiamese网络架构搭建；
[0010]在孪生分支上参考AlexNet并对他进行适当的参数改进适配回环检测任务，AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的，在图像分类上展现出了良好的性能，它的参数如表1所示，其中共包含5层卷积层，3层池化层以及3层全连接层其中filters表示通道数，kernel_size表示卷积核大小，stride表示该卷积层采用的步长，pool表示在卷积操作后是否使用池化层，pool_size为池化层参数。在此基础上进行改进，改进后的网络如图1所示；在构建孪生分支后，将两个孪生分支提取的特征进行拼接，总体结构如图2所示。再将ECA模块融入子网络构建成为AECASiamese网络，ECA模块如图3所示。
[0011]首先输入224*224*3的两帧图像，一帧作为历史帧，一帧作为查询帧；经过子网络提取图像的特征再进行拼接，对拼接后的向量进行归一化和ReLU激活避免梯度爆炸或是梯度消失，再接入全连接层，最后有Sigmoid函数进行输出，输出结果控制在(0,1)之间。经过损失函数对比得到历史帧和查询帧的相似程度。
[0012]表1AlexNet参数表
[0013][0014][0015]步骤三、损失函数的选择
[0016]在孪生网络中通常使用交叉熵损失函数，它可以有效处理孪生网络中的数据对的关系。孪生网络通过左右分支子网提取特征后，计算样本特征间欧式距离。在本文中，选择的损失函数表达式如下：
[0017][0018]其中，outputsize为样本数，与是对应的预测值和实际值。由该损失函数可得，当回环图像相似时，预测结果趋近于1，损失函数的值趋近于0，不相似时损失函数的值则趋近正无穷。在学习过程中，根据网络得出的相似性与训练集标签进行对比可以得出预测值与真实值的区别，通过反向求导更新网络权重使得预测值和真实值逼近；所以该损失函数可以很好地用于训练孪生网络。
[0019]本专利技术的有益效果在于：本专利技术公开的基于孪生网络的回环检测方法，在进行采用训练集图像进行训练后，神经网络可以有效地区分场景是否存在回环。与基于外观的词袋模型相比，本专利技术可以更快地提取图像中的特征描述子完成回环的判断，同时在应对光
照变化时拥有更好的鲁棒性；展现出了较高的准确率与召回率。
附图说明
[0020]下面结合附图和实施例对本申请进一步说明。
[0021]图1为本专利技术孪生分支结构图；
[0022]图2为本专利技术孪生网络结构图；
[0023]图3为本专利技术ECA模块示意图；
[0024]图4为本专利技术P
‑
R曲线图。
具体实施方式
[0025]参照图1
‑
4所示，为本申请的实施例一：对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]本专利技术的目的是提供一种基于孪生卷积网络的回环检测方法，通过神经网络提取图像特征描述子，显著提升回环准确率以及应对光照变化的鲁棒性和计算的速度。
[0027]如图1
‑
图2所示，本专利技术实验采用TensorFlow2.6框架，编程语言选择了Python3.6，使用NVIDIA Tesla P100进行神经网络的训练以及测试。本专利技术的算法将与基于磁带模型的回环检测算法进行对比，采用CityCentre公开数据集进行训练，在NewCollege数据集上验证算法的性能。
[0028]1.训练以及测试
[0029]NewColl本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生卷积神经网络的回环检测方法，其特征在于，方法步骤如下：S1.构建数据集包括GPS信息，GroundTrue信息，图片信息；S2.根据GPS信息确定回环位置，并利用GroundTrue信息对图片信息进行打乱标注，并拆分为拆分为回环以及不回环两部分；S3.在孪生分支上参考AlexNet并对他进行适当的参数改进适配回环检测任务；S4.搭建AECASiamese网络架构，构建孪生分支后，将两个孪生分支提取的特征进行拼接，再将ECA模块融入子网络构建成为AECASiamese网络；S5.经过损失函数对比得到历史帧和查询帧的相似程度,根据相似程度判断是否产生回环。2.根据权利要求1所述的一种基于孪生卷积神经网络的回环检测方法，其特征在于，GroundTrue信息将回环场景标记为1，不回环场景标记为0，其中GPS信息表示了每一张图像的具体坐标；GroundTruth矩阵，用于对回环的标注，若图像i与j处于回环，则对应矩阵(i，j)元素为1。3.根据权利要求1所述的一种基于孪生卷积神经网络的回环检测方法，其特征在于，通过数据集中经过裁剪的图像进行随机的亮度调整用于神经网络的训练，使得强化深度学习方法对光照的鲁棒性，进一步提升回环检测方法对光照变化的适应能力。4.根据权利要求1所述的...

【专利技术属性】
技术研发人员：刘浙东，李金元，曾长新，唐仁贵，孙明礼，周宇晗，
申请(专利权)人：浙江云澎科技有限公司，
类型：发明
国别省市：