一种基于深度学习的多模态SLAM方法技术

本发明专利技术涉及矿山智能定位与导航技术领域，解决了井下SLAM的特征提取准确度和难度变大的技术问题，尤其涉及一种基于深度学习的多模态SLAM方法，包括以下步骤：S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机

【技术实现步骤摘要】
一种基于深度学习的多模态SLAM方法


[0001]本专利技术涉及矿山智能定位与导航
，尤其涉及一种基于深度学习的多模态SLAM方法。

技术介绍

[0002]煤矿巷道、采掘工作面等作业区域具有典型的非结构化环境特征，且GPS技术无法直接应用于井下，进而导致煤矿开采时矿难频发，急需机械化换人、自动化减人和提高矿山智能化水平。而构建适用于煤矿机器人的自主定位系统方案，解决井下机器人精准定位、姿态感知等问题。如何快速突破惯导、激光和相机等多信息融合的井下机器人精准感知与定位技术，是实现井下机器人局部自主的关键。
[0003]然而正由于矿山井下非结构化、弱光照、无纹理的环境特征下，井下SLAM的特征提取准确度和难度变大，成为井下机器人感知和定位的主要难点。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于深度学习的多模态SLAM方法，解决了井下SLAM的特征提取准确度和难度变大的技术问题，能够在矿山井下非结构化、弱光照、无纹理的环境特征下，提高井下SLAM的特征提取准确度，同时降低提取难度，满足井下机器人感知和定位的需求。
[0005]为解决上述技术问题，本专利技术提供了如下技术方案：一种基于深度学习的多模态SLAM方法，包括以下步骤：
[0006]S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；
[0007]S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；
[0008]S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机
‑
激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点；
[0009]S4、对得到的图像特征点使用KLT光流跟踪法进行跟踪，利用重投影误差做误差状态迭代卡尔曼滤波状态更新得到最新的相机位姿；
[0010]利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计，随后生成视觉里程计因子和激光雷达里程计因子；
[0011]S5、将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化；
[0012]S6、根据优化后的因子图进行三维地图建模。
[0013]进一步地，在步骤S1中，通过相机提取当前帧图像帧的信息，生成图像特征金字塔，具体过程包括以下步骤：
[0014]S11、订阅当前相机获得的相邻两帧图像帧的信息；
[0015]S12、以PWCNet神经网络结构为基础为图像生成图像特征金字塔。
[0016]进一步地，在步骤S2中，获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔，具体过程包括以下步骤：
[0017]S21、订阅当前激光雷达获得的帧点云的信息；
[0018]S22、先对得到的点云进行逆深度缩放以保证图像和点云一一对应；
[0019]S23、以PointPWC
‑
Net神经网络结构为基础，为经过逆深度缩放后的点云生成点云特征金字塔。
[0020]进一步地，在步骤S4中，具体过程包括以下步骤：
[0021]S41、对步骤三融合的图像帧的特征点进行KLT光流跟踪；
[0022]S42、将一个特征点最新的观测帧与在滑动窗口中最老的一帧、两帧对应的IMU位姿估计做重投影误差建立残差关系，最后用误差状态卡尔曼滤波对重投影误差建立的残差关系进行状态更新；
[0023]S43、发布视觉里程计因子；
[0024]S44、利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计；
[0025]S45、发布雷达里程计因子。
[0026]进一步地，在步骤S5中，将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化，具体过程包括：
[0027]S51、向因子图中添加IMU预积分因子；
[0028]S52、向因子图中添加相机里程计因子；
[0029]S53、向因子图中添加激光雷达里程计因子；
[0030]S54、分别求取激光雷达里程计因子、相机里程计因子以及IMU预积分因子关于状态量的雅克比矩阵，使用Levenberg
‑
Marquardt法求解状态量完成因子图的优化。
[0031]进一步地，在步骤S6中，根据优化后的因子图进行三维地图建模，具体过程包括：
[0032]在ros系统中利用map_server服务器配置rgbdslam包并联合因子图优化后的全部数据进行三维地图建模。
[0033]借由上述技术方案，本专利技术提供了一种基于深度学习的多模态SLAM方法，至少具备以下有益效果：
[0034]本专利技术使用基于深度学习的激光雷达、相机和IMU的SLAM方法，将激光雷达的点云特征与相机的图像特征通过深度神经网络提取，解决了井下SLAM的特征提取准确度和难度变大的技术问题，能够在矿山井下非结构化、弱光照、无纹理的环境特征下，提高井下SLAM的特征提取准确度，同时降低提取难度，满足井下机器人感知和定位的需求。
附图说明
[0035]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0036]图1为本专利技术多模态SLAM方法的步骤流程图；
[0037]图2为本专利技术多模态SLAM方法的原理框图；
[0038]图3为本专利技术图像特征金字塔的示意图；
[0039]图4为本专利技术点云特征金字塔的示意图；
[0040]图5为本专利技术图像特征金字塔与点云特征金字塔由双向相机
‑
激光雷达融合模块的融合示意图；
[0041]图6为本专利技术双向相机
‑
激光雷达融合模块的原理框图；
[0042]图7为本专利技术融合感知插值算法的原理图。
具体实施方式
[0043]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
[0044]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD
‑
ROM、光学存储器等)上实施的计算机程序产品的形式。
[0045]本实施例充分考虑了矿山井巷非结构化环境特征且GPS技术无法直接运用的因素，由于矿山井巷非结构化环境特征，所以在一定情况下，激光雷达无法采集到足够的特征点云，但是IMU可以不依赖于外部信息，独立于其它传感器存在，故IM本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模态SLAM方法，其特征在于，包括以下步骤：S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机
‑
激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点；S4、对得到的图像特征点使用KLT光流跟踪法进行跟踪，利用重投影误差做误差状态迭代卡尔曼滤波状态更新得到最新的相机位姿；利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计，随后生成视觉里程计因子和激光雷达里程计因子；S5、将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化；S6、根据优化后的因子图进行三维地图建模。2.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S1中，通过相机提取当前帧图像帧的信息，生成图像特征金字塔，具体过程包括以下步骤：S11、订阅当前相机获得的相邻两帧图像帧的信息；S12、以PWCNet神经网络结构为基础为图像生成图像特征金字塔。3.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S2中，获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔，具体过程包括以下步骤：S21、订阅当前激光雷达获得的帧点云的信息；S22、先对得到的点云进行逆深度缩放以保证图像和点云一一对应；S23、以Poi...

【专利技术属性】
技术研发人员：朱杰，刘弨，段章领，王梦然，杨建文，仰劲涛，夏浩源，王坤，
申请(专利权)人：合肥图灵纪元科技有限公司，
类型：发明
国别省市：