一种基于紧耦合多源数据的SLAM系统技术方案

本公开实施例中提供了一种基于紧耦合多源数据的SLAM系统，属于数据处理技术领域，具体包括：激光雷达子系统，激光雷达子系统用于获取点云数据；视觉惯性子系统，视觉惯性子系统包括视觉相机和深度相机；惯性测量单元，惯性测量单元用户获取惯性测量值；系统控制单元；闭环检测模块；联合因子图模块，激光雷达子系统和视觉惯性子系统和惯性测量单元均与闭环检测模块连接，闭环检测模块与联合因子图模块连接，联合因子图模块与系统控制单元连接。通过本公开的方案，提高了建图效率、精准度和适应性。适应性。适应性。

【技术实现步骤摘要】
一种基于紧耦合多源数据的SLAM系统


[0001]本公开实施例涉及数据处理
，尤其涉及一种基于紧耦合多源数据的SLAM系统。

技术介绍

[0002]目前，同步定位与建图(simultaneous localization and mapping，简称SLAM)定位与建图是计算机视觉中常用的一种技术，该技术利用传感器从物理世界获取环境数据信息并回传机器设备，从而使机器设备了解物理世界的未知环境。随着人工智能、互联网、计算机硬件等技术的飞速发展，物理和数字的虚拟环境、互联网和网络技术以及扩展现实(英文全称为：simultaneous localization and mapping)之间的相互融合引导着新的虚拟交互方式和技术的变革，SLAM为用户创造沉浸式交互体验提供了基础保证。
[0003]单个感知传感器方法理论日趋完善，在各种数据集上表现优异，但实际应用场景复杂度往往高于特定数据集，如基于视觉的方法适用于位置识别与纹理复杂的环境，但光照环境的变化会引发其性能的损失。因此，通常可以借助其他方法与基于视觉的方法融合，以提高SLAM系统的鲁棒性和精度。为了进一步提高系统性能，本专利技术多源数据采集融合、紧耦合方式对整体系统方法进行联合优化。
[0004]无人机可以进行大规模室内外空间活动，具有人机分离优势；传统GPS机器人定位精度受信号影响大，SLAM算法在机器人高速运动时会出现尺度不确定的问题，影响闭环检测优化性能。
[0005]可见，亟需一种能满足室内外不同大小、类型、光照环境的场景对建图精度、建图效率要求的基于紧耦合多源数据的SLAM系统。

技术实现思路

[0006]有鉴于此，本公开实施例提供一种基于紧耦合多源数据的SLAM系统，至少部分解决现有技术中存在建图效率、精准度和适应性较差的问题。
[0007]本公开实施例提供了一种基于紧耦合多源数据的SLAM系统，包括：
[0008]激光雷达子系统，激光雷达子系统用于获取点云数据；
[0009]视觉惯性子系统，视觉惯性子系统包括视觉相机和深度相机；
[0010]惯性测量单元，惯性测量单元用于获取惯性测量值；
[0011]系统控制单元；
[0012]闭环检测模块；
[0013]联合因子图模块，激光雷达子系统和视觉惯性子系统和惯性测量单元均与闭环检测模块连接，闭环检测模块与联合因子图模块连接，联合因子图模块与系统控制单元连接，所述系统控制单元用于控制深度相机在室外获取单目图像和深度信息，控制视觉相机在室内获取双目图像信息，由闭环检测模块对单目图像、深度信息、双目图像信息和惯性测量值进行特征关联、动态匹配以及回环检测后，通过联合因子图全局优化，最终完成定位建图。
[0014]根据本公开实施例的一种具体实现方式，所述惯性测量单元包括惯性测量预积分单元。
[0015]根据本公开实施例的一种具体实现方式，所述所述视觉惯性子系统还包括对齐计算单元和帧检测单元。
[0016]根据本公开实施例的一种具体实现方式，所述激光雷达子系统还包括特征点计算单元和扫描匹配单元。
[0017]根据本公开实施例的一种具体实现方式，所述联合因子图模块包括约束更新单元。
[0018]根据本公开实施例的一种具体实现方式，所述闭环检测模块包含候选帧计算单元。
[0019]根据本公开实施例的一种具体实现方式，所述系统控制单元还用于控制激光雷达子系统初始化并获取深度信息、系统状态和偏置，通过时间戳对齐激光帧和视觉帧，发布同一时刻上双目追踪到的全部特征点的像素坐标。
[0020]根据本公开实施例的一种具体实现方式，所述系统控制单元还用于获取激光雷达子系统、视觉惯性子系统以及IMU模块的回传数据，取激光雷达子系统的初始值以及惯性测量值积分完成系统初始化，系统状态S可以表示为：
[0021]S＝[M，P，V，B][0022]其中M表示旋转矩阵，P表示位置向量，V表示速度，B表示偏差值。
[0023]根据本公开实施例的一种具体实现方式，所述视觉惯性子系统还包括视觉里程计，所述视觉里程计用于对齐激光帧的点云得到一个稀疏的深度图，获取特征的深度信息完成视觉惯导初始化，组合激光点云数据得到稠密的深度图，利用二维的K
‑
堆树寻找视觉和激光雷达特征联系，通过视觉相机中心和特征点连线长度计算特征点的深度，视觉惯性子系统获取预估值并完成初始化，通过该系统获取扫描匹配的初始值，即视觉里程计输出的位姿作为初值。
[0024]根据本公开实施例的一种具体实现方式，所述闭环检测模块包括视觉里程计约束、雷达里程计约束、惯性测量约束和闭环检测约束。
[0025]本公开实施例中的基于紧耦合多源数据的SLAM系统，包括：激光雷达子系统，激光雷达子系统用于获取点云数据；视觉惯性子系统，视觉惯性子系统包括视觉相机和深度相机；惯性测量单元，惯性测量单元用户获取惯性测量值；系统控制单元；闭环检测模块；联合因子图模块，激光雷达子系统和视觉惯性子系统和惯性测量单元均与闭环检测模块连接，闭环检测模块与联合因子图模块连接，联合因子图模块与系统控制单元连接，所述系统控制单元用于控制深度相机在室外获取单目图像和深度信息，控制视觉相机在室内获取双目图像信息，由闭环检测模块对单目图像、深度信息、双目图像信息和惯性测量值进行特征关联、动态匹配以及回环检测后，通过联合因子图全局优化，最终完成定位建图。
[0026]本公开实施例的有益效果为：通过本公开的方案，激光雷达子系统和视觉惯性子系统分别获取视觉信息和平面结构信息，数据形式分别为3D点云数据和2D栅格数据，惯性测量单元获取惯性测量值，再通过系统控制单元、闭环检测模块和联合因子图模块对获取的数据进行预处理和特征提取并对数据进行联合优化，最终完成定位建图，提高了建图效率、精准度和适应性。
附图说明
[0027]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0028]图1为本公开实施例提供的一种基于紧耦合多源数据的SLAM系统的结构示意图；
[0029]图2为本公开实施例提供的一种基于紧耦合多源数据的SLAM系统的具体搭载框架示意图；
[0030]图3为本公开实施例提供的一种三维点云地图示意图；
[0031]图4为本公开实施例提供的一种觉激光特征联系示意图；
[0032]图5为本公开实施例提供的一种基于紧耦合多源数据的SLAM系统的数据处理流程示意图。
[0033]附图标记汇总：
[0034]基于紧耦合多源数据的SLAM系统100；
[0035]激光雷达子系统110，视觉惯性子系统120，惯性测量单元130，系统控制单元140，联合因子图模块150。
具体实施方式
[0036]下面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于紧耦合多源数据的SLAM系统，其特征在于，包括：激光雷达子系统，激光雷达子系统用于获取点云数据；视觉惯性子系统，视觉惯性子系统包括视觉相机和深度相机；惯性测量单元，惯性测量单元用于获取惯性测量值；系统控制单元；闭环检测模块；联合因子图模块，激光雷达子系统和视觉惯性子系统和惯性测量单元均与闭环检测模块连接，闭环检测模块与联合因子图模块连接，联合因子图模块与系统控制单元连接，所述系统控制单元用于控制深度相机在室外获取单目图像和深度信息，控制视觉相机在室内获取双目图像信息，由闭环检测模块对单目图像、深度信息、双目图像信息和惯性测量值进行特征关联、动态匹配以及回环检测后，通过联合因子图全局优化，最终完成定位建图。2.根据权利要求1所述的系统，其特征在于,所述惯性测量单元包括惯性测量预积分单元。3.根据权利要求2所述的系统，其特征在于,所述所述视觉惯性子系统还包括对齐计算单元和帧检测单元。4.根据权利要求3所述的系统，其特征在于,所述激光雷达子系统还包括特征点计算单元和扫描匹配单元。5.根据权利要求4所述的系统，其特征在于,所述联合因子图模块包括约束更新单元。6.根据权利要求5所述的系统，其特征在于,所述闭环检测模块包含候选帧计算单元。...

【专利技术属性】
技术研发人员：陈志刚，庾永昂，汪海波，
申请(专利权)人：长沙师范学院湖南嘻呱网络科技有限公司，
类型：发明
国别省市：