一种多传感器融合的建图方法及系统技术方案

本发明专利技术公开了一种多传感器融合的建图方法及系统，属于机器人和自动驾驶技术领域，用于解决现有的建图方法鲁棒性差的技术问题。方法包括：对双目相机采集的环境图像进行ORB特征提取；利用视觉惯性里程计，通过所述ORB特征，为激光雷达提供初始位姿；通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值；利用所述激光雷达与所述视觉惯性里程计，通过所述初始位姿与所述点云配准初值，更新地图。本申请通过上述方法实现了激光雷达与视觉惯性里程计之间的耦合，视觉能为激光提供初始位姿估计和点云配准的初值同时，激光还能够为视觉提供深度信息与初始化信息，从而提高机器人建图过程中的鲁棒性与准确性。而提高机器人建图过程中的鲁棒性与准确性。而提高机器人建图过程中的鲁棒性与准确性。

【技术实现步骤摘要】
一种多传感器融合的建图方法及系统


[0001]本申请涉及机器人和自动驾驶
，尤其涉及一种多传感器融合的建图方法及系统。

技术介绍

[0002]使移动机器人能够在现实世界中执行任务并与人互动一直是向前发展的长期目标，其要解决的基本任务之一是赋予机器人位置感和环境感。即时定位与建图(Simultaneous Localization and Mapping，SLAM)算法就是为了解决这一问题而设计的。由于光照、小视场、运动模糊等因素的影响，基于视觉的状态估计器在实践中的鲁棒性不好。而激光雷达传感器的宽视场、密度、范围和精度使其适用于导航、定位和测绘。
[0003]现有的激光雷达
‑
惯性里程计IMU工作可分为松耦合和紧耦合两类：松耦合方法分别处理两个传感器以推断它们的运动约束，而紧耦合方法通过联合优化直接融合激光雷达和惯性测量。LOAM作为松耦合方法执行点特征到边缘/平面扫描匹配，以找到激光雷达扫描之间的对应关系，IMU测量则用于消除激光雷达扫描的偏斜，并在扫描匹配之前给出运动。与松耦合方法相比，紧耦合方法能够表现出更高的鲁棒性和准确性，例如LIO
‑
SAM的紧耦合方法优化了因子图中关键帧姿态的滑动窗口，以实现更高的精度和鲁棒性，然而LIO
‑
SAM在长走廊等相似场景中易发生退化，导致建图失败。

技术实现思路

[0004]本申请实施例提供了一种多传感器融合的建图方法及系统，用于解决如下技术问题：现有的建图方法鲁棒性差。
[0005]本申请实施例采用下述技术方案：
[0006]一方面，本申请实施例提供了一种多传感器融合的建图方法，所述方法包括：对双目相机采集的环境图像进行ORB特征提取；利用视觉惯性里程计，通过所述ORB特征，为激光雷达提供初始位姿；通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值；利用所述激光雷达与所述视觉惯性里程计，通过所述初始位姿与所述点云配准初值，更新地图。
[0007]在本申请说明书的一个或多个实施例中，在进行ORB特征提取之前，所述方法还包括：通过所述双目相机的视差，获取所述ORB特征的深度信息。
[0008]在本申请说明书的一个或多个实施例中，在进行ORB特征提取之前，所述方法还包括：对所述激光雷达采集的点云数据进行点云特征提取；将提取的所述点云特征的深度信息，确定为所述ORB特征的深度信息。
[0009]在本申请说明书的一个或多个实施例中，在进行ORB特征提取之前，所述方法还包括：获取所述视觉惯性里程计中包含的惯性测量单元IMU的预积分；利用所述IMU的预积分对所述双目相机进行初始化。
[0010]在本申请说明书的一个或多个实施例中，所述激光雷达的点云配准过程采用ICP
配准算法实现。
[0011]在本申请说明书的一个或多个实施例中，通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值之前，所述方法还包括：若所述视觉惯性里程计中没有回环检测结果，则对所述激光雷达采集的预设范围内的点云数据进行配准；根据点云配准的结果，判断是否发生回环检测。
[0012]在本申请说明书的一个或多个实施例中，所述方法还包括：确定所述视觉惯性里程计发生回环检测；提取所述回环检测的结果，并将所述结果传递给所述激光雷达作为所述点云配置初值。
[0013]在本申请说明书的一个或多个实施例中，在更新地图之后，所述方法还包括：更新所述视觉惯性里程计中的IMU预积分。
[0014]在本申请说明书的一个或多个实施例中，所述方法还包括：利用所述激光雷达与所述视觉惯性里程计进行多因子图优化处理，并根据处理结果，更新地图。
[0015]另一方面，本申请实施例还提供了一种多传感器融合的建图系统，所述系统包括：双目相机，用于采集环境图像，并对环境图像进行ORB特征提取；视觉惯性里程计，用于通过所述ORB特征，为激光雷达提供初始位姿；所述视觉惯性里程计，还用于通过回环检测结果，为所述激光雷达提供点云配准初值；所述激光雷达，用于通过所述初始位姿与所述点云配准初值更新地图。
[0016]本申请实施例提供的一种多传感器融合的建图方法及系统，具有以下有益效果：通过视觉惯性里程计为激光雷达提供初始位姿，以及通过将视觉惯性里程计中的回环检测结果，作为激光雷达的点云配准初值，实现了激光雷达与视觉惯性里程计之间的传感器耦合，为提高机器人建图过程中的鲁棒性与准确性提供保障，同时，视觉部分双目相机的初始化，可以通过视觉惯性里程计中IMU的预积分实现，也有效避免了视觉初始化困难的不足。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0018]图1为本申请实施例提供的一种多传感器融合的建图方法流程图；
[0019]图2为本申请实施例提供的另一种多传感器融合的建图方法流程图；
[0020]图3为本申请实施例提供的一种多传感器融合的建图系统的结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0022]下面通过附图对本申请实施例中的方法进行详细说明。
[0023]图1为本申请实施例提供的，如图1所示，本申请实施例中的方法至少包括以下执行步骤：
[0024]步骤101、对双目相机采集的环境图像进行ORB特征提取。
[0025]双目相机是一种特殊的摄像机，它有两个摄像头，两个摄像头之间的距离可以通过改变焦距来改变，以达到不同的拍摄效果。在本申请的一个示例中，使用的双目相机是双目深度相机，也即，本申请实施例中的双目相机的摄像头是两个深度摄像头，可以采集环境数据的深度信息。
[0026]环境图像是机器人建图时，双目相机针对机器人运动范围内的环境数据采集的图像。
[0027]ORB特征是一种常用的图像特征，其有关键点与描述两部分构成，提取速度较快。需要说明的是，本申请实施例中的ORB特征的提取过程可以通过现有算法或技术实现，本申请实施例在此不做赘述。
[0028]在本申请实施例的一种或多种可能实现方式中，ORB特征提取之后还需要对其进行跟踪，且ORB特征的提取与跟踪均需要利用ORB特征的深度信息，该深度信息可以有以下两种方式获取，其一是通过前述双目相机的两个摄像头之间的视差获取，其二是通过激光雷达采集的点云数据进行点云特征提取与点云匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多传感器融合的建图方法，其特征在于，所述方法包括：对双目相机采集的环境图像进行ORB特征提取；利用视觉惯性里程计，通过所述ORB特征，为激光雷达提供初始位姿；通过所述视觉惯性里程计的回环检测结果，为所述激光雷达提供点云配准初值；利用所述激光雷达与所述视觉惯性里程计，通过所述初始位姿与所述点云配准初值，更新地图。2.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行ORB特征提取之前，所述方法还包括：通过所述双目相机的视差，获取所述ORB特征的深度信息。3.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行ORB特征提取之前，所述方法还包括：对所述激光雷达采集的点云数据进行点云特征提取；将提取的所述点云特征的深度信息，确定为所述ORB特征的深度信息。4.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，在进行ORB特征提取之前，所述方法还包括：获取所述视觉惯性里程计中包含的惯性测量单元IMU的预积分；利用所述IMU的预积分对所述双目相机进行初始化。5.根据权利要求1所述的一种多传感器融合的建图方法，其特征在于，所述激光雷达的点云配准过程采用ICP配准算法实现。6.根据权利要求1所述的一种多传感器融合的建图方法，其...

【专利技术属性】
技术研发人员：蒋风洋，程瑶，王健，黄洋，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：