一种即时定位与地图构建系统技术方案

本公开提供了一种即时定位与地图构建系统，包括：获取单元，用于通过全景相机采集场景的图像连续帧以及通过激光雷达采集场景的点云信息；提取单元，用于提取所述图像连续帧中环形有效区域的特征点；融合单元，用于将激光雷达的所述点云信息和全景相机的所述特征点进行融合；定位单元，用于对所述特征点进行帧间匹配以估计所述全景相机的初始位姿并进行优化或者根据全景相机采集到的当前帧图像，采用跟踪模型来估计所述全景相机的当前位姿并进行优化；以及建图单元，用于根据融合的数据结果构建或重建场景地图并进行优化。根据本公开提供的各个实施例，能够更高效地提供丰富的场景特征，这保证了视觉SLAM在复杂场景中的精度和鲁棒性。度和鲁棒性。度和鲁棒性。

【技术实现步骤摘要】
一种即时定位与地图构建系统


[0001]本公开总体上涉及无人机
，更具体地涉及一种即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）系统。

技术介绍

[0002]本部分旨在介绍本领域的一些方面，其可以与下面描述的和/或要求保护的本公开的各个方面相关。相信本部分有助于提供背景信息以便于更好地理解本公开的各个方面。因此，应该理解的是这些介绍应该从这个角度来理解，而不是作为对现有技术的承认。
[0003]即时定位和地图构建（SLAM）已经成了行业内的研究热点。其中，视觉SLAM使用相机传感器提取环境中的丰富特征，从而估计无人机的位姿，并重建周围场景的稀疏地图。然而传统的针孔相机由于视场角有限，因此在无人机转向以及快速运动时系统的鲁棒性较差。

技术实现思路

[0004]本公开的目的在于提供一种即时定位与地图构建系统，以至少解决
技术介绍
中的技术问题。
[0005]根据本公开的第一方面，提供了一种即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）系统，包括：获取单元，用于通过全景相机采集场景的图像连续帧以及通过激光雷达采集场景的点云信息；提取单元，用于提取所述图像连续帧中环形有效区域的特征点；融合单元，用于将激光雷达的所述点云信息和全景相机的所述特征点进行融合；定位单元，用于对所述特征点进行帧间匹配以估计所述全景相机的初始位姿并进行优化或者根据全景相机采集到的当前帧图像，采用跟踪模型来估计所述全景相机的当前位姿并进行优化；以及建图单元，用于根据融合的数据结果构建或重建场景地图并进行优化。
[0006]在至少一些实施例中，所述定位单元还用于使用局部光束法平差对全景相机的初始位姿或当前位姿和所述场景地图进行优化。
[0007]在至少一些实施例中，所述提取单元用于：使用掩膜避开所述图像连续帧中的盲区部分；以及提取所述图像连续帧中环形有效区域的特征点。
[0008]在至少一些实施例中，所述定位单元还用于：判断是否满足闭环检测的条件；响应于满足闭环检测的条件，执行闭环检测；以及使用全局光束法平差对全景相机的当前位姿进行优化。
[0009]在至少一些实施例中，所述建图单元还用于：判断是否满足闭环检测的条件；响应于满足闭环检测的条件，执行闭环检测；以及使用全局光束法平差对所述场景地图进行优化。
[0010]在至少一些实施例中，所述SLAM系统的载体为无人机。
[0011]在至少一些实施例中，所述全景相机为基于全景环带镜头的全景相机。
[0012]根据本公开提供的各个实施例，通过使用全景相机能够对周围360
°
场景成像，因此能够更高效地提供丰富的场景特征，这保证了视觉SLAM在复杂场景中的精度和鲁棒性。
[0013]应当理解，本部分所描述的内容并不旨在标识所要求保护的
技术实现思路
的关键或必要特征，也不旨在单独地用于确定所要求保护的
技术实现思路
的范围。
附图说明
[0014]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的该实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0015]图1示出了SLAM系统的一个示例的框架示意图。
[0016]图2示出了根据本公开的SLAM系统的一个示例的工作流程示意图。
具体实施方式
[0017]下文将参考附图更全面地描述本公开。然而，本公开可以以多种替代形式来体现，并且不应被解释为限于本文描述的实施例。因此，尽管本公开易于进行各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并将在本文详细描述。然而，应当理解，这种方式并不旨在将本公开限制于所公开的特定形式，相反，本公开覆盖了落入由权利要求所限定的本公开的精神和范围内的所有修改方案、等同方案和替代方案。
[0018]应当理解，尽管本文可以用术语第一、第二等描述各种元素，但是这些元素不应该被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素，而不脱离本公开的教导。
[0019]本文结合框图和/或流程图描述了一些示例，其中每个框表示包括用于实现指定逻辑功能的一个或多个可执行指令的电路元件、模分块或代码的部分。还应该注意的是，在其他实现方式中，框中所述的功能可以不按所述的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以实质上同时执行，或者这些框有时可以以相反的顺序执行。
[0020]本文提到的“根据...示例”或“在..示例中”意味着结合示例描述的特定特征、结构或特性可以被包括在本公开的至少一个实现方式中。本文中不同地方出现的短语“根据...示例”或“在...示例中”不一定都指同一示例，也不一定是与其他示例相互排斥的单独或替代示例。
[0021]图1示出了SLAM系统的一个示例的框架示意图。如图1所示，整个SLAM系统流程包括以下几个步骤：1）传感器信息读取，在视觉 SLAM 中主要为相机图像信息的读取和预处理。
[0022]2）视觉里程计 (Visual Odometry, VO)，视觉里程计任务是估算相邻图像间相机的运动以及局部地图的样子，VO 又称为前端（Front End）。
[0023]3）后端优化（Optimization），后端接受不同时刻视觉里程计测量的相机位姿以及回环检测的信息，对它们进行优化，得到全局一致的轨迹和地图。由于接在 VO 之后，又称为后端（Back End）。
[0024]4）回环检测（Loop Closing），回环检测判断机器人是否曾经到达过先前的位置。如果检测到回环，它会把信息提供给后端进行处理。
[0025]5）建图（Mapping），它根据估计的轨迹，建立与任务要求对应的地图。
[0026]全景视觉与激光雷达融合的SLAM系统可以实现无人机的定位，使用基于全景环带镜头（Panoramic Annular Lens, pal)）的全景相机对周围场景进行高清成像，然后输入到计算机中进行一系列的处理。将采集的图像信息与激光雷达生成的点云进行数据融合，能进行更精确定位和建图，同时实现测距和避障等功能。
[0027]图2示出了根据本公开的SLAM系统的一个示例的工作流程示意图。如图2所示，全景相机连接到计算机之后，采集无人机周围360
°
场景的图像连续帧，然后输入到计算机中；SLAM系统将对这些图像序列进行处理；首先使用掩膜避开图像中的盲区部分，提取环形有效区域的特征点；所述激光雷达对前方的场景进行实时的扫描，同时将点云信息传输到计算机中，并融合激光点云信息与图像信息。
[0028]如果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种即时定位与地图构建系统，包括：获取单元，用于通过全景相机采集场景的图像连续帧以及通过激光雷达采集场景的点云信息；提取单元，用于提取所述图像连续帧中环形有效区域的特征点；融合单元，用于将激光雷达的所述点云信息和全景相机的所述特征点进行融合；定位单元，用于对所述特征点进行帧间匹配以估计所述全景相机的初始位姿并进行优化或者根据全景相机采集到的当前帧图像，采用跟踪模型来估计所述全景相机的当前位姿并进行优化；以及建图单元，用于根据融合的数据结果构建或重建场景地图并进行优化。2.根据权利要求1所述的SLAM系统，其中，所述定位单元还用于使用局部光束法平差对全景相机的初始位姿或当前位姿和所述场景地图进行优化。3.根据权利要求1所述的SLAM系统，其中，所述提取单元用于：使用掩膜避开所述图像连续帧中的盲区部分；以及提取所述图像连续帧中环形有效区域...

【专利技术属性】
技术研发人员：任雪峰，马熙，唐文志，
申请(专利权)人：北京卓翼智能科技有限公司，
类型：发明
国别省市：