多传感器融合SLAM系统及机器人技术方案

本发明专利技术提供了一种多传感器融合SLAM系统及机器人，所述系统运行于移动机器人，包括：视觉惯性模块、激光扫描匹配模块、闭环检测模块、以及视觉激光图优化模块。根据本发明专利技术提供的多传感器融合SLAM系统及机器人，使用体素子图可减少激光匹配约束优化的计算量，使得位姿的计算更加准确，系统长时间运行累计的误差可以通过各模块充分融合而及时得到修复，并且整体提升了系统的鲁棒性及定位和建图的准确性。

Multi sensor fusion slam system and robot

【技术实现步骤摘要】
多传感器融合SLAM系统及机器人
本专利技术涉及机器人
，特别涉及一种多传感器融合SLAM系统及机器人。
技术介绍
SLAM技术在过去的几十年里得到了广泛的研究，尽管SLAM技术解决了机器人在未知环境同步定位与地图构建，但在处理多样化的环境和长时间连续运行方面，任然存在挑战。SLAM可以运行在各种各样的传感器上。在过去的几年里，基于激光雷达的SLAM系统因其对环境变化的鲁棒性而比基于视觉的系统更受欢迎。然而，纯激光雷达系统有其不足之处，它们在隧道或走廊等重复结构的环境中会失效。
技术实现思路
在这些有挑战的环境中，定位和建图需要充分利用各种传感器的优点。鉴于此，本专利技术的目的在于提供一种多传感器融合SLAM系统及机器人，整体提升系统的鲁棒性及定位和建图的准确性。为了实现上述目的，本专利技术实施方式提供如下技术方案：本专利技术提供一种多传感器融合SLAM系统，所述系统运行于移动机器人，包括：激光扫描匹配模块，使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束；闭环检测模块，使用深度神经网络提取视觉关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图象描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束，并将所述闭环位姿约束发送至所述激光扫描匹配模块；以及视觉激光图优化模块，在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正系统累计误差。在这种情况下，使用体素子图可减少激光匹配约束优化的计算量，使得位姿的计算更加准确，系统长时间运行累计的误差可以通过各模块充分融合而及时得到修复，并且整体提升了系统的鲁棒性及定位和建图的准确性。其中，采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出所述高级位姿。其中，所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元，所述视觉前端单元用于选定所述关键帧，所述IMU预积分单元生成IMU观测值，所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。由此，IMU预积分单元可将重力加速度对位姿和速度的影响去除，使得新定义的IMU观测值与初值积分的位姿和速度无关，在优化过程中无需反复重新积分，加快优化速度，进而可提高滑动窗口优化单元计算相邻帧的预积分增量、预积分误差的雅各比矩阵和协方差矩阵的效率；滑动窗口优化单元采用窗口优化而不是全局优化，可显著降低计算量，保证计算速度，视觉惯性模块可以为激光扫描匹配模块输出实时准确地位姿信息。其中，所述视觉前端单元采用单目相机或者双目相机作为输入，所述单目相机或者双目相机采集初始图像，所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点，所述视觉前端单元包括检测器，所述检测器检测角点特征，保持每个所述初始图像中的所述特征点为最小数量，所述检测器用于设置相邻两个所述特征点之间的最小像素间隔，所述视觉前端单元去除所述特征点的畸变，并使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，将正确匹配的所述特征点投影到单位球面上。由此，可以是特征点便于进一步优化。其中，所述选定关键帧，具体包括：判断当前帧和最新的所述关键帧之间的被跟踪的所述特征点的平均视差是否超过阈值，如果超过第一阈值，则将所述当前帧视为新的关键帧，如果所述帧的跟踪的特征点的数量低于第二阈值，则将所述帧视为所述新的关键帧。在这种情况下，避免了完全丢失特征跟踪。其中，所述激光扫描匹配模块包括激光雷达，所述激光雷达获取扫描点，根据所述位姿信息和IMU观测值对所述扫描点执行变换，将其转换为当前时刻的所述机器人所在坐标系下的三维点云。由此，可避免由于激光雷达的旋转速度相对机器人移动速度较慢时，产生的非常严重的运动畸变，显著提升了位姿估计的精度。其中，所述闭环检测模块包括相似性检测单元、视觉位姿求解单元和激光位姿求解单元，所述相似性检测单元提取当前关键帧图像描述符，并与关键帧数据集中的关键帧图像描述符做对比，选出最相似的相似关键帧，将所述相似关键帧插入所述关键帧数据集，所述视觉位姿求解单元通过快速特征点提取和描述算法匹配所述当前关键帧和所述相似关键帧的特征点，使用随机抽样一致算法和基本矩阵模型剔除错误匹配的所述特征点，当正确匹配的所述特征点达到第三阈值，使用随机抽样一致算法和n点透视法求解所述当前关键帧到所述相似关键帧的相对位姿变换，所述激光位姿求解单元选择所述当前关键帧以及所述相似关键帧相关联的两个所述体素子图，将所述相对位姿变换作为初值，采用迭代最近点算法匹配所述两个体素子图，得到最终相对位姿变换。在这种情况下，可以显著提升对机器人视角变化、环境亮度变化和弱纹理等情况下的闭环检测的速度和准确性。本专利技术还提供一种机器人，所述机器人包括如上所述的多传感器融合SLAM系统。根据本专利技术所提供的多传感器融合SLAM系统及机器人，使用体素子图可减少激光匹配约束优化的计算量，使得位姿的计算更加准确，系统长时间运行累计的误差可以通过各模块充分融合而及时得到修复，并且整体提升了系统的鲁棒性及定位和建图的准确性。附图说明图1示出了本专利技术的实施方式所涉及的多传感器融合SLAM系统的示意图；图2示出了本专利技术的实施方式所涉及的多传感器融合SLAM系统的视觉惯性模块的示意图；图3示出了本专利技术的实施方式所涉及的多传感器融合SLAM系统的闭环检测模块的示意图。具体实施方式以下，参考附图，详细地说明本专利技术的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。本专利技术实施方式涉及多传感器融合SLAM系统及机器人。如图1所示，多传感器融合SLAM系统100运行于移动机器人。包括：视觉惯性模块10、激光扫描匹配模块20、闭环检测模块30、视觉激光图优化模块40。视觉惯性模块10，用于输出位姿信息。激光扫描匹配模块20使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束。闭环检测模块30使用深度神经网络提取视觉关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图象描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法(PnP)确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束，并将所述闭环位姿约束发送至所述激光扫描匹配模块。视觉激光图优化模块20在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正系统累计误差。在这种情况下，使用体素子图可减少激光匹配约束优化的本文档来自技高网...

【技术保护点】
1.一种多传感器融合SLAM系统，其特征在于，所述系统运行于移动机器人，包括：/n视觉惯性模块，用于输出位姿信息；/n激光扫描匹配模块，使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束；/n闭环检测模块，使用深度神经网络提取视觉关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图象描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束，并将所述闭环位姿约束发送至所述激光扫描匹配模块；以及/n视觉激光图优化模块，在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正系统累计误差。/n

【技术特征摘要】
1.一种多传感器融合SLAM系统，其特征在于，所述系统运行于移动机器人，包括：
视觉惯性模块，用于输出位姿信息；
激光扫描匹配模块，使用所述位姿信息作为初值，将激光扫描的点云与体素地图匹配求解出高级位姿，根据所述高级位姿将所述点云融入所述体素地图，并衍生新的体素子图，所述激光扫描匹配模块产生激光匹配约束；
闭环检测模块，使用深度神经网络提取视觉关键帧图像描述符，将所述图像描述符与之前的关键帧的所述图象描述符进行比较，判断是否存在闭环，如果存在闭环，则采用n点透视法确定两个所述关键帧的位姿变换，根据所述位姿变换和所述体素子图求解闭环位姿约束，并将所述闭环位姿约束发送至所述激光扫描匹配模块；以及
视觉激光图优化模块，在发生所述闭环后，根据所述位姿信息、所述激光匹配约束以及所述闭环位姿约束，修正系统累计误差。


2.如权利要求1所述的多传感器融合SLAM系统，其特征在于，采用迭代最近点算法将激光扫描的点云与体素地图匹配求解出所述高级位姿。


3.如权利要求1所述的多传感器融合SLAM系统，其特征在于，所述视觉惯性模块包括视觉前端单元、IMU预积分单元和滑动窗口优化单元，所述视觉前端单元用于选定所述关键帧，所述IMU预积分单元生成IMU观测值，所述滑动窗口优化单元用于联合优化视觉重投影误差、惯性测量误差和里程测量误差。


4.如权利要求3所述的多传感器融合SLAM系统，其特征在于，所述视觉前端单元采用单目相机或者双目相机作为输入，所述单目相机或者双目相机采集初始图像，所述视觉前端单元通过KLT稀疏光流算法跟踪各个帧的特征点，所述视觉前端单元包括检测器，所述检测器检测角点特征，保持每个所述初始图像中的所述特征点为最小数量，所述检测器用于设置相邻两个所述特征点之间的最小像素...

【专利技术属性】
技术研发人员：何科君，陈美文，郭璁，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：广东;44