一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法技术

本发明专利技术涉及一种基于Multi‑Camera/Lidar/IMU的多传感器SLAM方法，由多目相机获得的多张图像数据与IMU惯性测量单元获得的数据进行紧耦合联合初始化，获得系统的初始位姿；由激光雷达传感器获得激光雷达帧的点云数据，对点云数据进行预处理，将点云划分为强角点、弱角点、强平面点、弱平面点；通过系统的初始位姿对激光雷达帧位姿进行优化；通过闭环检测对激光雷达帧位姿进行进一步优化；利用优化后的激光雷达帧位姿进行地图拼接。本发明专利技术将三种传感器获得的数据进行融合，获得了激光雷达帧位姿更加的准确，有效提高了定位系统的鲁棒性、稳定性。

【技术实现步骤摘要】
一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法
本专利技术涉及计算机视觉、机器人等
，具体涉及一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法。
技术介绍
近些年，无人驾驶行业又逐渐走进大众视野。SLAM可以使移动车辆在GPS无法正常工作的环境下实现定位，并追踪辨识动态车辆与行人为实现智能避障，辅助驾驶和自主导航提供可能。在进行定位和构图的时候，SLAM主要是借助与传感器来获得原始的数据，同时会伴有IMU的辅助。在现有发展的情况下，SLAM有两种实现形式：一种是以激光雷达为主的激光SLAM；另一种是以摄像头为主的视觉SLAM。激光SLAM目前主要应用在室内以及范围较小的环境。视觉SLAM要广泛，也更能适应室外环境，但是对光的依赖性强，在光线暗或是无纹理区域无法工作。随着无人驾驶的迅速发展，为了适应市场环境，无人驾驶的使用场景越来越丰富，既要适应室内环境，又要适应室外环境；室内结构化环境较为理想；室外光照变化剧烈，车辆行人等动态目标较多，重复及杂乱纹理场景较多，给无人驾驶本文档来自技高网...

【技术保护点】
1.一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：包括以下步骤：/nS1：由多目相机获得的多张图像数据与IMU惯性测量单元获得的数据进行紧耦合联合初始化，获得系统的初始位姿；/nS2:由激光雷达传感器获得激光雷达帧的点云数据，对点云数据进行预处理，将点云划分为强角点、弱角点、强平面点、弱平面点；/nS3:通过系统的初始位姿对激光雷达帧位姿进行优化；/nS4：通过闭环检测对激光雷达帧位姿进行进一步优化；/nS5：利用优化后的激光雷达帧位姿进行地图拼接。/n

【技术特征摘要】
1.一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：包括以下步骤：
S1：由多目相机获得的多张图像数据与IMU惯性测量单元获得的数据进行紧耦合联合初始化，获得系统的初始位姿；
S2:由激光雷达传感器获得激光雷达帧的点云数据，对点云数据进行预处理，将点云划分为强角点、弱角点、强平面点、弱平面点；
S3:通过系统的初始位姿对激光雷达帧位姿进行优化；
S4：通过闭环检测对激光雷达帧位姿进行进一步优化；
S5：利用优化后的激光雷达帧位姿进行地图拼接。


2.根据权利要求1所述一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：获得系统的初始化位姿包括如下步骤：
S11：通过树莓派进行多目相机的硬同步触发；
S12：从多目相机中获得多目图像与IMU数据，通过时间戳将多目图像数据与IMU数据进行对齐；
S13：多线程进行多目图像的视觉特征跟踪，并将跟踪的结果进行保存；
S14：对多目图像数据以及IMU数据进行预处理；
S15：对多目图像数据以及IMU数据进行联合初始化，将多目相机获得多张图像信息分别与IMU数据进行紧耦合处理，将处理得到的数据再一次和IMU数据进行紧耦合处理，得到多目的紧耦合视觉惯性里程计；
S16：对多目的紧耦合视觉惯性里程计进行优化，同时进行边缘化处理；
S17：得到优化后的多目视觉惯性里程计，获得系统初始化的位姿，为下一步做准备。


3.根据权利要求2所述一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：多线程进行多目图像的视觉特征跟踪，主要使用OpenCV中的光流跟踪方法。


4.根据权利要求2所述一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：对多目图像数据以及IMU数据进行预处理包括如下步骤：
S141：首先取出相邻两帧间的IMU数据，进行系统初始化位姿估计，将初始的偏航角置零；
S142：对IMU数据预处理主要进行帧间的IMU预积分，同时估计积分后的测量方差与预积分值对状态变量的雅克比矩阵；
S143：对多目图像数据预处理：首先要进行关键帧的判断，根据特征点的ID判断是否将特征压入特征链表中，根据前后帧的平均视差判断是否将该帧置为关键帧，从而确定后端滑动窗口优化的位置。


5.根据权利要求2所述一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：对多目的紧耦合视觉惯性里程计进行优化的步骤包括：
S161:基于滑动窗口的后端优化，使用开源的优化库Ceres进行状态量的优化，通过计算图像的重投影误差与IMU测量残差构建代价函数，使用非线性总体最小二乘方法进行优化；
S162：边缘化处理，根据当前帧是否为关键帧决定边缘化滑动窗口内的数据帧。


6.根据权利要求1所述一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法，其特征在于：对激光雷达点云数据进行预处理的方法包括：
S21：接收激光雷达传感器原始16线点云数据；
S22：计算每一Scan的扫描起始角与终止角，根据每点的坐标值计算点的垂直角度与线号、水平角...

【专利技术属性】
技术研发人员：杨建松，余小欢，陈嵩，白云峰，张合勇，
申请(专利权)人：浙江光珀智能科技有限公司，
类型：发明
国别省市：浙江;33