一种融合多传感器的室外大场景三维建图方法技术

本发明专利技术提供了一种融合多传感器的室外大场景三维建图方法，将实现流程分为两个模块，视觉惯性里程计模块，激光里程计与建图模块。视觉惯性里程计模块包括光流追踪，IMU预积分，初始化，滑窗优化，边缘化，建立词袋模型。激光里程计与建图模块包含点云分割，去除点云畸变，特征提取和帧间匹配，回环检测和建图。相对于单一的雷达建图方案，本发明专利技术融合视觉惯性里程计的高频位姿，具有点云畸变去除效果好，回环检测精度高，建图精度高的特点。解决了室外大场景三维地图精度较低的问题，为无人驾驶的进一步发展提供了突破口。

【技术实现步骤摘要】
一种融合多传感器的室外大场景三维建图方法
本专利技术涉及无人驾驶
，特别是一种融合多传感器的室外大场景三维建图方法。
技术介绍
同时定位与地图构造建(SimultaneousLocalizationandMapping,SLAM)在无人驾驶车辆上的应用受到越来越多科研工作者的注目。其目的是使无人车在GPS失效后，可以根据自身搭载的传感器在依靠SLAM技术所建立的环境地图中，且没有先验信息的情况下，自主完成无人车的位姿估计和导航。主流的SLAM方法可根据传感器的类型分为两种，基于图像的视觉SLAM和基于雷达的激光SLAM。此外，融合惯性测量器件(InertialMeasurementUnit,IMU)的视觉SLAM也是当今的研究热点。然而，纯视觉SLAM需要适度的光照条件和明显的图像特征，且在室外无法构建三维地图。激光SLAM在运动中易产生非匀速运动畸变，且在退化场景中定位不准确。
技术实现思路
有鉴于此，本专利技术的目的是提出一种融合多传感器的室外大场景三维建图方法，相对于传统的激光建图，大大提升了建图精度，能本文档来自技高网...

【技术保护点】
1.一种融合多传感器的室外大场景三维建图方法，其特征在于，包括以下步骤：/n用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；/n将点云分类成不同类型的点，再融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点...

【技术特征摘要】
1.一种融合多传感器的室外大场景三维建图方法，其特征在于，包括以下步骤：
用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值；参数初始化将视觉与IMU预积分进行松耦合求解出陀螺仪bias、尺度因子、重力方向和相邻两帧间的速度；通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，并用边缘化充分利用离开滑窗的图像帧，将输出的高频VIO位姿通过激光雷达相机联合标定转换到激光雷达坐标系下，同时构建词袋模型；
将点云分类成不同类型的点，再融合高频VIO位姿将传统的雷达匀速运动模型改进为多阶段的匀加速模型，以去除点云畸变；然后进行点云特征提取，将特征点进行帧间匹配，匹配后的点云用LM优化得到两帧点云间的位姿变换矩阵，并转换到初始点云坐标系下，最后融合基于词袋模型的回环检测构建三维地图。


2.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述用光流追踪相邻两帧图像，并将IMU的预积分作为相邻两帧图像运动的预测值具体为：
对图像数据的预处理；提取图像的FAST特征，并使用KLT光流对特征点进行追踪；为了求取光流沿x，y方向上的速度分量，构建一个5×5的像素窗口，该邻域中25个像素点的运动一致：



式中，Ix、Iy表示图像中像素点亮度在x、y方向上的图像梯度，It表示在t方向上的时间梯度，u、v为光流沿x、y方向上的速度矢量，pi表示第i个像素；其中，KLT光流追踪从角点检测开始：
对IMU数据的预处理；对IMU进行预积分处理，将高频率输出的加速度和角速度测量值转化为单个观测值：



式中，b系是IMU坐标系，w系为世界坐标系，为用四元数表示时t时刻从IMU坐标系到世界坐标系的旋转，Ω为四元数右乘；表示第k帧的位姿，表示第k帧的速度，表示t时刻从IMU系到世界坐标系的旋转矩阵，表示IMU测得的加速度，表示t时刻加速度偏置，gw表示重力加速度，表示第k帧的旋转，表示IMU测得的角速度，表示t时刻角速度偏置。


3.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述通过滑窗优化基于视觉构造的残差项和基于IMU构造的残差项，具体为：
使用滑动窗口法优化窗口内的状态变量：



式中，xi是在i时刻窗口中的优化向量，Ri，pi为相机位姿的旋转和平移部分，vi为相机在世界坐标系下的速度，bai、bgi分别为IMU的加速度bias和陀螺仪bias；
设在k时刻参与优化滑窗中的所有帧的所有xi的集合为Xk，系统的所有观测量为Zk；用最大后验概率估计系统的状态量：



式中，X0表示初始时刻参与优化滑窗中的所有优化向量的集合，Kk表示在k时刻参与优化的滑窗内所有关键帧的集合，Iij表示在关键帧时刻i和关键帧时刻j这段时间内所有IMU测量值的集合，zil表示i时刻相机观测到的三维特征点，Ci表示关键帧时刻i系统内视觉测量值的集合；
再将该最大后验问题转化为优化问题：



式中，Xk*代表最大估计后验值，r0代表滑窗初值残差，代表IMU观测残差，代表相机观测残差，∑0表示滑窗初值的协方差，∑ij表示IMU观测值的协方差，∑C表示相机观测值的协方差。


4.根据权利要求1所述的一种融合多传感器的室外大场景三维建图方法，其特征在于，所述构建的词袋模型为：

【专利技术属性】
技术研发人员：彭育辉，林晨浩，马中原，钟聪，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35