基于激光视觉融合的建图方法及系统技术方案

本发明专利技术公开了一种基于激光视觉融合的建图方法及系统，包括：接收激光传感器采集到的激光观测数据和视觉传感器采集到的视觉观测数据；根据所述激光观测数据中的每一帧激光点云图像生成局部点云地图；基于卡尔曼滤波算法，根据所述激光观测数据和所述视觉观测数据对所述建图系统的每一时刻的当前状态进行更新；当满足预设的停止更新条件时，基于所述局部点云地图对更新后的所有时刻的所述当前状态进行全局优化，生成全局地图。采用本发明专利技术实施例能够实现对整体环境特点的精确描述，鲁棒性高。性高。性高。

【技术实现步骤摘要】
基于激光视觉融合的建图方法及系统


[0001]本专利技术涉及地图创建
，尤其涉及一种基于激光视觉融合的建图方法及系统。

技术介绍

[0002]目前，建立周边环境地图主要采用同步定位与建图技术进行建图，针对使用不同传感器的SLAM方案，可以分为激光SLAM和视觉SLAM。
[0003]激光SLAM建图具有精度高，受环境光照影响小等优点，但是该方法只能获取空间的几何信息，但是当处于缺失几何信息的空间，例如隧道，激光SLAM建图将会非常不稳定；视觉SLAM建图过程是实时的对每一帧图片提取特征点，跟关键帧做特征匹配，以及局部的地图优化等，但是该方法无法处理纹理质量低的区域，例如空白的墙面。可见，由于环境复杂，单纯只靠一种传感器利用SLAM建立的地图存在各自的缺陷，且获取的地图维度具有视野的局限性，无法对整体的环境特点进行精确的描述。

技术实现思路

[0004]本专利技术实施例的目的是提供一种基于激光视觉融合的建图方法及系统，能够实现对整体环境特点的精确描述，鲁棒性强。
[0005]为实现上述目的，本专利技术实施例提供了一种基于激光视觉融合的建图方法，应用于建图系统，所述建图系统包括激光传感器和视觉传感器，所述基于激光视觉融合的建图方法包括：
[0006]接收所述激光传感器采集到的激光观测数据和所述视觉传感器采集到的视觉观测数据；
[0007]根据所述激光观测数据中的每一帧激光点云图像生成局部点云地图；
[0008]基于卡尔曼滤波算法，根据所述激光观测数据和所述视觉观测数据对所述建图系统的每一时刻的当前状态进行更新；
[0009]当满足预设的停止更新条件时，基于所述局部点云地图对更新后的所有时刻的所述当前状态进行全局优化，生成全局地图。
[0010]作为上述方案的改进，所述建图系统还包括GPS传感器，则所述基于激光视觉融合的建图方法还包括：
[0011]接收所述GPS传感器采集到的GPS观测数据；
[0012]基于卡尔曼滤波算法，利用所述GPS观测数据对所述当前状态进行更新。
[0013]作为上述方案的改进，所述建图系统还包括陀螺仪，则，通过以下步骤对所述当前状态进行预测：
[0014]接收所述陀螺仪采集到的陀螺仪观测数据；
[0015]基于卡尔曼滤波算法和高阶Runge Kutta插值法，利用所述陀螺仪观测数据对所述建图系统的当前状态进行预测。
[0016]作为上述方案的改进，所述基于卡尔曼滤波算法，根据所述激光观测数据和所述视觉观测数据对所述建图系统的每一时刻的当前状态进行更新，包括：
[0017]当当前时刻接收到所述激光观测数据时，基于卡尔曼滤波算法，根据所述激光观测数据对所述建图系统的所述当前时刻的当前状态进行更新；
[0018]当当前时刻接收到所述视觉观测数据时，基于卡尔曼滤波算法，根据所述视觉观测数据对所述建图系统的所述当前时刻的当前状态进行更新；
[0019]当当前时刻同时接收到所述激光观测数据和所述视觉观测数据时，基于卡尔曼滤波算法，按照预设的顺序，先后分别根据所述激光观测数据和所述视觉观测数据对所述建图系统的所述当前时刻的当前状态进行更新。
[0020]作为上述方案的改进，基于卡尔曼滤波算法，根据所述激光观测数据对所述建图系统的当前状态进行更新，包括：
[0021]对每一帧所述激光点云图像进行预处理，提取每一帧所述激光点云图像的第一面特征点和第一线特征点；
[0022]将每一帧所述激光点云图像的坐标数据投影到陀螺仪坐标系下，将所述第一面特征点与所述局部点云地图中的第二面特征点进行匹配，并将所述第一线特征点与所述局部点云地图中的第二线特征点进行匹配；
[0023]利用匹配到的面特征点和线特征点对所述建图系统的当前状态进行更新。
[0024]作为上述方案的改进，所述利用匹配到的面特征点和线特征点对所述建图系统的当前状态进行更新，包括：
[0025]根据匹配到的面特征点，计算局部面片的面中心和法向量；
[0026]根据所述面中心和所述法向量计算第一激光误差；
[0027]对所述第一激光误差求一阶偏导，并线性化处理得到第一激光H矩阵；
[0028]根据匹配到的线特征点，计算局部线的线中心和线方向；
[0029]根据所述线中心和所述线方向计算第二激光误差；
[0030]对所述第二激光误差求一阶偏导，并线性化处理得到第二激光H矩阵；
[0031]将所述第一激光H矩阵和所述第二激光H矩阵进行叠加处理，得到激光H矩阵；
[0032]根据所述激光H矩阵更新所述当前状态的协方差；
[0033]根据更新后的所述协方差对所述当前状态进行更新。
[0034]作为上述方案的改进，所述对每一帧所述激光点云图像进行预处理，提取每一帧所述激光点云图像的第一面特征点和第一线特征点，包括：
[0035]根据每一帧所述激光点云图像的每一激光扫描线的曲率，提取每一帧所述激光点云图像的初始面特征点和初始线特征点；
[0036]统计每一帧所述激光点云图像的点云和所述局部点云地图中的点云在2D栅格下的分布，比较每一个所述2D栅格内的点云分布，得到动态物体所处的2D栅格，删除所述2D栅格中的所述动态物体的点云，以从所述初始面特征点和初始线特征点中过滤动态物体的特征点，得到每一帧所述激光点云图像的第一面特征点和第一线特征点。
[0037]作为上述方案的改进，基于卡尔曼滤波算法，根据所述视觉观测数据对所述建图系统的当前状态进行更新，包括：
[0038]获取所述视觉观测数据中的每一关键帧图像；
[0039]计算上一关键帧图像的每一像素的光度梯度，并将所述局部点云地图的点云投影到所述上一关键帧图像，得到每一像素的深度；
[0040]将光度梯度的模值大于预设的模值阈值的像素点作为追踪点，通过所述深度，将所述追踪点投影到当前关键帧图像，得到若干光度误差；
[0041]将每一所述光度误差作为每一残差，对其求一阶偏微分，并线性化处理，得到每一第一视觉H矩阵；
[0042]将所有所述第一视觉H矩阵进行叠加处理，得到视觉H矩阵；
[0043]根据所述视觉H矩阵更新所述当前状态的协方差；
[0044]根据更新后的所述协方差对所述当前状态进行更新。
[0045]作为上述方案的改进，所述当满足预设的停止更新条件时，基于所述局部点云地图对更新后的所有时刻的所述当前状态进行全局优化，生成全局地图，包括：
[0046]当满足预设的停止更新条件时，对所述局部点云地图进行回环检测，得到每一关键帧激光点云图像；
[0047]计算得到每一所述关键帧激光点云图像之间的相对位姿和所述相对位姿的协方差矩阵；
[0048]根据所述相对位姿、所述相对位姿的协方差矩阵对更新后的所有时刻的所述当前状态进行全局优化，生成全局地图。
[0049]为实现上述目的，本专利技术实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光视觉融合的建图方法，其特征在于，应用于建图系统，所述建图系统包括激光传感器和视觉传感器，所述基于激光视觉融合的建图方法包括：接收所述激光传感器采集到的激光观测数据和所述视觉传感器采集到的视觉观测数据；根据所述激光观测数据中的每一帧激光点云图像生成局部点云地图；基于卡尔曼滤波算法，根据所述激光观测数据和所述视觉观测数据对所述建图系统的每一时刻的当前状态进行更新；当满足预设的停止更新条件时，基于所述局部点云地图对更新后的所有时刻的所述当前状态进行全局优化，生成全局地图。2.如权利要求1所述的基于激光视觉融合的建图方法，其特征在于，所述建图系统还包括GPS传感器，则所述基于激光视觉融合的建图方法还包括：接收所述GPS传感器采集到的GPS观测数据；基于卡尔曼滤波算法，利用所述GPS观测数据对所述当前状态进行更新。3.如权利要求1所述的基于激光视觉融合的建图方法，其特征在于，所述建图系统还包括陀螺仪，则，通过以下步骤对所述当前状态进行预测：接收所述陀螺仪采集到的陀螺仪观测数据；基于卡尔曼滤波算法和高阶Runge Kutta插值法，利用所述陀螺仪观测数据对所述建图系统的当前状态进行预测。4.如权利要求1所述的基于激光视觉融合的建图方法，其特征在于，所述基于卡尔曼滤波算法，根据所述激光观测数据和所述视觉观测数据对所述建图系统的每一时刻的当前状态进行更新，包括：当当前时刻接收到所述激光观测数据时，基于卡尔曼滤波算法，根据所述激光观测数据对所述建图系统的所述当前时刻的当前状态进行更新；当当前时刻接收到所述视觉观测数据时，基于卡尔曼滤波算法，根据所述视觉观测数据对所述建图系统的所述当前时刻的当前状态进行更新；当当前时刻同时接收到所述激光观测数据和所述视觉观测数据时，基于卡尔曼滤波算法，按照预设的顺序，先后分别根据所述激光观测数据和所述视觉观测数据对所述建图系统的所述当前时刻的当前状态进行更新。5.如权利要求4所述的基于激光视觉融合的建图方法，其特征在于，基于卡尔曼滤波算法，根据所述激光观测数据对所述建图系统的当前状态进行更新，包括：对每一帧所述激光点云图像进行预处理，提取每一帧所述激光点云图像的第一面特征点和第一线特征点；将每一帧所述激光点云图像的坐标数据投影到陀螺仪坐标系下，将所述第一面特征点与所述局部点云地图中的第二面特征点进行匹配，并将所述第一线特征点与所述局部点云地图中的第二线特征点进行匹配；利用匹配到的面特征点和线特征点对所述建图系统的当前状态进行更新。6.如权利要求5所述的基于激光视觉融合的建图方法，其特征在于，所述利用匹配到的面特征点和线特征点对所述建图系统的当前状态进行更新，包括：根据匹配到的面特征点，计算局部面片的面中心和法向量；
根据所述面中心和所述法向量计算第一激光误差；对所述第一激光误差求一阶偏导，并线性化处理得到第一激光H矩阵；根据匹配到的线特征点，计算局部线...

【专利技术属性】
技术研发人员：刘烨，颜沁睿，胡闻，
申请(专利权)人：广州宸境科技有限公司，
类型：发明
国别省市：