基于激光SLAM和单目视觉的道路栅格地图构建方法技术

本发明专利技术提出了一种基于激光SLAM和单目视觉的道路栅格地图构建方法，能够在建图的同时采集道路区域信息，并在建图完成后自动完成栅格地图的构建，建图流程占用的计算资源少，建图精度较高。本发明专利技术利用激光SLAM在多帧点云采集时的局部重匹配技术，极大削减了相对位姿计算的累计误差，提高了栅格地图的建图精度；使用单目视觉进行道路检测，对道路边界较为平整或细粒度较高的情形检测精度远高于激光雷达。或细粒度较高的情形检测精度远高于激光雷达。或细粒度较高的情形检测精度远高于激光雷达。

【技术实现步骤摘要】
基于激光SLAM和单目视觉的道路栅格地图构建方法


[0001]本专利技术涉及自动驾驶
，具体涉及一种基于激光SLAM和单目视觉的道路栅格地图构建方法。

技术介绍

[0002]环境感知、规划决策、车辆控制是自动驾驶领域的三大重要技术。其中环境感知是无人车规划与决策的基础，也是城市自动驾驶中技术难度最高的领域。道路检测是环境感知领域较为基础的一项工作，同时也是无人车路径规划的基础和安全行驶的基本保障。在自动驾驶领域，为实现全局路径规划和高动态环境下的局部路径规划，一套成熟的自动驾驶方案往往会采用高精度地图和实时道路检测相结合的方式完成城市道路的路径规划。机器人使用的地图可以分为三大类：尺寸地图、拓扑地图和语义地图。栅格地图是无人车较常使用的一种尺寸地图，相较于拓扑地图和语义地图，栅格地图详细地表征了地图中可行驶区域和障碍物的轮廓，为不同几何形状和最小转弯半径的无人车提供了统一的路径规划依据。绝大多数的路径规划算法例如Dijkstra、A
*
、蚁群算法均可在栅格地图上使用。
[0003]道路地图构建牵涉到的技术主要有道路检测、定位和建图。常用的道路检测方法主要分为基于机器视觉的和基于激光雷达的两种。基于机器视觉的道路检测方案按传感器划分可分为单目相机、双目相机和深度相机三种。单目相机方案成本较低，计算资源消耗少。但由于无法获得图像深度的原因无法获得图像中物体的尺寸(尺度不确定性)；双目相机方案弥补了尺度不确定性的问题，计算机可根据左右相机的视差计算出图像中每个点的图像深度。然而其测量精度受限于双目相机的基线和分辨率，另外视差的计算非常消耗计算资源；深度相机方案与双目方案一样可以获得尺度信息，相较于双目方案，其获取图像深度的方式是通过发射
‑
接收的硬件系统直接实现的，节省了软件计算资源。但该方案是有源测量，在室外工作时易受太阳光干扰，同时测量范围较窄。基于激光雷达的道路检测方案按传感器划分可分为2D机械激光雷达(以下简称2D激光雷达)、3D机械激光雷达(以下简称3D激光雷达)和固态激光雷达三种。2D激光雷达方案成本较低，通过测量周期性扫描激光点的距离可获得360
°
视角。但提供的2维点云信息信息量过少，且存在运动畸变，仅适合室内地面较为平整的简单环境；3D激光雷达与2D激光雷达的原理类似，在360
°
周期性扫描时通过测量多对激光点的距离获得三维空间的离散距离信息。相较于2D激光雷达虽然能提供3维点云信息，但相较于图像信息信息量仍然较少，对不同颜色的物体几乎没有区分度，对较小的物体容易出现漏检，且同样存在运动畸变的问题。固态激光雷达一般可提供高密度、有限扫描角度(小于360
°
)的点云信息，较上述两种激光雷达没有运动畸变，凭借分辨率较高的优势不容易漏检较小的物体，且结构尺寸较小。但与机械式激光雷达相比却存在扫描角有限、旁瓣效应等问题，且同样存在不具备颜色区分度的问题。
[0004]SLAM是解决定位和建图的常用手段，由于建图是实时进行的，因此不需要存储每一帧采集的数据(图像或点云)，大幅节省了存储空间，但也对算法的实时性提出了更高地要求。SLAM按传感器划分分为基于视觉的和基于激光点云的，视觉SLAM的算法按照传感器
划分也分为单目相机、双目相机和深度相机三大类。ORB
‑
SLAM是三大类算法中最常使用的SLAM算法，其建立的地图由一系列的视觉特征点组成；激光SLAM常用的算法有LOAM、cartographer、gmapping等，其建立的地图由一个完整的地图点云构成。无论是视觉SLAM还是激光SLAM，直接从SLAM建立的地图中人工标注出道路的区域信息或矢量图信息都是一项非常繁琐且精度不高的工作。

技术实现思路

[0005]有鉴于此，本专利技术提出了一种基于激光SLAM和单目视觉的道路栅格地图构建方法，能够在建图的同时采集道路区域信息，并在建图完成后自动完成栅格地图的构建，建图流程占用的计算资源少，建图精度较高。
[0006]为实现上述目的，本专利技术的技术方案为：
[0007]本专利技术的一种基于激光SLAM和单目视觉的道路栅格地图构建方法，具体步骤如下：安装3D激光雷达和单目相机；对单目相机和3D激光雷达进行联合标定，获得相机的内参矩阵和激光雷达坐标系到单目相机坐标系的转换矩阵；采集需要建图的路段的图像和激光点云，并记录下采集时刻的时间戳，再对采集的图像和点云进行时间同步获得最终图像以及最终点云数据对；标定所述最终图像中道路区域作为深度学习的样本标签，并用其训练深度学习模型，获得待检测路段的语义分割模型；对所述最终点云数据对中的激光点云利用激光SLAM算法获得当前帧点云相对于第一帧的相对位姿，根据相对位姿进行点云叠加得到全局点云地图；根据语义分割模型获得图像中的道路区域，利用所述内参矩阵和所述转换矩阵将每一帧点云投影到图像中，通过语义分割模型预测的图像掩膜筛选出位于道路的点云并进行降采样，得到单帧道路点云；利用所述相对位姿将所述单帧道路点云变换到全局地图坐标系下，将变换到全局坐标系的道路点云按帧叠加获得全局道路点云地图；将全局道路点云地图转换为全局二值化栅格地图。
[0008]其中，将全局道路点云地图转换为全局二值化栅格地图前，设置二值栅格地图的栅格大小和栅格单元的占有度阈值，通过阈值将全局道路点云地图转换为全局二值化栅格地图。
[0009]其中，训练深度学习模型时，按照录制的时间顺序，进行等间隔标注，标注方式为框选道路区域的轮廓多边形，并将标注过的样本划分为训练集和验证集分别用于模型训练和模型选择；采用ResNet作为骨架网络的卷积神经网络进行训练样本。
[0010]其中，利用激光SLAM算法时，所述激光SLAM算法为LOAM算法，选择训练的深度卷积神经网络作为单目视觉的道路检测器；利用激光里程计粗匹配得到的相邻帧的刚性变换矩阵进行当前帧的点云运动畸变矫正；通过将当前帧点云与局部点云地图进行局部重匹配得到相对位姿矩阵。
[0011]其中，采用离散化的点云投票算法将全局道路点云转换为全局二值化栅格地图，具体步骤如下：
[0012]建立满足全局道路点云最大尺寸的整型稀疏矩阵；
[0013]采用点云离散投票的方式统计全局道路点云落入每个栅格的个数；
[0014]通过点云在栅格单元的个数阈值生成二值化的道路栅格地图，采用布尔型稀疏矩阵存储该地图。
[0015]有益效果：
[0016]本专利技术利用激光SLAM在多帧点云采集时的局部重匹配技术，极大削减了相对位姿计算的累计误差，提高了栅格地图的建图精度；使用单目视觉进行道路检测，对道路边界较为平整或细粒度较高的情形检测精度远高于激光雷达。
[0017]本专利技术能够实现较小规模的道路栅格地图的自动化构建，不需要GPS和INS参与定位，对于位置偏僻、卫星信号较差的野外道路建图情形仍然适用，对于未安装GPS模块或INS模块的无人车仍然适用。
[0018]本专利技术语义分割模型识别的是道路本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光SLAM和单目视觉的道路栅格地图构建方法，其特征在于，具体步骤如下：安装3D激光雷达和单目相机；对单目相机和3D激光雷达进行联合标定，获得相机的内参矩阵和激光雷达坐标系到单目相机坐标系的转换矩阵；采集需要建图的路段的图像和激光点云，并记录下采集时刻的时间戳，再对采集的图像和点云进行时间同步获得最终图像以及最终点云数据对；标定所述最终图像中道路区域作为深度学习的样本标签，并用其训练深度学习模型，获得待检测路段的语义分割模型；对所述最终点云数据对中的激光点云利用激光SLAM算法获得当前帧点云相对于第一帧的相对位姿，根据相对位姿进行点云叠加得到全局点云地图；根据语义分割模型获得图像中的道路区域，利用所述内参矩阵和所述转换矩阵将每一帧点云投影到图像中，通过语义分割模型预测的图像掩膜筛选出位于道路的点云并进行降采样，得到单帧道路点云；利用所述相对位姿将所述单帧道路点云变换到全局地图坐标系下，将变换到全局坐标系的道路点云按帧叠加获得全局道路点云地图；将全局道路点云地图转换为全局二值化栅格地图。2.如权利要求1所述的方法，其特征在于，将全局道路点云地图转换为全局二值化...

【专利技术属性】
技术研发人员：王军政，欧倪，张欣茹，杨嘉文，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：