一种基于激光与视觉融合的语义地图构建方法技术

本发明专利技术公开了一种基于激光与视觉融合的语义地图构建方法，涉及无人驾驶SLAM技术领域，解决了无人驾驶技术中大规模闭环检测鲁棒性差和构建点云地图缺失语义信息的技术问题，其技术方案要点是利用环视摄像头模组采集周围环境的图片数据，再将图片传入到DeepLabv3+网络进行语义分割，再利用相机和激光雷达之间的投影关系，将图片中的语义信息投影到点云上构建语义点云地图，运用语义信息改进LeGO

【技术实现步骤摘要】
一种基于激光与视觉融合的语义地图构建方法


[0001]本申请涉及智能驾驶
，尤其涉及一种基于激光与视觉融合的语义地图构建方法。

技术介绍

[0002]SLAM即同步定位与建图是无人驾驶汽车自主行驶的关键技术基石，它是指能够在未知的环境下，通过自身的传感器，获取自身的位姿并逐步构建地图。SLAM主要分为视觉SLAM和激光SLAM，视觉传感器的优势是能够获取丰富的语义信息，激光雷达的优势是能够获取精准的空间位置信息。随着近些年来深度学习和图像识别技术的发展，使得语义信息与SLAM结合成为可能。语义SLAM技术能够建立具有高级语义信息的地图，增强汽车与周围环境的交互和人机协同能力，执行更加高级的任务。
[0003]3D激光SLAM以ZhangJ等人在2014年提出的LOAM为代表，提出了一种激光里程计，利用激光点云中的面特征点的线特征点在相邻帧间的匹配，运用L
‑
M优化来获取位姿。2018年Tixiao Shan等人在LOAM基础上提出LeGO
‑
LOAM，利用地面点云约束去除了不可靠特征，利用分段式L
‑
M优化来计算位姿，并增加了闭环检测模块，使建图的速度和精度有所提升。图像的语义分割是从像素级别理解图像，在深度学习方法流行之前，TextonForest和基于随机森林分类器等语义分割方法是用得比较多的方法。随着深度学习的发展，图像语义分割的算法也日益成熟，2014年，全卷积网络(FCN)横空出世，FCN将网络全连接层用卷积取代，因此使任意图像大小的输入都变成可能，从原先的只能输出一个类别的网络到现在能输出所有像素点的类别。DeepLabv1引用空洞卷积，在保持分辨率的同时扩大了感受野。DeepLabv2和DeepLabv3提出和改善了空洞卷积金字塔模块，来得到更好的分割结果。
[0004]如何建立合适鲁棒性强的SLAM建立语义地图，使汽车不再依赖GPS，对车辆进行正确及时的规划、控制、决策是亟需解决的问题。

技术实现思路

[0005]本申请提供了一种基于激光与视觉融合的语义地图构建方法，其技术目的是提高单车建图的精度，构建大范围的语义地图。
[0006]本申请的上述技术目的是通过以下技术方案得以实现的：
[0007]一种基于激光与视觉融合的语义地图构建方法，包括：
[0008]S1：对车辆传感器进行联合标定，得到各传感器的内参矩阵和外参矩阵；所述传感器包括4个环视安装的相机、一个16线激光雷达和一个IMU；
[0009]S2：所述相机获取图片数据后，对所述图片数据的重合部分进行裁剪得到裁剪后图片，然后将时间戳相同的4张裁剪后图片输入到DeepLabv3+网络进行语义分割，得到语义分割后的图片；
[0010]S3：所述激光雷达对点云数据进行采集，根据相机和激光雷达的外参矩阵将语义分割后的图片投影到同时间戳的点云数据上进行数据融合，得到具有语义信息的语义点
云；
[0011]S4：对所述语义点云进行预处理，然后对每帧点云的特征点进行提取，激光里程计根据相邻帧的特征点之间的关系计算相机和激光雷达的位姿；
[0012]S5：通过松耦合的LIO模型结合IMU的位姿运动对相机和激光雷达的位姿进行矫正；
[0013]S6：通过LeGO
‑
LOAM算法结合矫正后的相机和激光雷达的位姿对所述语义点云进行建图，得到语义点云地图。
[0014]进一步地，该方法还包括S7：基于视觉闭环检测对相机的当前图片数据和历史图片数据进行闭环检测，从而对激光雷达的点云数据进行位姿修正，修正后的位姿再反馈至步骤S6，以对所述语义点云地图进行修正。
[0015]进一步地，所述步骤S1中，所述联合标定包括：
[0016]先对4个环视安装的相机进行标定，得到每个相机的内参，所述内参包括焦距、主点和失真系数；
[0017]通过ROS功能包Lidar_camera_calibration对相机和激光雷达进行联合标定，包括：将激光雷达坐标系作为世界坐标系，通过外参矩阵([R,t])和相机的内参矩阵(f
u
,f
v
,u0,v0)将激光雷达坐标系下的点云(x
w
,y
w
,z
w
)转化成相机平面坐标(u,v)，转换公式表示为：
[0018][0019]激光雷达与IMU的联合标定包括：将点云数据的相对坐标、IMU的运动变换与转换矩阵M相结合，从而将激光雷达扫描一周的点融合成一个点云；其中，转换矩阵M的计算过程包括：计算每一点与其最邻近点云之间的距离之和D，使D最小则得到所述转换矩阵M。
[0020]进一步地，所述步骤S3中，所述数据融合包括：根据相机和激光雷达的外参矩阵将语义分割后的图片投影到同时间戳的点云数据上，根据点云深度信息来优化图像语义分割结果的掩膜，并将没有投影到的点云数据去除，完成对点云数据的分割；其中，投影前的点云数据格式为PointXYZI，投影后的点云数据格式为PointXYZRGBI，PointXYZRGBI格式包括点云的位置信息、颜色信息和强度。
[0021]进一步地，所述步骤S4中，对所述语义点云进行预处理包括：对所述语义点云进行去噪和去除地面点云；
[0022]其中，对所述语义点云进行去噪包括：将点云返回的无效点和丢失点进行去除，然后将语义信息投影有误的点进行修正；
[0023]去除地面点云包括：对地面点直接进行去除，对剩余点云进行聚类，将剩余点云中大小不符合预设阈值的点云簇进行剔除。
[0024]进一步地，所述步骤S4中，对每帧点云的特征点进行提取包括：
[0025]将去除地面点的点云投影成1800*16的深度图像，并将该深度图像按照横坐标平均分成6个子图像；
[0026]通过改进LeGO
‑
LOAM算法根据语义信息在所述子图像中选取面特征候选点和线特征候选点，包括：设p
i
为点云中的一点，S表示和p
i
同一行连续点的集合，且S分布于p
i
的两
侧；选取S为10，定义一个阈值M，将S中的所有点与p
i
的语义进行比较，如果相同则M+1，若M>8则认为此点为面特征候选点，放入集合F
f
中；若M<6则认为此点为线特征候选点，放入集合F
l
中；则p
i
表示为：
[0027][0028]计算每个子图像的F
f
集合中所有点的平滑度，每一行选择最小的4个点保存到计算每个子图像的F
l
集合中所有点的平滑度，每一行选择最大的2个点保存到其中，表示所有子图像的面特征点集合，表示所有子图像的线特征点集合；
[0029]平滑度c的公式如下：
[0030][0031]其中，X
pi
表示p...

【技术保护点】

【技术特征摘要】
1.一种基于激光与视觉融合的语义地图构建方法，其特征在于，包括：S1：对车辆传感器进行联合标定，得到各传感器的内参矩阵和外参矩阵；所述传感器包括4个环视安装的相机、一个16线激光雷达和一个IMU；S2：所述相机获取图片数据后，对所述图片数据的重合部分进行裁剪得到裁剪后图片，然后将时间戳相同的4张裁剪后图片输入到DeepLabv3+网络进行语义分割，得到语义分割后的图片；S3：所述激光雷达对点云数据进行采集，根据相机和激光雷达的外参矩阵将语义分割后的图片投影到同时间戳的点云数据上进行数据融合，得到具有语义信息的语义点云；S4：对所述语义点云进行预处理，然后对每帧点云的特征点进行提取，激光里程计根据相邻帧的特征点之间的关系计算相机和激光雷达的位姿；S5：通过松耦合的LIO模型结合IMU的位姿运动对相机和激光雷达的位姿进行矫正；S6：通过LeGO
‑
LOAM算法结合矫正后的相机和激光雷达的位姿对所述语义点云进行建图，得到语义点云地图。2.如权利要求1所述的语义地图构建方法，其特征在于，该方法还包括S7：基于视觉闭环检测对相机的当前图片数据和历史图片数据进行闭环检测，从而对激光雷达的点云数据进行位姿修正，修正后的位姿再反馈至步骤S6，以对所述语义点云地图进行修正。3.如权利要求1所述的语义地图构建方法，其特征在于，所述步骤S1中，所述联合标定包括：先对4个环视安装的相机进行标定，得到每个相机的内参，所述内参包括焦距、主点和失真系数；通过ROS功能包Lidar_camera_calibration对相机和激光雷达进行联合标定，包括：将激光雷达坐标系作为世界坐标系，通过外参矩阵([R,t])和相机的内参矩阵(f
u
,f
v
,u0,v0)将激光雷达坐标系下的点云(x
w
,y
w
,z
w
)转化成相机平面坐标(u,v)，转换公式表示为：激光雷达与IMU的联合标定包括：将点云数据的相对坐标、IMU的运动变换与转换矩阵M相结合，从而将激光雷达扫描一周的点融合成一个点云；其中，转换矩阵M的计算过程包括：计算每一点与其最邻近点云之间的距离之和D，使D最小则得到所述转换矩阵M；其中，R表示旋转矩阵，t表示平移矩阵，f
u
表示x轴方向焦距的长度，f
v
表示y轴方向焦距的长度，u0表示像素在x轴上的实际位置，v0表示像素在y轴上的实际位置。4.如权利要求1所述的语义地图构建方法，其特征在于，所述步骤S3中，所述数据融合包括：根据相机和激光雷达的外参矩阵将语义分割后的图片投影到同时间戳的点云数据上，根据点云深度信息来优化图像语义分割结果的掩膜，并将没有投影到的点云数据去除，完成对点云数据的分割；其中，投影前的点云数据格式为PointXYZI，投影后的点云数据格式为PointXYZRGBI，PointXYZRGBI格式包括点云的位置信息、颜色信息和强度。5.如权利要求1所述的语义地图构建方法，其特征在于，所述步骤S4中，对所述语义点
云进行预处理包括：对所述语义点云进行去噪和去除地面点云；其中，对所述语义点云进行...

【专利技术属性】
技术研发人员：耿可可，成小龙，殷国栋，庄伟超，王金湘，张宁，
申请(专利权)人：东南大学，
类型：发明
国别省市：