本发明专利技术提供了一种基于激光雷达的点云和相机图像数据融合的slam方法及系统，包括：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；对关键帧的点云进行物体分割，得到点云空间中的物体对象；对图像中的物体实例和点云空间中的物体对象进行融合统一，得到物体集合；根据物体集合，对前后帧的物体进行匹配；根据前后帧的点云匹配的误差、图像的重投影误差以及特征点在前后帧中的物体类别误差，求解得到相机的位姿；根据相机的位姿将携带物体实例信息的图像注册到点云地图中，得到具有图像语义信息的点云地图。本发明专利技术提升了物体实例分割的鲁棒性，将语义约束增加到优化方程中，使得求解的位姿的精度更高。
【技术实现步骤摘要】
基于激光雷达的点云和相机图像数据融合的slam方法及系统
本专利技术涉及移动机器人定位导航
，具体地，涉及一种基于激光雷达的点云和相机图像数据融合的slam方法。尤其地，涉及一种移动机器人基于多传感器融合的slam方法。
技术介绍
在移动机器人定位导航领域，同步定位与建图(SimultaneousLocalizationandMapping,SLAM)是指机器人在工作环境中确定自身的位姿，同时构建环境的地图。SLAM问题的本质是在环境未知的情况下机器人对环境的建模和对自身位姿的估计，为了建立周围环境的模型，需要确定自身的位姿，同时为了确定自身的位姿，又要对环境进行建模。SLAM问题常常可以分为前端的数据关联和后端的回环优化，现有基于激光雷达和视觉的SLAM方法中，均围绕这两个部分来解决。基于视觉的方法分为直接法和特征点法，直接法将所有像素点均加入投影误差计算，而特征点法仅提取特征点来进行匹配和位姿计算，最终得到特征点地图；基于激光雷达的方法通过点云的匹配来求解位姿并将点云注册到点云地图中。传统的slam方法依赖于点、线等低层次的特征信息来估计位姿，在复杂的室外环境中，尤其是特征稀疏的场景中，其鲁棒性较低。近年来也有语义slam方法，通过语义分割来完成位姿的估计或回环检测，将slam的问题解决方法提升到语义层面。例如专利文献CN110781262A公开的基于视觉SLAM的语义地图的构建方法，该方法包括：通过RGB-D相机采集目标环境图像信息；根据所述目标环境图像信息选取关键帧并确定关键帧的相机位姿；对所述关键帧进行语义分割，预测图像像素的类别；利用所述关键帧的相机位姿以及所述预测的关键帧像素的类别，采用八叉树结构构建三维语义地图。专利文献CN110533720A(申请号：201910768052.6)公开了一种基于联合约束的语义SLAM系统与方法，旨在解决解决在像素深度值不稳定情况下相机位姿计算不准确和当动态目标占据相机视野大部分空间时无法计算相机位姿的问题，通过深度约束方法提高了相机位姿估计的准确性，采用极线约束方法提高了相机轨迹的完整性。实现方法为：数据采集模块获取图像序列；神经网络模块获取检测图像和实例分割图像；联合约束模块获取不同的特征点类别集合；数据融合模块获取静态目标实例分割图像和动态目标实例分割图像；视觉前端模块获取深度相机的位姿和三维空间中的路标点集合；后端优化模块获取全局最优的深度相机位姿和路标点；语义地图模块获取语义点云地图。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于激光雷达的点云和相机图像数据融合的slam方法及系统。根据本专利技术提供的基于激光雷达的点云和相机图像数据融合的slam方法，包括：图像分割步骤：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；点云分割步骤：对关键帧的点云进行物体分割，得到点云空间中的物体对象；物体分割融合步骤：对图像中的物体实例和点云空间中的物体对象进行融合统一，得到物体集合；前后帧物体关联步骤：根据物体集合，对前后帧的物体进行匹配；多约束位姿估计步骤：根据前后帧的点云匹配的误差、图像的重投影误差以及特征点在前后帧中的物体类别误差，建立多约束的非线性最小二乘模型，求解得到相机的位姿；闭环检测与优化步骤：根据相机的位姿将携带物体实例信息的图像注册到点云地图中，得到具有图像语义信息的点云地图。优选的，所述图像分割步骤包括：基于深度学习的图像实例分割网络MaskR-CNN来对关键帧的图像进行分割，获得图像中所有的物体实例信息；选择在室外环境中用双目相机采集图片来作为MaskR-CNN算法的训练集，利用深度学习图像标注工具VGGImageAnnotator进行标注，通过模型训练，得到训练参数；用训练得到的权重模型对每帧关键帧进行预测，对关键帧中的物体进行目标框检测，得到剔除背景后的实例像素级掩码。优选的，所述点云分割步骤包括：利用欧式聚类方法完成点云的分割，通过判断两点的欧式距离是否小于聚类半径，实现激光点的分类，最终得到物体的分割结果。优选的，所述物体分割融合步骤包括：根据图像分割的结果和点云分割的结果确定出当前关键帧中存在的物体，剔除误检测对象。优选的，所述物体分割融合步骤包括：坐标转化步骤：将图像分割得到的物体的像素点通过以下公式转化到点云空间中：P′＝(x′，y′，z′)＝RP+T其中，R为从相机坐标系向激光坐标系转化的旋转矩阵，T为从相机坐标系向激光坐标系转化的平移矩阵，P＝(x，y，z)为相机坐标系中的物体的点的坐标；P′＝(x′，y′，z′)为激光坐标系中点的坐标，x，y，x分别为三维坐标系的坐标点；分割结果融合步骤：对于转化得到的P′点，在点云空间中分割得到的所有物体点云中寻找近邻点Pi，并对每个物体转化后的点到近邻点的距离di求和，用D表示，若D小于预设阈值，则判断图像分割和点云分割均得到了这一物体，并加入最终的分割结果中，否则不加入分割结果中。优选的，所述前后帧物体关联步骤包括：通过对物体点云提取特征并计算物体之间的特征关联距离，将前一帧中分割得到的物体和当前帧分割得到的物体进行匹配，确定对应关系；在点云空间中得到物体包含的点，对每个物体通过特征向量进行表示，基于包围框的位置、尺寸、点的数量、点分布直方图四个特征的提取得到特征向量；将上一帧中的每个物体与当前帧中的每个物体计算特征向量的差，作为关联距离，评估两个物体之间的相似程度，将前后帧的物体根据特征向量进行匹配，将前后帧中特征向量距离最小的物体视为同一物体，并为所有找到匹配的物体分配唯一的ID。优选的，所述闭环检测与优化步骤包括：根据关键帧的点云特征与图像特征组成特征向量，并将当前帧的特征向量与历史帧的特征向量进行匹配完成闭环检测，构成闭环后利用点云和图像信息来优化位姿序列，并将图像信息添加到点云中构建地图。优选的，将图像的特征点转化到点云空间中，得到其深度值和激光的强度值；基于VLAD算法，对图像进行网格划分，对每个网格中心提取稠密sift特征、RGB颜色值，结合获取的深度值和强度值，组成特征向量；利用k-means算法将特征描述向量进行聚类，得到预设数量的类别；利用每个网格的特征描述向量与其聚类中心的差值，所有维度的差值组成该图像的F-VLAD向量Fusion-VLAD，将当前关键帧的F-VLAD向量与历史关键帧的F-VLAD向量进行匹配，匹配距离小于预设阈值则认为构成闭环。优选的，计算所有关键帧的点云匹配误差和图像重投影误差，相加得到联合误差的表示，并进行优化，得到优化后的位姿序列。根据本专利技术提供的基于激光雷达的点云和相机图像数据融合的slam系统，包括：图像分割模块：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；点云分割模块：对关键帧的点云进行物体分割，得到点云空间中的物体对象；物体分割融合本文档来自技高网...
【技术保护点】
1.一种基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，包括：/n图像分割步骤：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；/n点云分割步骤：对关键帧的点云进行物体分割，得到点云空间中的物体对象；/n物体分割融合步骤：对图像中的物体实例和点云空间中的物体对象进行融合统一，得到物体集合；/n前后帧物体关联步骤：根据物体集合，对前后帧的物体进行匹配；/n多约束位姿估计步骤：根据前后帧的点云匹配的误差、图像的重投影误差以及特征点在前后帧中的物体类别误差，建立多约束的非线性最小二乘模型，求解得到相机的位姿；/n闭环检测与优化步骤：根据相机的位姿将携带物体实例信息的图像注册到点云地图中，得到具有图像语义信息的点云地图。/n
【技术特征摘要】
1.一种基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，包括：
图像分割步骤：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；
点云分割步骤：对关键帧的点云进行物体分割，得到点云空间中的物体对象；
物体分割融合步骤：对图像中的物体实例和点云空间中的物体对象进行融合统一，得到物体集合；
前后帧物体关联步骤：根据物体集合，对前后帧的物体进行匹配；
多约束位姿估计步骤：根据前后帧的点云匹配的误差、图像的重投影误差以及特征点在前后帧中的物体类别误差，建立多约束的非线性最小二乘模型，求解得到相机的位姿；
闭环检测与优化步骤：根据相机的位姿将携带物体实例信息的图像注册到点云地图中，得到具有图像语义信息的点云地图。
2.根据权利要求1所述的基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，所述图像分割步骤包括：基于深度学习的图像实例分割网络MaskR-CNN来对关键帧的图像进行分割，获得图像中所有的物体实例信息；
选择在室外环境中用双目相机采集图片来作为MaskR-CNN算法的训练集，利用深度学习图像标注工具VGGImageAnnotator进行标注，通过模型训练，得到训练参数；
用训练得到的权重模型对每帧关键帧进行预测，对关键帧中的物体进行目标框检测，得到剔除背景后的实例像素级掩码。
3.根据权利要求1所述的基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，所述点云分割步骤包括：利用欧式聚类方法完成点云的分割，通过判断两点的欧式距离是否小于聚类半径，实现激光点的分类，最终得到物体的分割结果。
4.根据权利要求1所述的基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，所述物体分割融合步骤包括：根据图像分割的结果和点云分割的结果确定出当前关键帧中存在的物体，剔除误检测对象。
5.根据权利要求1所述的基于激光雷达的点云和相机图像数据融合的slam方法，其特征在于，所述物体分割融合步骤包括：
坐标转化步骤：将图像分割得到的物体的像素点通过以下公式转化到点云空间中：
P′＝(x′吠y′吠z′)＝RP+T
其中，R为从相机坐标系向激光坐标系转化的旋转矩阵，T为从相机坐标系向激光坐标系转化的平移矩阵，P＝(x，y，z)为相机坐标系中的物体的点的坐标；P′＝(x′，y′，z′)为激光坐标系中点的坐标，x，y，x分别为三维坐标系的坐标点；
分割结果融合步骤：对于转化得到的P′点，在点云空间中分割得到的所有物体点云中寻找近邻点Pi，并对每个物体转化后的点到近邻点的距离di求和，用D表示，若D小于预设阈值，则判断图像分割和点云分割均得到了这一物体，并加入最终的分割结果中，否则不加入分割结果中。
...
【专利技术属性】
技术研发人员：王贺升，赵小文，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。