基于深度学习的LIDAR-IMU紧耦合语义SLAM方法及相关装置制造方法及图纸

基于深度学习的LIDAR

【技术实现步骤摘要】
基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法及相关装置


[0001]本专利技术属于移动机器人定位与地图构建
，特别涉及基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法及相关装置。

技术介绍

[0002]随着大量机器人在生产生活中各个领域的广泛应用，促进机器人的智能化、自动化不断发展。定位和建图是智能移动机器人成功的基础，路径规划、避障、交互等多种功能的实现都需要一个高性能的定位和建图方案，即SLAM。利用基于激光雷达和相机的传感技术可实现移动机器人的六自由度状态估计，但早期传统的SLAM方法主要以静态环境假设为前提，环境中存在的动态物体会对SLAM系统的运行造成干扰，导致精度下降甚至失效。近年来人工智能方法的发展和应用，使得移动机器人在动态环境下的表现得到了显著提升，极大增强了移动机器人对不同环境的适应能力，提高算法的鲁棒性和可靠性。
[0003]场景中存在的可移动物体，比如行人、车辆、动物等，由于传统的SLAM方法的定位和场景认知能力较弱，不能有效对动态物体进行处理，导致移动的物体会极大地干扰场景结构和定位，结果可能不够可靠。
[0004]回环检测用于判断机器人是否到达之前到过的地方，可有效提高地图的全局一致性，减小建图误差。现有的基于LiDAR的环路闭合检测方法，包括局部、全局和基于分段的方法，可以取得很好的效果，但对语义信息的应用较少，同时，基于传统方法判断回环通常耗时较长，对于整体SLAM方法的实时性要求影响较大。
专利技术内容
[0005]本专利技术的目的在于提供基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法及相关装置，以解决现有技术中未能同时考虑机器人应用中动态环境干扰及场景认知能力弱、语义SLAM实时性差的问题。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]第一方面，本专利技术提供基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，包括：
[0008]获取机器人激光雷达LIDAR和惯性测量单元IMU的点云数据，并进行去畸变处理，得到去畸变点云；
[0009]将去畸变点云通过球投影得到深度图像，输入到预设的语义分割模块，得到逐点云的语义信息；
[0010]将具有语义标签的点云作为SLAM系统前端的输入，利用语义信息辅助特征提取和匹配，通过语义ICP得到两帧之间的位姿变换；
[0011]将深度图像以及语义信息作为回环检测模块，判断两帧是否属于回环；
[0012]将语义ICP得到的位姿变换、IMU预积分约束及回环检测结果作为后端优化输入。
[0013]可选的，获取机器人激光雷达LIDAR和惯性测量单元IMU的点云数据，并进行去畸变处理，得到去畸变点云：
[0014]通过IMU预积分获取机器人的位姿变化，把所有的点云补偿到一帧开始时刻，把本身在过去一帧内收集的点云统一到一个时间点上去，使得该帧所有点云数据都是相对统一原点；采用紧耦合的方案，将惯性测量单元IMU数据参与到SLAM后端优化，对IMU的偏差进行更新，减小其累计误差。
[0015]可选的，将去畸变点云通过球投影得到深度图像，输入到预设的语义分割模块，得到逐点云的语义信息：
[0016]采用基于球投影得到的深度图像的点云语义分割方法，先将去畸变的当前帧点云数据通过球投影得到深度图像，当前帧之前的N帧点云通过SLAM得到的位姿将其变换到当前帧时刻，统一其坐标系，然后通过球投影得到深度图像作为语义分割网络的额外输入，利用各帧一致性差异以实现最终的语义分割结果中包含对移动物体的分类；语义分割的过程中，先是得到深度图像上的语义分割结果，然后再将其反投影得到逐点云的语义信息。
[0017]可选的，将具有语义标签的点云作为SLAM系统前端的输入，利用语义信息辅助特征提取和匹配，通过语义ICP得到两帧之间的位姿变换：
[0018]首先，利用语义信息，将被标记为动态物体的点云滤除；然后，将容易出现匹配错误导致精度下降的点云滤除，根据场景点云类别分布情况，采用不同的降采样率，同时对不同类别点云，引入权重参数；在点云匹配时，先用点云标签做粗匹配，再细化同类标签点云，同时对不同语义类别的点云采取不同模式计算匹配残差。
[0019]可选的，将深度图像以及语义信息作为回环检测模块，判断两帧是否属于回环：
[0020]逐点云的语义信息，结合球投影得到的深度图像，将其作为神经网络的输入，提取特征，最终得到具有旋转不变性的描述子，通过比较两帧的描述子之间相似性，当小于给定阈值时，作为回环检测候选帧，在得到回环检测候选帧之后，通过几何验证保证回环检测的准确性，同时，根据场景不同，通过调节候选帧确定阈值进而平衡正确率和召回率；几何验证是将检测为回环检测的两帧，通过语义ICP得到两帧之间的位姿变换，当位姿变换小于一定阈值时认为属于回环检测；大场景下先对位姿估计的不可靠性做评价，通过不可靠性确定其检索范围。
[0021]可选的，通过比较两帧的描述子之间相似性，来进行回环检测：
[0022]步骤1：将语义分割模块得到的深度图像和语义信息作为网络输入，得到偏航角旋转不变的全局描述子，偏航角变化导致的点云坐标变化变现到深度图像上只是其水平坐标的变化，在网络设计上只对纵向进行压缩特征提取，对横向不做变化，在网络的最后阶段再生成旋转不变的全局描述子；
[0023]步骤2：通过里程计得到的位姿估计的协方差矩阵判断位姿的不确定性，根据不确定性调整回环检测的搜索范围；
[0024]步骤3：判断回环检测候选帧：在搜索范围内，通过计算两帧的全局描述子之间的差异，小于给定阈值时，认为是回环候选帧；
[0025]步骤4：几何验证，将候选帧通过前述语义ICP方法得到两帧之间的位姿估计，当位姿估计小于给定值时，认为属于回环。
[0026]可选的，将语义ICP得到的位姿变换、IMU预积分约束及回环检测结果作为后端优化输入：
[0027]采用因子图的形式，将里程计位姿估计、IMU预积分以及回环检测结果分别作为因
子添加到因子图中，进行优化。
[0028]第二方面，本专利技术提供基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM系统，包括：
[0029]数据获取模块，用于获取机器人激光雷达LIDAR点云和惯性测量单元IMU的数据，并进行去畸变处理，得到去畸变点云；
[0030]语义分割模块，用于将去畸变点云通过球投影得到深度图像，输入到预设的语义分割模块，得到逐点云的语义信息；
[0031]位姿变换获取模块，用于将具有语义标签的点云作为SLAM系统前端的输入，利用语义信息辅助特征提取和匹配，通过语义ICP得到两帧之间的位姿变换；
[0032]回环检测模块，用于将深度图像以及语义信息作为回环检测模块输入，判断两帧是否属于回环；
[0033]优化输入模块，用于将语义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，其特征在于，包括：获取机器人激光雷达LIDAR点云和惯性测量单元IMU的数据，并进行去畸变处理，得到去畸变点云；将去畸变点云通过球投影得到深度图像，输入到预设的语义分割模块，得到逐点云的语义信息；将具有语义标签的点云作为SLAM系统前端的输入，利用语义信息辅助特征提取和匹配，通过语义ICP得到两帧之间的位姿变换；将上述深度图像以及语义信息作为回环检测模块输入，判断两帧是否属于回环；将语义ICP得到的位姿变换、IMU预积分约束及回环检测结果作为后端优化输入。2.根据权利要求1所述的基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，其特征在于，获取机器人激光雷达LIDAR点云和惯性测量单元IMU的数据，并进行去畸变处理，得到去畸变点云：通过IMU预积分获取机器人的位姿变化，把所有的点云补偿到一帧开始时刻，把本身在过去一帧内收集的点云统一到一个时间点上去，使得该帧所有点云数据都是相对统一原点；采用紧耦合的方案，将惯性测量单元IMU数据参与到SLAM后端优化，对IMU的偏差进行更新，减小其累计误差。3.根据权利要求1所述的基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，其特征在于，将去畸变点云通过球投影得到深度图像，输入到预设的语义分割模块，得到逐点云的语义信息：采用基于球投影得到的深度图像的点云语义分割方法，先将去畸变的当前帧点云数据通过球投影得到深度图像，当前帧之前的N帧点云通过SLAM得到的位姿将其变换到当前帧时刻，统一其坐标系，然后通过球投影得到深度图像作为语义分割网络的额外输入，利用各帧一致性差异以实现最终的语义分割结果中包含对移动物体的分类；语义分割的过程中，先是得到深度图像上的语义分割结果，然后再将其反投影得到逐点云的语义信息。4.根据权利要求1所述的基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，其特征在于，将具有语义标签的点云作为SLAM系统前端的输入，利用语义信息辅助特征提取和匹配，通过语义ICP得到两帧之间的位姿变换：首先，利用语义信息，将被标记为动态物体的点云滤除；然后，将容易出现匹配错误导致精度下降的点云滤除，根据场景点云类别分布情况，采用不同的降采样率，同时对不同类别点云，引入权重参数；在点云匹配时，先用点云标签做粗匹配，再细化同类标签点云，同时对不同语义类别的点云采取不同模式计算匹配残差。5.根据权利要求1所述的基于深度学习的LIDAR
‑
IMU紧耦合语义SLAM方法，其特征在于，将深度图像以及语义信息作为回环检测模块输入，判断两帧是否属于回环：逐点云的语义信息，结合球投影得到的深度图像，将其作为神经网络的输入，提取特征，最终得到具有旋转不变性的描述子，通过比较两帧的描述子之间相似性，当小于给定阈值时，作为回环检测候选帧，在...

【专利技术属性】
技术研发人员：薛杜娟，马春运，何晓南，王迎新，
申请(专利权)人：西安云驰智通科技有限公司，
类型：发明
国别省市：