一种多源语义感知下的室内动态SLAM方法技术

本发明专利技术属于机器人动态SLAM视觉技术领域，具体涉及一种多源语义感知下的室内动态SLAM方法。针对室内动态环境中的定位及建图精度不高，没有统一的语义表征和计算方法等问题，本发明专利技术拟基于多传感器，对室内常见物体分类，识别并移除分割出运动物体及与其交互的可移动物体，得到清晰完整的单视角三维点云；追踪帧间运动，基于加权RANSAC方法计算局部摄像机位姿；基于多传感器感知因子图，计算摄像机全局位姿并进行回环检测，基于微分流形方法得到整个场景的全局三维点云图及摄像机运动轨迹。个场景的全局三维点云图及摄像机运动轨迹。个场景的全局三维点云图及摄像机运动轨迹。

【技术实现步骤摘要】
一种多源语义感知下的室内动态SLAM方法


[0001]本专利技术属于机器人动态SLAM视觉
，具体涉及一种多源语义感知下的室内动态SLAM方法。

技术介绍

[0002]随着科学技术的发展，人们对智慧家庭的期望越来越高，以服务和安全巡检为主要需求的服务型机器人已成为研究热点。服务型机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一身的综合系统，机器人已广泛应用在宇宙探测、工厂自动化、医疗器械、交通出行、服务等多个领域，且逐渐进入到人们的生活中来，例如生活中常见的扫地机器人、清洁机器人等。自主移动机器人的智能化主要体现在可以通过自身所配备的硬件和软件，扫描并识别周围环境各类信息，进而做出正确决策，完成指定任务。
[0003]室内服务机器人工作于非结构化、复杂的动态环境，对其自主性、智能性以及可靠性等方面提出了更高的要求，由此也引出了大量亟待解决的新问题：
[0004](1)SLAM的静态假设有时无法成立，进入摄像机视野范围内的运动物体易干扰摄像机的定位，由其形成的噪声斑块影响场景地图构建。
[0005](2)视觉SLAM方法针对纹理丰富的环境表现良好，但对光照变化、快速运动和初始化敏感。激光雷达SLAM方法可以捕捉远距离环境的细节，但对结构特征较少的环境效果欠佳。
[0006](3)摄像机运动过快、航程过长引起的累计漂移使巡航无法闭合。
[0007]本项目拟利用激光雷达及IMU(惯性测量单元)补充视觉SLAM的不足，预先定义室内物体的语义(运动、静态、可移动)信息，结合语义信息和时空几何信息识别并移除运动物体及与其交互的可移动物体，得到完整清晰的单视角三维点云，构建并优化多传感器感知因子图，获得全局摄像机位姿同时完成回环检测，基于微分流形方法得到场景的全局点云信息以及摄像机运动轨迹。
[0008]室内SLAM技术包括三方面：地图构建、摄像机位姿估计及扫描路径的回环检测。在室内场景地图构建方面，大多数SLAM假设环境是静态的，然而室内环境存在人、宠物等动态物体，这些物体会对地图造成污染，影响机器人的定位精度。研究者基于深度学习，融合语义信息与空间几何信息去除这类物体的影响，使其能够用于动态场景。摄像机位姿估计通过计算连续两帧或多帧数据间的对应关系，得到摄像机相对于初始位置的变换矩阵。回环检测使机器人能够识别并对齐“已经访问过的地方”，是动态SLAM系统减少累积漂移的重要组成部分。
[0009]综上所述，视觉类SLAM方法通过提取特征点识别场景中帧的相似性，适用于静态且纹理丰富的场景，但对光照、视角、移动物体、距离等敏感；基于词袋模型进行回环检测，但随着巡航路线的延伸，词袋模型将会无限大，限制其适用范围。激光雷达测距准、感知范围广、视角达360
°
、刷新率高且对噪声及光照鲁棒，IMU能够提供运动载体的方位与姿态，且不受动态物体的影响。融合视觉RGB
‑
D图像、激光雷达三维点云和IMU数据，能修复深度图
像、校正点云数据的畸变，并精确估计机器人的位置和航向角，得到场景的高层级细节信息，对特征缺乏、纹理较少、光照变化的室内动态场景SLAM有较好的鲁棒性和正确性。

技术实现思路

[0010]针对室内动态环境中的定位及建图精度不高，没有统一的语义表征和计算方法等问题，本专利技术拟基于多传感器，对室内常见物体分类，识别并移除分割出运动物体及与其交互的可移动物体，得到清晰完整的单视角三维点云；追踪帧间运动，基于加权RANSAC方法计算局部摄像机位姿；基于多传感器感知因子图，计算摄像机全局位姿并进行回环检测，基于微分流形方法得到整个场景的全局三维点云图及摄像机运动轨迹。
[0011]为了达到上述目的，本专利技术采用了下列技术方案：
[0012](1)从非结构化、复杂室内环境的语义特性出发，研究机器人对动态环境的感知及理解方法，探究场景中运动物体及与其交互的可移动物体所在区域的移除方法。
[0013](2)以RGB
‑
D点云和IMU信息为数据源，在时空几何一致性原则约束下，研究已有帧与当前帧的精确匹配方法，估计局部摄像机位姿。
[0014](3)融合视觉、激光雷达和惯性传感器信息，构建多传感器感知因子图，基于连续帧间运动及三类传感器里程计约束，估计全局摄像机姿态并完成回环检测，得到摄像机运动轨迹。
[0015]一种多源语义感知下的室内动态SLAM方法，包括以下步骤：
[0016]步骤1，由RGB
‑
D摄像机采集物体的RGB图像和深度图像；
[0017]步骤2，利用畸变校正后的激光雷达三维点云信息对深度图像进行补全和修复；
[0018]步骤3，将采集的RGB图像和补全、修复后的深度图像输入视觉SLAM系统：
[0019]步骤3.1，RGB图像输入视觉SLAM系统中的轻量化语义分割网络BlitzNet中，得到物体的初始掩膜及语义包围盒，语义包围盒基于极线约束并使用加权RANSAC，选择匹配置信度较高的静态点，得到连续帧间局部摄像机位姿；
[0020]步骤3.2，利用初始掩膜所覆盖区域的深度信息对深度图像修正，得到物体修复后的深度掩膜；
[0021]步骤3.3，将深度掩膜中的噪声斑点去除，得到单视角三维点云图；
[0022]步骤4，提取激光雷达三维点云信息中的特征点，输入激光雷达惯性系统：
[0023]步骤4.1，通过最小化视觉重投影和IMU测量值的残差值，将视觉里程计信息存储为特征图；
[0024]步骤4.2，提取的特征点基于边缘与平面特征及视觉里程计信息，利用滑窗模式与特征图进行匹配，得到激光雷达里程计信息；
[0025]步骤4.3，联合视觉里程计约束、激光雷达里程计约束、IMU预积分约束和回环约束优化多传感器感知因子图，初始化激光雷达辅助的视觉惯性里程计；
[0026]步骤4.4，基于DBoW2算法利用BRIEF描述子初始化当前帧的候选匹配帧，将候选帧时间戳输入激光雷达惯性系统进行验证，利用修正后的IMU偏移项矫正IMU测量值，优化非连续帧间位姿，联合所有位姿得到全局摄像机位姿，完成回环检测；
[0027]步骤5，视觉SLAM系统和激光雷达惯性系统独立工作、信息互补，当视觉SLAM系统息缺失或噪声严重时，调用全局摄像机位姿与连续帧间局部摄像机位姿和单视角三维点云
图进行点云匹配，得到基于微分流形的全局点云图和相机运动轨迹。
[0028]进一步，所述步骤2中利用畸变校正后的激光雷达三维点云信息对深度图像进行补全和修复，具体步骤为：
[0029]使用大小为2
×
2的滑窗遍历深度图像，并记录滑窗内的深度值，如式(1)所示：
[0030]D
block
＝d(u:u+1,v:v+1)(1)
[0031]边缘点提取通过式(2)：
[0032][0033]其中，(u,v)表示滑窗左上角像素对应的图像坐标，τ1为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源语义感知下的室内动态SLAM方法，其特征在于，包括以下步骤：步骤1，由RGB
‑
D摄像机采集物体的RGB图像和深度图像；步骤2，利用畸变校正后的激光雷达三维点云信息对深度图像进行补全和修复；步骤3，将采集的RGB图像和补全、修复后的深度图像输入视觉SLAM系统：步骤3.1，RGB图像输入视觉SLAM系统中的轻量化语义分割网络BlitzNet中，得到物体的初始掩膜及语义包围盒，语义包围盒基于极线约束并使用加权RANSAC，选择匹配置信度较高的静态点，得到连续帧间局部摄像机位姿；步骤3.2，利用初始掩膜所覆盖区域的深度信息对深度图像修正，得到物体修复后的深度掩膜；步骤3.3，将深度掩膜中的噪声斑点去除，得到单视角三维点云图；步骤4，提取激光雷达三维点云信息中的特征点，输入激光雷达惯性系统：步骤4.1，通过最小化视觉重投影和IMU测量值的残差值，将视觉里程计信息存储为特征图；步骤4.2，提取的特征点基于边缘与平面特征及视觉里程计信息，利用滑窗模式与特征图进行匹配，得到激光雷达里程计信息；步骤4.3，联合视觉里程计约束、激光雷达里程计约束、IMU预积分约束和回环约束优化多传感器感知因子图，初始化激光雷达辅助的视觉惯性里程计；步骤4.4，基于DBoW2算法利用BRIEF描述子初始化当前帧的候选匹配帧，将候选帧时间戳输入激光雷达惯性系统进行验证，利用修正后的IMU偏移项矫正IMU测量值，优化非连续帧间位姿，联合所有位姿得到全局摄像机位姿，完成回环检测；步骤5，视觉SLAM系统和激光雷达惯性系统独立工作、信息互补，当视觉SLAM系统息缺失或噪声严重时，调用全局摄像机位姿与连续帧间局部摄像机位姿和单视角三维点云图进行点云匹配，得到基于微分流形的全局点云图和相机运动轨迹。2.根据权利要求1所述的一种多源语义感知下的室内动态SLAM方法，其特征在于，所述步骤2中利用畸变校正后的激光雷达三维点云信息对深度图像进行补全和修复，具体步骤为：使用大小为2
×
2的滑窗遍历深度图像，并记录滑窗内的深度值，如式(1)所示：D
block
＝d(u:u+1,v:v+1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)边缘点提取通过式(2)：其中，(u,v)表示滑窗左上角像素对应的图像坐标，τ1为阈值。3.根据权利要求1所述的一种多源语义感知下的室内动态SLAM方法，其特征在于，所述步骤3.1中语义包围盒基于极线约束和加权RANSAC，选择匹配置信度较高的静态点，得到连续帧间局部摄像机位姿，具体步骤如下：(1)基于运动物体的语义包围盒，将图像快速划分为静态区域和潜在动态区域；(2)基于极线约束并使用加权RANSAC方法，将潜在动态区域分类为静态和动态匹配点，为可靠性较高的静态物体点赋予较高的置信度，利用剩余的静态匹配点计算摄像机位姿。
4.根据权利要求3所述的一种多源语义感知下的室内动态SLAM方法，其特征在于，所述步骤(2)中利用剩余的静态匹配点计算摄像机位姿，具体步骤为：(2.1)设前一帧I
p
和当前帧I
c
的两组静态匹配点为P
p
＝{P
p1
,P
p2
,...,P
pm
}和P
c
＝{P
c1
,P
c2
,...,P
cm
}，I
...

【专利技术属性】
技术研发人员：韩慧妍，庞敏，韩方正，况立群，张元，杨晓文，熊风光，
申请(专利权)人：中北大学，
类型：发明
国别省市：