一种基于动态场景下SLAM的地图构建方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于动态场景下SLAM的地图构建方法及装置，包括：使用RGB

【技术实现步骤摘要】
一种基于动态场景下SLAM的地图构建方法及装置


[0001]本专利技术涉及装备检测
，特别是涉及一种基于动态场景下SLAM的地图构建方法、一种基于动态场景下SLAM的地图构建装置、一种计算机设备和一种存储介质。

技术介绍

[0002]同时定位与建图(Simultaneous Localization and Mapping，SLAM)是指以传感器为环境信息采集媒介，在未知环境中，于运动过程中估计自身的运动，并同时建立环境模型的技术。而视觉SLAM则是以相机作为传感器，具有成本低、获取环境信息丰富等优点。且随着计算硬件和图像处理算法的发展，视觉SLAM在无人机、VGV智能小车、AR等领域的应用如火如荼。
[0003]基于静态环境假设的ORB
‑
SLAM2是经典的SLAM算法，其主要包含跟踪线程、局部建图线程、回环检测三大线程。在跟踪线程中，其提取具有旋转、尺度不变性的ORB特征点，并利用帧间的ORB特征点配对来进行相机位姿估计，再根据相关规则产生关键帧。当环境光变化导致跟踪失败时，还能借助重定位算法更新位姿，一定程度上提升了在静态环境内的鲁棒性。在局部建图线程中，处理关键帧、产生新的地图点，完成局部地图的构建。在回环检测线程中，使用词袋模型描述图像的相似性，并进行回环矫正，减弱建图漂移现象。
[0004]为了提高视觉SLAM的动态鲁棒性，DynaSLAM使用Mask R
‑
CNN实例分割算法识别出潜在动态物体，并结合多视角几何原理判断动态点并剔除，提升动态环境下的鲁棒性。DS
‑
SLAM使用移动一致性算法初步剔除动态点，再采用Segnet语义分割算法，识别出动态物体在图像中的位置并进一步剔除动态点，能够完成动态环境下的位姿估计。
[0005]ORB
‑
SLAM2运行在动态环境时，动态物体会频繁干扰特征点的配对，产生大量的特征点误匹配现象，此时系统求解出的位姿精度将会下降，最终导致定位失败；DynaSLAM，多视角几何耗时超过300ms，背景修复耗时超过200ms，Mask R
‑
CNN实例分割耗时超过200ms且对计算硬件要求高，无法达到实时运行的要求；DS
‑
SLAM，其所采用的segnet语义分割网络分割精度低、计算耗时超过30ms，位姿估计误差大、实时性不高。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于动态场景下SLAM的地图构建方法、一种基于动态场景下SLAM的地图构建装置、一种计算机设备和一种存储介质。
[0007]为了解决上述问题，本专利技术实施例公开了一种基于动态场景下SLAM的地图构建方法，包括：
[0008]使用RGB
‑
D相机获取输入图像，得到RGB图像以及对应的深度图像；
[0009]对当前帧的RGB图像转换为灰度图，进行ORB特征点提取和计算ORB特征点对应的描述子；
[0010]对当前帧的RGB图像使用基于TensorRT部署的PSPnet语义分割算法，得到语义分
割图；
[0011]对语义分割图进行深度补偿，将分割不完整的物体补全；
[0012]根据语义分割图中动态物体的位置，剔除分布在动态物体上的特征点；
[0013]将当前帧剔除动态点后剩余的ORB特征点与上一帧的ORB特征点进行配对，进行相机位姿计算；
[0014]生成关键帧，利用关键帧进行静态环境稠密点云建立地图，对于每一帧提取动态物体的像素点，进行动态稠密点云建立地图。
[0015]优选地，所述对当前帧的RGB图像使用基于TensorRT部署的PSPnet语义分割算法，得到语义分割图，包括：
[0016]使用pytorch深度学习框架，在Pascal VOC2012数据集上训练以resnet50为网络骨干的PSPnet语义分割网络，得到pth模型文件；
[0017]将pth模型文件通过pytorch的ONNX处理接口，转化为ONNX模型；
[0018]将ONNX模型导入到TensorRT中，生成TensorRT引擎文件；
[0019]将引擎文件通过TensorRT C++接口导入到SLAM系统中进行模型部署，用于复数次图像推理，得到语义分割图。
[0020]优选地，所述对语义分割图进行深度补偿，将分割不完整的物体补全，包括：
[0021]根据语义分割图中动态物体在图像中的位置，在深度图中相应地得到动态物体每个像素的深度值；
[0022]对动态物体每个像素按深度值进行聚类，以区分不同的动态物体；
[0023]将聚类得到的若干个点集分别形成一个范围限制框；
[0024]根据每个聚类点集的平均深度值，在语义分割图中把对应的范围限制框内所有深度值落在筛选区间的像素点的标签值修改为动态物体的标签值。
[0025]优选地，所述对动态物体每个像素按深度值进行聚类，以区分不同的动态物体，包括：
[0026]遍历语义分割图，找到动态物体的第一个像素点，并在深度图中得到相同位置像素点的深度值；
[0027]初始化第一个聚类点集，将第一个动态物体像素点的深度值加入到第一个聚类点集中，并把第一个聚类点集的平均深度值置为该像素点的深度值；
[0028]获得动态物体的下一个像素点及其深度值，计算其深度值与各个聚类点集对应的平均深度值之差的绝对值；
[0029]当所有值都超过所设定的聚类阈值，则该点深度值自成一类，并将该新的聚类点集的平均深度值置为该像素点的深度值；
[0030]当所有值都不超过所设定的聚类阈值，将该点深度值加入到最小值对应的聚类点集中，同时更新该聚类点集的平均深度值；
[0031]循环执行获得动态物体的下一个像素点及其深度值，计算其深度值与各个聚类点集对应的平均深度值之差的绝对值，将其深度值加入对应聚类点集并更新聚类点集的平均深度值的步骤，直到动态物体的所有像素点都完成聚类；
[0032]删除规模较小的聚类点集。
[0033]优选地，所述根据语义分割图中动态物体像素的位置，剔除分布在动态物体上的
特征点，包括：
[0034]获取语义分割图与提取的ORB特征点集；
[0035]遍历提取得到的ORB特征点集进行动态特征点删除，若ORB特征点所在的位置处于动态物体的语义标签范围内，该ORB特征点为动态特征点，将所述动态特征点进行剔除。
[0036]优选地，所述生成关键帧，利用关键帧进行静态环境稠密点云建立地图，对于每一帧提取动态物体的像素点，进行动态稠密点云建立地图，包括：
[0037]将关键帧的静态环境的像素点和每一帧的动态物体的像素点从二维像素坐标转换为三维空间坐标；
[0038]将历史关键帧的点云与当前关键帧融合，得到全局点云；
[0039]擦除全局点云中，上一帧动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态场景下SLAM的地图构建方法，其特征在于，包括：使用RGB
‑
D相机获取输入图像，得到RGB图像以及对应的深度图像；对当前帧的RGB图像转换为灰度图，进行ORB特征点提取和计算ORB特征点对应的描述子；对当前帧的RGB图像使用基于TensorRT部署的PSPnet语义分割算法，得到语义分割图；对语义分割图进行深度补偿，将分割不完整的物体补全；根据语义分割图中动态物体的位置，剔除分布在动态物体上的特征点；将当前帧剔除动态点后剩余的ORB特征点与上一帧的ORB特征点进行配对，进行相机位姿计算；生成关键帧，利用关键帧进行静态环境稠密点云建立地图，对于每一帧提取动态物体的像素点，进行动态稠密点云建立地图。2.根据权利要求1所述的基于动态场景下SLAM的地图构建方法，其特征在于，所述对当前帧的RGB图像使用基于TensorRT部署的PSPnet语义分割算法，得到语义分割图，包括：使用pytorch深度学习框架，在Pascal VOC2012数据集上训练以resnet50为网络骨干的PSPnet语义分割网络，得到pth模型文件；将pth模型文件通过pytorch的ONNX处理接口，转化为ONNX模型；将ONNX模型导入到TensorRT中，生成TensorRT引擎文件；将引擎文件通过TensorRT C++接口导入到SLAM系统中进行模型部署，用于复数次图像推理，得到语义分割图。3.根据权利要求1所述的基于动态场景下SLAM的地图构建方法，其特征在于，所述对语义分割图进行深度补偿，将分割不完整的物体补全，包括：根据语义分割图中动态物体在图像中的位置，在深度图中相应地得到动态物体每个像素的深度值；对动态物体每个像素按深度值进行聚类，以区分不同的动态物体；将聚类得到的若干个点集分别形成一个范围限制框；根据每个聚类点集的平均深度值，在语义分割图中把对应的范围限制框内所有深度值落在筛选区间的像素点的标签值修改为动态物体的标签值。4.根据权利要求3所述的基于动态场景下SLAM的地图构建方法，其特征在于，所述对动态物体每个像素按深度值进行聚类，以区分不同的动态物体，包括：遍历语义分割图，找到动态物体的第一个像素点，并在深度图中得到相同位置像素点的深度值；初始化第一个聚类点集，将第一个动态物体像素点的深度值加入到第一个聚类点集中，并把第一个聚类点集的平均深度值置为该像素点的深度值；获得动态物体的下一个像素点及其深度值，计算其深度值与各个聚类点集对应的平均深度值之差的绝对值；当所有值都超过所设定的聚类阈值，则该点深度值自成一类，并将该新的聚类点集的平均深度值置为该像素点的深度值；当所有值都不超过所设定的聚类阈值，将该点深度值加入到最小值对应的聚类点集中，同时更新该聚类点集的平均深度值；
循环执行获得动态物体的下一个像素点及其深度值，计算其深度值与各个聚类点集对应的平均深度值之差的绝对值，将其深度值加入对应聚类点集并更新聚类点集的平均深度值的步骤，直到动态物体的所有像素点都完成聚类；删除规模较小的聚类点集。5.根据权利要求1所述的基于动态场景下SLAM的地图构建方法，其特征在于，所述根据语义分割图中动态物体像素的位置，剔除...

【专利技术属性】
技术研发人员：廖梓希，夏益民，陈宇杭，卢俊颖，刘键均，蔡述庭，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：