一种基于伪深度图的RGB-DSLAM方法、系统和存储介质技术方案

本发明专利技术公开了一种基于伪深度图的RGB

【技术实现步骤摘要】
一种基于伪深度图的RGB
‑
D SLAM方法、系统和存储介质


[0001]本专利技术涉及网格地图构建
，尤其涉及一种基于伪深度图的RGB
‑
D SLAM方法。

技术介绍

[0002]自主导航同步定位和建图(SLAM)是一种定位和建图研究技术，在移动机器人的导航和定位中发挥着重要作用。视觉SLAM由四个部分组成：视觉里程计(VO)、优化、闭环和映射。在VO中，主要是完成对相机位姿的估计，而单目VO由于输入中缺乏深度信息而存在尺度模糊(scale ambiguity)。该问题通常通过结合惯性测量单元(IMU)来解决，但随着深度学习框架的逐渐成熟，无监督单目深度估计方法逐渐取代了传统的单目深度估计方法。
[0003]近年来，出现了许多结合单目深度估计的SLAM框架，如UnDeepVO和D3VO。然而，他们的标准做法是将单目深度框架直接与VO集成，这可能导致无法快速有效地利用SLAM框架中新的单目深度估计框架生成的深度信息。在深度学习中，一般的做法是在python中训练出深度估计，使用libtorch进行模型部署，转成C++的格式再改写SLAM算法。虽然跟踪脚本等工具是由Torch官方提供用于转换的，但是，并不是所有的操作和方法都被TorchScript支持。所以结合SLAM框架中单目深度估计框架，测试单目深度估计会进行多次的测试，浪费转换时间和部署时间。

技术实现思路

[0004]为克服上述缺点，本专利技术的目的在于提供一种基于伪深度图的RGB
‑<br/>D SLAM方法，利用深度学习技术将单目相机的输出彩色图片进行深度预测，并将数据转为伪深度图，可以直接应用于相机ORB
‑
SLAM3系统进行位姿估计和绘制点云地图和稠密地图。
[0005]为了达到以上目的，本专利技术采用的技术方案是：一种基于伪深度图的RGB
‑
D SLAM方法，包括如下步骤：获取原始图像集，单目相机收集多幅彩色原始图像，得到原始图像集。获取伪深度图集，对所述原始图像集中的每幅彩色原始图像进行深度预估，每幅所述彩色原始图像形成一个16位的伪深度图，所有16位的伪深度图形成一个伪深度图集。将所述原始图像集及所述伪深度图集结合形成伪RGB
‑
D集，将所述伪RGB
‑
D集输入预设三维模型成像系统，构建全局地图。
[0006]本专利技术的有益效果在于：通过单目相机采集的彩色原始图像，直接转换成图片格式的16位的伪深度图，将图片格式的16位的伪深度图和彩色原始图像形成伪RGB
‑
D输送到三维模型成像系统，三维模型成像系统直接利用图片格式的数据生成全局地图。减少了转换时间和部署时间。
[0007]进一步来说，所述获取伪深度图集具体包括：选择深度估计网络，使用所述深度估计网络对原始图像集内的每幅彩色原始图像进行监督训练，得到所述彩色原始图像的每个像素点所在的位置的第一深度值，将第一深度值保存为第一深度矩阵。将第一深度矩阵通过转换算法转换为第二深度矩阵，并将第二深度矩阵生产成为一个16位的伪深度图，所有
16位的伪深度图形成一个伪深度图集。
[0008]进一步来说，所述转换算法包括：
[0009]将每个第一深度值自0和1之间进行归一化，得到归一化的像素值D
ij
；
[0010][0011]其中d
ij
为第一深度值，d
max
为65.5，65.5米也是16位能够表达的最大深度数；归一化的像素值D
ij
映射至0
‑
65535的区间中，并保存成第二深度矩阵D
ij16bit
，D
ij16bit
＝|D
ij
×
(2
16
‑
1)|。
[0012]65.5米也是16位能够表达的最大深度数，但因为后续在ORB
‑
SLAM3系统的使用中对于相机的位姿估计并不会使用40米以外的数据，因此将大于65.5m的深度用65.5表示也不会影响后续的计算。
[0013]进一步来说，所述深度估计网络基于Monodepth2网络框架。Monodepth2网络框架是一个性能良好的自监督单目深度模型，Monodepth2网络框架进行单目深度估计运算，使用深度估计和姿态估计网络的组合来预测每一帧彩色原始图像中的每个像素点的第一深度值，每个第一深度值和像素点位置一一对应。Monodepth2网络框架的训练部分不需要提前标注数据集，直接通过在一系列运动的彩色原始图像序列上，训练一个建立在自监督损失函数上的架构来预测彩色原始图像的深度结果。并且在学习过程中直接学习相机参数信息，在后续转深度值输出不需要再输入参数。
[0014]进一步来说，在形成一个所述伪深度图集后，还需将所述彩色原始图像与对应的16位的伪深度图进行关联，形成一个关联文本，所述关联文本与原始图像集和伪深度图集同步输入预设三维模型成像系统中。
[0015]进一步来说，所述预设三维模型成像系统为ORB
‑
SLAM3系统。伪RGB
‑
D可直接在ORB
‑
SLAM3系统中运行。ORB
‑
SLAM3系统是一个基于特征点的实时SLAM算法，该算法包括跟踪线程、局部建图线程和回环检测线程。ORB
‑
SLAM3系统中包含了单目、双目和RGB
‑
D以及所有相机加IMU的模式，虽然本实施例中只采用RGB
‑
D相机中的彩色相机(单目)，但依然选用ORB
‑
SLAM3，可以很好的进行相机之间的结果比较。
[0016]进一步来说，所述关联文本中写入彩色原始图像和16位的伪深度图的路径和时间戳，所述预设三维模型可以根据关联文本对彩色原始图像和16位的伪深度图进行匹配。
[0017]进一步来说，所述预设三维模型成像系统中设置有一个深度过滤阈值，所述深度过滤阈值用于过滤16位的伪深度图中的第二深度值，当所述预设三维模型成像系统检测到16位的伪深度图中的第二深度值大于深度过滤阈值时，所述预设三维模型成像系统不选用，所述深度过滤阈值为一个小于d
max
的可变量。
[0018]本专利技术还公开了一种基于伪深度图的RGB
‑
D SLAM系统，包括获取模块，所述获取模块用于获取原始图像集，获取模块包括单目相机，单目相机收集多幅彩色原始图像，得到原始图像集；转换模块，所述转换模块对原始图像集中的每幅彩色原始图像进行深度预估，每幅彩色原始图像形成一个16位的伪深度图，所有16位的伪深度图形成一个伪深度图集；构建模块，所述构建模块用于接收原始图像集及伪深度图集结合形成伪RGB
‑
D集，并构建全
局地图。
[0019]本专利技术还公开一种计算机可读存储介质，所述计算机可读存储介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于伪深度图的RGB
‑
D SLAM方法，其特征在于：：包括如下步骤：获取原始图像集，单目相机收集多幅彩色原始图像，得到原始图像集；获取伪深度图集，对所述原始图像集中的每幅彩色原始图像进行深度预估，每幅所述彩色原始图像形成一个16位的伪深度图，所有16位的伪深度图形成一个伪深度图集；将所述原始图像集及所述伪深度图集结合形成伪RGB
‑
D集，将所述伪RGB
‑
D集输入预设三维模型成像系统，构建全局地图。2.根据权利要求1所述的基于伪深度图的RGB
‑
D SLAM方法，其特征在于：所述获取伪深度图集具体包括：选择深度估计网络，使用所述深度估计网络对原始图像集内的每幅彩色原始图像进行监督训练，得到所述彩色原始图像的每个像素点所在的位置的第一深度值，将第一深度值保存为第一深度矩阵；将第一深度矩阵通过转换算法转换为第二深度矩阵，并将第二深度矩阵生产成为一个16位的伪深度图，所有16位的伪深度图形成一个伪深度图集。3.根据权利要求2所述的基于伪深度图的RGB
‑
D SLAM方法，其特征在于：所述转换算法包括：将每个第一深度值自0和1之间进行归一化，得到归一化的像素值D
ij
；其中d
ij
为第一深度值，d
max
为65.5，65.5米也是16位能够表达的最大深度数；归一化的像素值D
ij
映射至0
‑
65535的区间中，并保存成第二深度矩阵D
ij16bit
，D
ij16bit
＝|D
ij
×
(2
16
‑
1)|。4.根据权利要求2所述的基于伪深度图的RGB
‑
D SLAM方法，其特征在于：所述深度估计网络基于Monodepth2网络框架。5.根据权利要求2所述的基于伪深度...

【专利技术属性】
技术研发人员：张月，王新珩，余丽敏，赵浩诚，杜爽，邹斌，伍淘宇，
申请(专利权)人：苏州英特雷真智能科技有限公司，
类型：发明
国别省市：