一种面向移动机器人的大范围语义地图构建方法技术

本发明专利技术提供的一种面向移动机器人的大范围语义地图构建方法，属于视觉SLAM技术领域，具体为：利用移动机器人获取当前图像，基于特征点法构建视觉里程计，输出相邻帧图像的位姿变换；通过语义分割生成语义点云地图，利用位姿变换构建语义八叉树地图，并采用占据概率更新算法和语义融合算法更新语义八叉树地图；构建移动机器人的三层内存结构模型，基于WM和LTM之间的节点移动算法，实现语义八叉树地图复用，进而将当前语义八叉树地图扩展为全局语义地图。本发明专利技术利用回环检测算法复用以前的语义地图，融合局部的语义八叉树地图以生成全局语义地图，实现高精度、可复用的语义地图构建。可复用的语义地图构建。可复用的语义地图构建。

【技术实现步骤摘要】
一种面向移动机器人的大范围语义地图构建方法


[0001]本专利技术属于视觉SLAM
，具体涉及一种面向移动机器人的大范围语义地图构建方法。

技术介绍

[0002]近年来随着机器人技术与人工智能的飞速发展，在工业等领域对机器人的需求量也逐步增加，例如无人机搜救、快递机器人、虚拟现实等方面。针对复杂的行为决策任务，仅构建传统的几何度量地图已不足以完成任务，这对机器人的语义理解能力提出了更高的要求，因此语义地图构建逐步成为视觉SLAM(即时定位与地图构建)领域的重要研究课题。该课题研究的是：在移动机器人定位的同时，根据单帧的语义预测值增量式地构建包含语义信息的三维地图。
[0003]目前的语义地图构建方法普遍存在以下问题：方法广泛使用贝叶斯概率融合策略，该策略的主要缺陷在于它的内存消耗与语义类别数量成正比，对于类别数量不同的语义分割网络不具有普适性，此外对于大范围和长期运行的SLAM系统，当意外情况中断语义建图流程时，可能会丢失之前的地图信息。这些问题不仅限制了语义地图构建方法的普适性，也降低了在大范围、长期语义建图的效率和鲁棒性。

技术实现思路

[0004]针对上述现有语义地图构建技术中存在的问题，本专利技术提供了一种面向移动机器人的大范围语义地图构建方法，在室内未知环境中使用视觉里程计进行状态估计，同时构建大范围、高精度、可复用的语义地图，普适性强并且具有较高的精度和计算效率。
[0005]一种面向移动机器人的大范围语义地图构建方法，其特征在于，包括以下步骤：
[0006]步骤1：利用移动机器人获取当前图像；
[0007]步骤2：基于特征点法构建视觉里程计，输出相邻帧图像的位姿变换；
[0008]步骤3：构建与更新语义八叉树地图，具体包括：
[0009]步骤3.1：基于深度学习的语义分割算法，输出与当前图像对应的逐像素的语义颜色、语义标签和置信度，构成语义信息；
[0010]步骤3.2：计算当前图像中各像素的真实世界坐标，以生成真实点云地图，然后根据之后所采用的语义融合算法将语义信息融入真实点中，形成语义点云地图；
[0011]步骤3.3：利用位姿变换将语义点云地图中的语义点云转换到全局坐标系，构建基于体素的语义八叉树地图，并采用占据概率更新算法和语义融合算法实时更新语义八叉树地图；
[0012]步骤4：构建移动机器人的三层内存结构模型，由短期内存(STM)、工作内存(WM)和长期内存(LTM)组成；
[0013]步骤5：基于WM和LTM之间的节点移动算法，实现语义八叉树地图复用，具体包括：
[0014]对于从LTM到WM的节点移动，对WM进行回环检测，获得WM中最高回环概率的节点
L
h
，若最高回环概率的节点L
h
的相邻节点L
h
在LTM中，则将相邻节点L
r
移动至WM中；若在一次回环检测中具有多个最高回环概率的节点L
h
，则最多取回两个相邻节点L
h
；
[0015]对于从WM到LTM的节点移动，当处理WM中一帧图像的时间超过WM的数据处理时间限制T
WM
时，具有最低权重且存储时间最长的节点将从WM转移至LTM中，但不允许转移最高回环概率的节点L
h
的相邻节点L
r
；进而将当前语义八叉树地图扩展为全局语义地图。
[0016]进一步地，步骤3.3中所述语义融合算法为最大值语义融合算法或改进的贝叶斯语义融合算法；所述最大值语义融合算法适用于轻算力的计算平台，改进的贝叶斯语义融合算法适用于高算力的计算平台，具有较高的语义建图精度。
[0017]进一步地，所述改进的贝叶斯语义融合算法具体为：
[0018]各体素中存储的N个置信度最高的语义信息构成语义集合S；并将其余语义信息归为一类，构成集合other_classes；other_classes的置信度other_conf与S中的N个置信度的和为1；
[0019]当前图像更新前形成的体素所对应的语义集合为S1，当前图像更新后形成的体素所对应的语义集合为S2，二者的融合情况为：
[0020]若S1和S2具有相同的语义颜色，则对S1的N个语义标签和对应other_classes1，以及S2的N个语义标签和对应other_classes2，执行贝叶斯融合算法；否则，向S1中添加S2所独有的语义信息，同时向S2中添加S1所独有的语义信息，使得S1和S2具有相同的语义颜色，之后分别设置S1和S2所添加的语义信息的置信度为β
×
other_conf1和β
×
other_conf2，其中β＜1，并将o th e_r c l1a的置信度other_conf1削减为(1
‑
β)other_conf1，other_classes2的置信度other_conf2削减为(1
‑
β)other_conf2；基于S1和S2所添加的语义信息的置信度，对添加后S1对应的多个语义标签和other_classes1，以及添加后S2对应的多个语义标签和other_classes2执行贝叶斯融合算法，融合结果S
fusion
只保留置信度最高的N个语义颜色。
[0021]进一步地，一般N取值不小于2。
[0022]进一步地，所述STM作为获取图像和位姿变换，以及添加节点的入口，用于计算连续帧图像在时间上的相似度，以此更新节点的权重，当STM中节点数量达到预设阈值S
STM
时，最早添加至STM中的节点将被移动至WM。
[0023]与现有技术相比，本专利技术的有益效果如下：
[0024]本专利技术提出了一种面向移动机器人的大范围语义地图构建方法，实现高精度、可复用的语义地图构建，其中利用回环检测算法复用以前的语义地图，融合局部的语义八叉树地图以生成全局语义地图，验证了语义地图复用策略的可行性和稳定性；优选地，可采用最大值语义融合算法或改进的贝叶斯语义融合算法作为语义融合算法，使得更新语义地图时不受语义类别数量的影响，平衡了语义建图精度与计算资源消耗，并且在大多数场景下具有更好的语义重建效果。
附图说明
[0025]图1为本专利技术实施例1提出的面向移动机器人的大范围语义地图构建方法的示意图；
[0026]图2为本专利技术实施例1中构建与更新语义地图的示意图。
具体实施方式
[0027]下面结合附图和实施例，详述本专利技术的技术方案。
[0028]实施例1
[0029]本实施例提出了一种面向移动机器人的大范围语义地图构建方法，包括以下步骤：
[0030]步骤1：利用移动机器人获取当前单帧RGB图像和深度图像，一组单帧RGB图像和深度图像构成RGB
‑
D图像；
[0031]步骤2：基于特征点法构建视觉里程计，输出相邻帧图像的位姿变换，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向移动机器人的大范围语义地图构建方法，其特征在于，包括以下步骤：步骤1：利用移动机器人获取当前图像；步骤2：基于特征点法构建视觉里程计，输出相邻帧图像的位姿变换；步骤3：构建与更新语义八叉树地图，具体包括：步骤3.1：基于深度学习的语义分割算法，输出与当前图像对应的逐像素的语义颜色、语义标签和置信度，构成语义信息；步骤3.2：计算当前图像中各像素的真实世界坐标，生成真实点云地图，然后根据之后所采用的语义融合算法将语义信息融入真实点中，形成语义点云地图；步骤3.3：利用位姿变换将语义点云转换到全局坐标系，构建基于体素的语义八叉树地图，并采用占据概率更新算法和语义融合算法实时更新语义八叉树地图；步骤4：构建移动机器人的三层内存结构模型，由STM、WM和LTM组成；步骤5：基于WM和LTM之间的节点移动算法，实现语义八叉树地图复用，具体包括：对于从LTM到WM的节点移动，对WM进行回环检测，获得WM中最高回环概率的节点L
h
，若节点L
h
的相邻节点L
h
在LTM中，则将相邻节点L
r
移动至WM中；若在一次回环检测中具有多个节点L
h
，则最多取回两个相邻节点L
h
；对于从WM到LTM的节点移动，当处理WM中一帧图像的时间超过WM的数据处理时间限制T
WM
时，具有最低权重且存储时间最长的节点将从WM转移至LTM中，但不允许转移节点L
h
的相邻节点L
r
；进而将当前语义八叉树地图扩展为全局语义地图。2.根据权利要求1所述面向移动机器人的大范围语义地图构建方法，其特征在于，步骤3.3中所述语义融合算法为最大值语义融合算法或改进的贝叶斯语义融合算法。3.根据权利要求2所述...

【专利技术属性】
技术研发人员：李瑞，史莹晶，赵三三，邓质，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：