基于双模态验证的多机器人回环检测方法、系统和存储介质技术方案

本发明专利技术公开了一种基于双模态验证的多机器人回环检测方法、系统和存储介质，方法包括以下步骤：S1、构建基于深度学习用于提取图像的语义特征和几何特征的的多任务深度语义增强网络；S2、根据提取的语义特征区分图像中的动态和静态区域并为动态区域赋予更低的权重，多机器人图像根据赋权的区域计算相似度进行初步融合；S3、在多机器人初步融合的图像上筛选出几何一致性、语义相似性和时空连续性均满足的跨机器人候选回环；S4、根据步骤S3筛选出的跨机器人候选回环构建冲突图筛选出最大独立集剔除冗余回环；本发明专利技术能在动态环境下能稳定准确识别回环并剔除冗余回环。

【技术实现步骤摘要】

本专利技术涉及机器人的同步定位与建图，尤其是一种基于双模态验证的多机器人回环检测方法、系统和存储介质。

技术介绍

1、多机器人协同同步定位与建图(simultaneous localization and mapping,slam)能够提高工作效率，适用于大规模复杂场景，如城市峡谷、地下空间、大型室内环境等，多机器人协同slam中回环检测的精度和鲁棒性直接影响地图融合质量与轨迹优化效果。然而，现有技术存在以下关键缺陷：

2、现有方法依赖提取的几何特征进行特征融合匹配，而几何特征对光照变化、视角差异敏感，在动态场景中易失效，导致在动态场景下跨视角匹配成功率不高，进而使得后续的回环检测鲁棒性低；现有的回环检测过度依赖图像相似度，忽略了时空约束，导致回环检测精度不足；其次，多机器人协同slam中回环数量相较于单机器人slam候选回环数量大大增加，存在大量冗余候选回环，如不进行优化，将大大增加后端图优化开销。

技术实现思路

1、专利技术目的：本专利技术的目的是提供一种能在动态环境下能稳定准确识别回环并剔除本文档来自技高网...

【技术保护点】

1.一种基于双模态验证的多机器人回环检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于双模态验证的多机器人回环检测方法，其特征在于：所述步骤S1中多任务深度语义增强网络采用共享编码器和双分支结构，共享编码器包括依次连接的3个卷积层、批量归一化层和ReLU激活函数；双分支结构分别为语义解码网络和几何特征解码网络，语义解码网络结构与共享编码器相同，几何特征解码网络包括依次连接的自适应平均池化层和全连接层。

3.根据权利要求2所述的基于双模态验证的多机器人回环检测方法，其特征在于：步骤S1中多任务深度语义增强网络的损失函数计算公式为</p>

4.根据...

【技术特征摘要】

1.一种基于双模态验证的多机器人回环检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于双模态验证的多机器人回环检测方法，其特征在于：所述步骤s1中多任务深度语义增强网络采用共享编码器和双分支结构，共享编码器包括依次连接的3个卷积层、批量归一化层和relu激活函数；双分支结构分别为语义解码网络和几何特征解码网络，语义解码网络结构与共享编码器相同，几何特征解码网络包括依次连接的自适应平均池化层和全连接层。

3.根据权利要求2所述的基于双模态验证的多机器人回环检测方法，其特征在于：步骤s1中多任务深度语义增强网络的损失函数计算公式为

4.根据权利要求1所述的基于双模态验证的多机器人回环检测方法，其特征在于：所述步骤s3中根据以下条件判定回环满足条件：不同机器人回环帧的马氏距离不大于对应阈值、不同机器人回环帧的余弦相似度不小于对应阈值以及不同机器人回环帧或其前后若干帧...

【专利技术属性】
技术研发人员：章飞，李帅，汪勋，胡莹，杜一凡，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：