基于全景语义拓扑图的闭环检测方法、系统、装置及介质制造方法及图纸

技术编号:42113998 阅读:15 留言:0更新日期:2024-07-25 00:35
本发明专利技术涉及计算机视觉和机器人定位技术领域,提供了基于全景语义拓扑图的闭环检测方法、系统、装置及介质。所述方法包括:首先将全景图像输入到语义分割和深度估计网络分别得到语义图和深度图,并剔除动态物体,再提取每个静态对象的质心坐标;根据深度图计算每个质心坐标对应的深度值,并通过坐标转换得到每个静态对象的三维空间坐标。当静态对象之间的空间距离小于阈值时建立边的连接,生成全景的语义拓扑图;通过计算语义拓扑图之间的相似度,以此判断是否回到了原来到过的地点,完成闭环检测任务。本方法融合了语义、深度和空间位置关系等高级图像信息,减少了感知的模糊性,降低了视角、光照、动态物体变化对闭环检测的影响。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和机器人定位,尤其涉及一种基于全景语义拓扑图的闭环检测方法、系统、装置及介质


技术介绍

1、闭环检测(或视觉地点识别)是视觉slam系统的重要组成部分,是指机器人通过图像的相似性判断是否回到了之前的位置,并以此作为地图是否需要更新的依据。因为机器人位姿估计的误差和不确定性随着机器人的运动而不断累积,所以需要利用准确的闭环检测来消除误差,从而获得全局一致的地图,实现更精确的定位。闭环检测的关键问题是在各种的环境变化下,如何准确地描述一个特定的位置。大多数现有的闭环检测方法很容易受到环境变化的影响,而且没有充分地利用图像信息。

2、在文献《基于局部语义拓扑图的视觉slam闭环检测》中通过对rgb-d传感器获取的室内图像进行目标检测,并将检测结果复原到空间之中,经过密度聚类之后构建目标之间的语义拓扑关系,并据此计算场景之间的相似度,最后通过连续关键帧的相似度变化判断闭环。但是该文献只是构建了局部的语义拓扑图,并不能构成对环境全方位的描述,而且在后续的相似度计算中只考虑了三维坐标向量之间的旋转、平移和尺度差异,计算量大且复杂。本文档来自技高网...

【技术保护点】

1.一种基于全景语义拓扑图的闭环检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,所述获取全景图像的方式包括:利用全景相机直接获取全景图像,或,对普通相机采集的局部图像进行拼接得到全景图像。

3.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,根据语义类别信息去除语义图中的动态对象后,通过灰度化、边缘检测和提取质心得到每个图像区域质心坐标,以此代表静态对象。

4.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,语义分割中,剔除动态对象后,提取每个静...

【技术特征摘要】

1.一种基于全景语义拓扑图的闭环检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,所述获取全景图像的方式包括:利用全景相机直接获取全景图像,或,对普通相机采集的局部图像进行拼接得到全景图像。

3.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,根据语义类别信息去除语义图中的动态对象后,通过灰度化、边缘检测和提取质心得到每个图像区域质心坐标,以此代表静态对象。

4.根据权利要求1所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,语义分割中,剔除动态对象后,提取每个静态对象的质心,并将每个静态对象oi表示为类别和质心像素坐标的组合,如式(1)所示:

5.根据权利要求1-4任一所述的一种基于全景语义拓扑图的闭环检测方法,其特征在于,使用图神经网络来计算语义拓扑图之间的相似度,判断是否构成了闭环。

6.根据权利要求5所述的一种基于全景语义拓扑图的闭...

【专利技术属性】
技术研发人员:张从宇陈安刘乙奇高红霞罗艳辉
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1