一种基于鸟瞰视角的视觉重定位方法技术

本发明专利技术公开了一种基于鸟瞰视角的视觉重定位方法，涉及机器人技术领域。将机器人相机传感器数据转换至鸟瞰视角下的统一坐标系，融合时间窗口和空间窗口的信息同时用于场景的表示；场景鸟瞰图进一步抽象为语义拓扑图，将具有区分度的物体表示为带有语义标签的拓扑节点，将拓扑节点间的背景区域表示为拓扑边信息，抽象出场景的高层级语义信息以及几何结构信息，同时保留低层级特征点信息作为拓扑节点对应物体的外观属性，多层级信息结合；根据节点和边的属性计算当前场景拓扑图与地图数据库场景拓扑图的相似度，构建亲和矩阵，利用图卷积网络进行求解，得到定位结果。本发明专利技术实现更完整的传感器信息利用，更好的定位效果，提高了泛化性。高了泛化性。高了泛化性。

【技术实现步骤摘要】
一种基于鸟瞰视角的视觉重定位方法


[0001]本专利技术涉及机器人
，尤其涉及一种基于鸟瞰视角的视觉重定位方法。

技术介绍

[0002]移动机器人技术不断发展，应用愈发广泛，在室外环境下，移动机器人可以通过全球导航卫星系统(GNSS)获得自身位置信息，但是随着应用场景的扩展，在人口稠密的城市环境、建筑物干扰的室内环境、乃至易受攻击的战场环境，卫星信号拒止使得无法获得准确的定位。而视觉重定位技术使用视觉信息识别先前访问过的地点，由于相机传感器的部署简单、成本低、图像信息易于获取等优点，在移动机器人领域得到越来越多的关注。能够应对感知混叠、外观、光照、视角变化等情况的准确重定位对于后续执行同步定位与建图(SLAM)中的闭环检测以纠正定位漂移，以及移动机器人导航等任务都是至关重要的。视觉重定位方法起初采用手工设计的各类描述符提取特征点对图像信息进行编码，比如sift、orb特征等，随着近年来深度学习的发展，基于数据驱动的学习算法使用神经网络代替了传统的手工描述符对图像信息进行编码，使得获取的特征信息更加鲁棒。但是该领域仍然存在一些亟待解决的问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于鸟瞰视角的视觉重定位方法，其特征在于，包括以下步骤：步骤1、累积移动机器人相机传感器图像，通过2D卷积神经网络和3D卷积神经网络生成以机器人为中心的局部语义体素重建；步骤2、以鸟瞰视角从局部语义体素重建中提取有区分度的目标物作为场景拓扑图的节点；步骤3、将目标物的类别、外观信息存入对应节点属性；步骤4、将目标物两两连接作为场景拓扑图的边；步骤5、将边的长度以及所跨越的背景区域比例存入对应的边属性；步骤6、根据节点和边的属性计算当前场景拓扑图与地图数据库场景拓扑图的相似度，构建亲和矩阵；步骤7、通过图神经网络求解由亲和矩阵转化出的二次分配问题，得到定位结果。2.如权利要求1所述的基于鸟瞰视角的视觉重定位方法，其特征在于，所述步骤1，将移动机器人运行过程中通过相机传感器采集的图像输入卷积神经网络，经过2DUNet网络结构和3D UNet网络结构提取图像中隐含的空间信息，得到以机器人为中心的局部语义体素重建。3.如权利要求2所述的基于鸟瞰视角的视觉重定位方法，其特征在于，所述卷积神经网络的输出，将以机器人为中心的局部三维空间分割为等尺寸的体素，每个体素中存储了对应位置处的语义类别信息。4.如权利要求2所述的基于鸟瞰视角的视觉重定位方法，其特征在于，所述卷积神经网络参数在自动驾驶公开数据集semantic kitti上端到端训...

【专利技术属性】
技术研发人员：牛昊晨，应忍冬，刘佩林，陈祥，计星武，文飞，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：