一种基于认知理解的大场景精准定位方法及系统技术方案

一种基于认知理解的大场景精准定位方法及系统，包括以下步骤：S1、视频流基于图融合的场景描述方法获得局部场景图；S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。该发明专利技术的优点在于：设计由粗到细的定位方法，可以在保证精准的同时，避免直接对维度不同的场景图进行图匹配所造成的计算成本激增问题。图匹配所造成的计算成本激增问题。图匹配所造成的计算成本激增问题。

【技术实现步骤摘要】
一种基于认知理解的大场景精准定位方法及系统


[0001]本专利技术属于机器人的
，尤其涉及一种基于认知理解的大场景精准定位方法及系统。

技术介绍

[0002]移动机器人是目前科学技术发展最活跃的领域之一，受到了世界各国的普遍重视。随着性能的不断完善和拓展，移动机器人已经成功应用于工业、农业、医疗、服务等行业。
[0003]随着移动机器人在室内大场景下的应用越来越广泛，面向室内大场景的导航需求也逐渐增大。精确的定位为移动机器人提供准确的位置和姿态信息，是机器人在大规模复杂场景下实现导航的关键和核心。高精准的定位为移动机器人在各类大场景下安全、高效地完成智能任务提供保障。然而传统的视觉定位方法存在数据量大、计算复杂度高等较难解决的问题，无法有效地应用在大场景导航任务中。

技术实现思路

[0004]为了使机器人能够在大规模场景中实现高精准、轻量化的定位，本专利技术提出了一种基于认知理解的大场景精准定位方法及系统，具体技术方案如下：一种基于认知理解的大场景精准定位方法，包括以下步骤：S1、视频流基于图融合的场景描述方法获得局部场景图；S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。
[0005]具体地说，基于图融合的场景描述方法具体步骤如下：S11、利用相机对环境进行视觉感知，通过旋转一周获得自身周围的视觉信息，获得连续的图像帧；S12、将步骤S11获得的图像帧逐一输入到目标检测网络中，识别图像中包含的目标物体的信息；如果该帧图像为视频流的第一帧图像，则使用目标检测网络直接输出目标物体的信息；如果该帧图像不是第一帧图像，则利用上一图像帧生成的场景图，基于前后帧图像关联，辅助目标检测获得目标物体的信息；S13、通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景图中，如果已经存在，则对该帧图像的处理结束，直接进行下一帧图像的处理，如果未全部存在或全部不存在，则进行步骤S14；S14、利用目标推理网络对目标物体之间的语义关系进行推理，生成该单帧图像对应的场景图；S15、将步骤S14生成的场景图和上一帧图像对应的场景图，在图卷积神经网络后直接连接一层全连接层构成场景图融合网络模块，使其能够对场景图的邻接矩阵进行预
测，从而实现去除两个场景图中重复的部分，保留不同的部分并预测其与原有场景图中物体的关系。
[0006]具体地说，步骤S12中目标检测网络为maskrnn网络或YOLO系列网络。
[0007]具体地说，目标物体的信息包括类别及位姿信息。
[0008]具体地说，基于语义一致性的粗定位方法具体如下：S211、利用物体级拓扑语义模型构建整个场景的拓扑语义地图作为全局场景图；S212、在步骤S1构建室内环境的局部场景图局部场景图中任意选取一个物体作为中心节点，根据该中心节点的物体信息，通过在全局场景图中遍历，得到属性相同的物体作为候选中心物体；S213、通过随机游走获得局部场景图的的最大节点数；最大节点数即以任一节点为起点，到达局部场景图所有边缘节点的最短步长的最大值；S214、以步骤S212获得的候选中心物体作为中心点，以最大节点数为步长沿每个可走的方向随机游走，获得若干个场景图；S215、将步骤S214获得的场景图中的每个节点和候选场景的节点，通过语义一致性筛选出前K名与步骤S1中生成的局部场景图相近的场景图，作为候选场景图。
[0009]具体地说，基于场景图匹配的精细定位方法具体如下：S221、利用物体级拓扑语义模型构建多个大场景的全局拓扑语义地图，再以每个节点为中心，随机生成子地图；通过语义直方图和随机游走的方法对大场景的全局拓扑语义地图和子地图的节点匹配进行粗标注，再通过人工校对的方法，获得全局拓扑语义地图和子地图的精确节点匹配信息，实现面向室内大场景的定位数据集的构建；S222、通过在配准矩阵中添加边配准关系，实现在现有基于图卷积神经网络的图匹配模型中关系配准模块的添加，即在设置配准矩阵时，添加边信息，构成点和边联合的配准矩阵；匹配时不仅对节点进行配准，同时将边关系也进行配准，并在损失函数中添加对边的预测的损失计算部分；S223、在步骤S221中的自制数据集中训练步骤S222改进的图匹配模型；S224、将步骤S215获得的候选场景图和步骤S1获得的局部场景图输入到步骤S223中训练好的图卷积神经网络模型中进行图匹配，获得与局部场景图最为匹配的候选场景图；S225、通过图匹配获得局部场景图与全局场景图中节点的匹配关系，根据机器人在局部场景图中的位置关系，即可得到其在全局场景中的位置，得到精准的定位信息。
[0010]实现上述基于认知理解的大场景精准定位方法的系统，包括场景图生成模块，视频流基于图融合的场景描述方法获得场景图；机器人定位模块，场景图生成模块生成的场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息；包括依次连接的基于语义一致性的粗定位模块和基于场景图匹配的精细定位模块。
[0011]一种实现介质，所述介质存储用于执行上述方法的计算机指令。
[0012]本专利技术的优点在于：（1）人类对环境的感知方式不依赖精确的坐标信息，多数依靠各物体之间的相互关系。本专利技术仿照人类对环境的感知方式，通过对环境物体本身语义及相互间的关系认知
所处环境，以此实现定位。
[0013]（2）本专利技术使用相机旋转一周的环境对应的物体级离散化场景图作为当前机器人所处位置的描述，能够更鲁棒、更轻量的表达环境。
[0014]（3）使用图卷积神经网络有效地对多个场景图进行融合，避免节点的冗余或丢失，并且是首次使用基于图卷积神经网络的图匹配方法实现大场景定位任务。
[0015]（4）通过对大规模复杂室内场景视觉信息采集，构建了一个面向大场景的定位数据集，弥补了大规模场景基于拓扑地图的定位数据集的缺失，能够更好地训练面向大场景的定位模型。
[0016]（5）在基于图卷积神经网络的图匹配模型中添加关系配准模块，能够提高图匹配的精确度。
[0017]（6）设计由粗到细的定位方法，可以在保证精准的同时，避免直接对维度不同的场景图进行图匹配所造成的计算成本激增问题。
[0018]（7）将图匹配方法应用到机器人定位上，能够解决传统定位方法在大规模复杂场景中计算成本高、精度不高等问题。
附图说明
[0019]图1为基于认知理解的大场景精准定位方法框架。
[0020]图2为基于认知理解的大场景精准定位方法技术路线图。
[0021]图3为基于图融合的场景图生成框架图。
[0022]图4为粗定位方法流程图。
[0023]图5（a）为需匹配的两图示意图。
[0024]图5（b）为仅节点配准矩阵图。
[0025]图5（c）为节点
‑
边联合配准矩阵图。
具体实施方式
[0026]如图1和图2所示，一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于认知理解的大场景精准定位方法，其特征在于，包括以下步骤：S1、视频流基于图融合的场景描述方法获得局部场景图；S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。2.根据权利要求1所述的一种基于认知理解的大场景精准定位方法，其特征在于，基于图融合的场景描述方法具体步骤如下：S11、利用相机对环境进行视觉感知，通过旋转一周获得自身周围的视觉信息，获得连续的图像帧；S12、将步骤S11获得的图像帧逐一输入到目标检测网络中，识别图像中包含的目标物体的信息；如果该帧图像为视频流的第一帧图像，则使用目标检测网络直接输出目标物体的信息；如果该帧图像不是第一帧图像，则利用上一图像帧生成的场景图，基于前后帧图像关联，辅助目标检测获得目标物体的信息；S13、通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景图中，如果已经存在，则对该帧图像的处理结束，直接进行下一帧图像的处理，如果未全部存在或全部不存在，则进行步骤S14；S14、利用目标推理网络对目标物体之间的语义关系进行推理，生成该单帧图像对应的场景图；S15、将步骤S14生成的场景图和上一帧图像对应的场景图，在图卷积神经网络后直接连接一层全连接层构成场景图融合网络模块，使其能够对场景图的邻接矩阵进行预测，从而实现去除两个场景图中重复的部分，保留不同的部分并预测其与原有场景图中物体的关系。3.根据权利要求2所述的一种基于认知理解的大场景精准定位方法，其特征在于，步骤S12中目标检测网络为maskrnn网络或YOLO系列网络。4.根据权利要求2所述的一种基于认知理解的大场景精准定位方法，其特征在于，目标物体的信息包括类别及位姿信息。5.根据权利要求1所述的一种基于认知理解的大场景精准定位方法，其特征在于，基于语义一致性的粗定位方法具体如下：S211、利用物体级拓扑语义模型构建整个场景的拓扑语义地图作为全局场景图；S212、在步骤S1构建室内环境的局部场景图中任意选取一个物体作为中心节点，根据该中心节点的物体信息，通过在全局场景图中遍历，得到属性相同的物体作为候选中心物体；S213、通过随机游走获得局部场...

【专利技术属性】
技术研发人员：邓国庆，方翠云，张超凡，刘勇，夏营威，张文，高震宇，王凡，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：