一种基于时空上下文感知转换器的室内机器人物体导航方法技术

本发明专利技术公开了一种基于时空上下文感知转换器的室内机器人物体导航方法，包含导航编码器和导航解码器。导航编码器包含了三个多层卷积神经网络，不仅能编码鸟瞰图视角下的场景空间布局和机器人的时序位姿轨迹，还能编码一种新的可行边界图来增强导航模型对潜在的高价值可探索区域线索的理解。导航解码器包含了基于自注意力机制的特征增强模块，以及基于交叉注意力机制的空间边界编码器和时序位姿编码器。这两种子解码器模块利用导航编码器中输出的三种编码特征来构建空间布局和时序位姿之间的长距离时空上下文状态表示。本发明专利技术在不同的室内场景数据集中都取得了较高的成功率。

【技术实现步骤摘要】

本专利技术属于具身智能领域，具体地说，是一种基于时空上下文感知转换器的室内机器人物体导航方法。

技术介绍

1、物体导航作为具身人工智能的一个关键分支，为各种与视觉导航相关的应用提供了重要的基础上游任务，例如图像目标导航和视觉-语言导航。在物体导航中，一个机器人学习从第一人称视角的rgb-d图像中识别未知的3d环境，并使其自带的导航模型能够做出明智的决策，以定位指定的目标。因此，如何充分挖掘从探索的空间布局和时间代理姿态轨迹中得到的时空导航线索，并用来准确引导导航决策，已经成为物体导航任务成功的关键。

2、现有的物体导航方法主要可以分为两大类：端到端方法和模块化方法。端到端方法直接处理第一人称视角的rgb图像，通过学习当前状态与最优短期动作之间的映射关系来寻找目标对象。虽然这种方法有效，但当未知场景布局与先验知识之间存在显著差异时，学习到的导航模型不可避免地会陷入次优决策，导致频繁与周围物体或障碍物发生碰撞。相比之下，模块化方法利用在鸟瞰图视角下的地图中累积的场景信息来确定长期目标并搜索目标物体。例如，使用像卷积神经网络这样的简单网络来融合累积的本文档来自技高网...

【技术保护点】

1.一种基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于，包含以下步骤：

2.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤一中采用的语义分割网络是通用的残差编码器-解码器网络。

3.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤三中障碍物图和占用图相减得到的是候选可行边界图H和W表示边界图Mb的宽和高，Mb中包含了所有候选边界，利用打分函数SFO(fi)对Mb中对所有的边界进行初步筛选；打分函数SFO(fi)的工作过程如下：

4.根据权利要求1所述的基于时空上...

【技术特征摘要】

1.一种基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于，包含以下步骤：

2.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤一中采用的语义分割网络是通用的残差编码器-解码器网络。

3.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤三中障碍物图和占用图相减得到的是候选可行边界图h和w表示边界图mb的宽和高，mb中包含了所有候选边界，利用打分函数sfo(fi)对mb中对所有的边界进行初步筛选；打分函数sfo(fi)的工作过程如下：

4.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤四中的空间布局包含了障碍物图占用图和包含k种物体的物体语义图机器人的时序轨迹包含了机器人的运动轨迹图和机器人的当前位置图利用导航编码器...

【专利技术属性】
技术研发人员：谢晋，谢维，钱建军，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：