基于门控图神经网络的机器人操作关系检测方法及系统技术方案

本发明专利技术公开了一种基于门控图神经网络的机器人操作关系检测方法及系统，属于机器人控制技术领域，方法包括：从输入图像中提取特征并估计目标类别；利用门控图神经网络GGNN捕获整个场景中对象之间的依赖关系，更新相关特征，并输出抓取序列；通过在成对对象特征中嵌入位置编码，获得上下文信息；更新后的特征将被传递到三个线性层，以确定并输出对象之间的操纵关系。本发明专利技术通过组合全局上下文信息和在图形结构中进行长期消息传递来提高关系检测的准确性。此外，在实际机器人上的抓取实验表明，该模型具有较好的扩展性和优越的性能。

【技术实现步骤摘要】

本专利技术属于人工智能领域，具体涉及一种基于门控图神经网络的机器人操作关系检测方法及系统。

技术介绍

1、探索物体之间的关系并给出正确的操作顺序对于机器人操作至关重要。然而，以前的大多数方法仅对成对物体之间的关系进行独立建模，忽略了它们之间存在的交互作用，这可能会在复杂场景中产生冗余或缺失关系，例如在多对象叠加和部分遮挡的场景中。

2、如附图3(a)所示，一个苹果和一个杯子放在一本书上，如果要抓取这本书，机器人需要先移开苹果和杯子。如果机器人不理解物体之间存在的关系，直接抓取书就可能损坏其他物体。如附图3(b)，机器人想要抓取杯子需要移开和它有相互关系的其它物体，即先移开苹果。在多物体堆叠和部分遮挡等复杂场景下，精确识别对象之间的关系对获取最优的操作顺序尤为重要，这对机器人而言仍然是一个挑战。然而，目前大多数视觉操作关系检测方法往往只对对象对之间的关系进行独立建模，忽略了整个图像场景的全局上下文信息。生成的操作关系树或图容易出现冗余或缺失边的问题。因此，这些方法不能灵活地应用于杂乱对象的环境中。例如，遥控器被附图3(b)中的苹果部分遮挡。人类很本文档来自技高网...

【技术保护点】

1.一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述从输入图像中提取特征并估计目标类别，包括：

3.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述利用门控图神经网络GGNN捕获整个场景中对象之间的依赖关系，更新相关特征，包括：

4.根据权利要求3所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过对象对池获取成对物体之间的特征，包括：

5.根据权利要求1所述的一种基于门控图神...

【技术特征摘要】

1.一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述从输入图像中提取特征并估计目标类别，包括：

3.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述利用门控图神经网络ggnn捕获整个场景中对象之间的依赖关系，更新相关特征，包括：

4.根据权利要求3所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过对象对池获取成对物体之间的特征，包括：

5.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过在成对对象特征中嵌入位置编码，包括:

6.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述门控图神经...

【专利技术属性】
技术研发人员：兰旭光，丁梦远，刘亚新，杨辰杰，陈星宇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：