【技术实现步骤摘要】
本专利技术属于人工智能领域，具体涉及一种基于门控图神经网络的机器人操作关系检测方法及系统。
技术介绍
1、探索物体之间的关系并给出正确的操作顺序对于机器人操作至关重要。然而，以前的大多数方法仅对成对物体之间的关系进行独立建模，忽略了它们之间存在的交互作用，这可能会在复杂场景中产生冗余或缺失关系，例如在多对象叠加和部分遮挡的场景中。
2、如附图3(a)所示，一个苹果和一个杯子放在一本书上，如果要抓取这本书，机器人需要先移开苹果和杯子。如果机器人不理解物体之间存在的关系，直接抓取书就可能损坏其他物体。如附图3(b)，机器人想要抓取杯子需要移开和它有相互关系的其它物体，即先移开苹果。在多物体堆叠和部分遮挡等复杂场景下，精确识别对象之间的关系对获取最优的操作顺序尤为重要，这对机器人而言仍然是一个挑战。然而，目前大多数视觉操作关系检测方法往往只对对象对之间的关系进行独立建模，忽略了整个图像场景的全局上下文信息。生成的操作关系树或图容易出现冗余或缺失边的问题。因此，这些方法不能灵活地应用于杂乱对象的环境中。例如，遥控器被附图3(b)中的苹果部分遮挡。人类很容易发现苹果和遥控器之间没有堆叠关系，但机器人却没有。因此，机器推理时会产生冗余边。图中的另一个示例图3(c)显示对象对之间的缺少边。由于两个螺丝刀的边界框之间的距离较大，且堆叠面积较小，因此机器会认为两个螺丝刀之间的联系不存在。此外，现有一些方法中的图结构是固定的，在推理过程中，原始图结构中的错误会累积。
技术实现思路
1、本专
2、为了达到上述目的，本专利技术采用如下技术方案：
3、本专利技术第一方面是提供一种基于门控图神经网络的机器人操作关系检测方法，包括：
4、从输入图像中提取特征并估计目标类别；
5、利用门控图神经网络ggnn捕获整个场景中对象之间的依赖关系，更新相关特征，并输出抓取序列；通过在成对对象特征中嵌入位置编码，获得上下文信息；
6、更新后的特征将被传递到三个线性层，以确定并输出对象之间的操纵关系。
7、作为本专利技术进一步改进，所述从输入图像中提取特征并估计目标类别，包括：
8、以rgb图像为输入，通过特征提取器获取图中物体的特征，其中，场景中的所有对象类别和边界框都通过目标检测方法faster r-cnn进行检测并提取特征。
9、作为本专利技术进一步改进，所述利用门控图神经网络ggnn捕获整个场景中对象之间的依赖关系，更新相关特征，包括：
10、对于每个获得的对象对，使用联合区域裁剪提取的特征；通过对象对池获取成对物体之间的特征；
11、将得到的成对特征放入门控图神经网络ggnn中，以更新三元组特征；
12、更新后的特征将被传递到三个线性层，用于以确定并输出对象之间的操纵关系。
13、作为本专利技术进一步改进，所述通过对象对池获取成对物体之间的特征，包括：
14、采用faster r-cnn作为目标检测器来定位和检测场景中出现的目标物体；vgg16和resnet101用作主干网络，分别来提取特征。
15、作为本专利技术进一步改进，所述通过在成对对象特征中嵌入位置编码，包括:
16、门控图神经网络ggnn表达建模场景中所有对象对之间的关系，节点输入是每对对象的特征及其并集的特征向量；
17、将输入的特征嵌入到位置编码中；每个输入节点添加相应的位置编码，使用正弦和余弦函数表示绝对位置，并通过两个函数的乘积获得相对位置；其位置编码的具体公式示意如下：
18、
19、
20、其中pos表示位置索引，i表示维度。
21、作为本专利技术进一步改进，所述门控图神经网络ggnn中，使用全连接模式来设置门控图神经网络ggnn节点之间的连接；对于门控图神经网络ggnn中的每个节点，首先需要初始化节点i的隐层向量表示为：
22、
23、其中，yi表示第i对对象，表示其对应的原始特征向量，是线性层的参数，f表示校正线性单元函数；
24、采用全连接层的聚合函数，在更新图中的每个节点的特征时，从图中的所有其他节点收集信息，聚合全局上下文信息；用xti表示除节点i以外的所有其他节点的融合特征，则图网络中的更新过程计算如下：
25、
26、其中wa是线性信息聚合函数的参数，表示t-1步时节点j的隐藏层特征向量；
27、使用门递归单元作为信息传播函数，用来进行图中节点的长期信息传递，使模型能够充分集成图结构中不同节点的特征，引入了重置门和更新门，从而修改循环神经网络中隐藏状态的计算方式；gru的输入是当前步骤的向量和上一时刻的隐藏层特征向量通过以下更新公式获得节点当前时刻的隐藏层状态：
28、
29、
30、
31、
32、其中σ表示sigmod激活函数，w和u是门递归单元gru的相关参数，表示步骤t中节点i的隐藏层向量；
33、对于每个图中的节点i，其初始隐藏层特征向量和gru输出的隐藏层特征向量将被串联，所连接的向量将被发送到线性层和relu激活层以获得最终向量yi，具体表示为：
34、
35、其中，f表示relu激活函数，wy是线性层的参数。
36、作为本专利技术进一步改进，以确定并输出对象之间的操纵关系，包括：
37、输入是经过门控图神经网络更新后得到的特征yi，第i个对象和第j个对象之间的三元组的最终表示是yi＝[oi；oj；oij]；在特征yi上应用三个线性层来确定成对物体的类别和它们之间的关系，并选择多类交叉熵函数作为视觉操作关系预测的损失函数，其表示如下：
38、
39、其中，ri是数据集中标注的正确值，是机器人视觉操作关系的预测结果。
40、本专利技术第二方面是提供一种基于门控图神经网络的机器人操作关系检测系统，包括：
41、特征提取模块，用于从输入图像中提取特征并估计目标类别；
42、特征更新模块，用于利用门控图神经网络ggnn捕获整个场景中对象之间的依赖关系，更新相关特征，并输出抓取序列；通过在成对对象特征中嵌入位置编码，获得上下文信息；
43、关系输出模块，用于更新后的特征将被传递到三个线性层，以确定并输出对象之间的操纵关系。
44、本专利技术第三方面是提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于门控图神经网络的机器人操作关系检测方法。
45、本专利技术第四方面是提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机本文档来自技高网...
【技术保护点】
1.一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述从输入图像中提取特征并估计目标类别，包括：
3.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述利用门控图神经网络GGNN捕获整个场景中对象之间的依赖关系，更新相关特征，包括：
4.根据权利要求3所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过对象对池获取成对物体之间的特征，包括：
5.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过在成对对象特征中嵌入位置编码，包括:
6.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述门控图神经网络GGNN中，使用全连接模式来设置门控图神经网络GGNN节点之间的连接；对于门控图神经网络GGNN中的每个节点，首先需要初始化节点i的隐层向量表示为：
7.根据权利要求1所述的一种基于门
8.一种基于门控图神经网络的机器人操作关系检测系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述基于门控图神经网络的机器人操作关系检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述基于门控图神经网络的机器人操作关系检测方法。
...【技术特征摘要】
1.一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述从输入图像中提取特征并估计目标类别，包括：
3.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述利用门控图神经网络ggnn捕获整个场景中对象之间的依赖关系，更新相关特征，包括：
4.根据权利要求3所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过对象对池获取成对物体之间的特征，包括：
5.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述通过在成对对象特征中嵌入位置编码，包括:
6.根据权利要求1所述的一种基于门控图神经网络的机器人操作关系检测方法，其特征在于，所述门控图神经...
【专利技术属性】
技术研发人员：兰旭光，丁梦远，刘亚新，杨辰杰，陈星宇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。