一种基于知识嵌入的服务机械臂任务为导向的抓取方法技术

本发明专利技术公开了一种基于知识嵌入的服务机械臂任务为导向的抓取方法，解决了现有方法只能针对特定任务，难以泛化满足智能机器人所面对的多变场景和复杂任务，其技术方案要点是使用采集获取的数据集训练针对被抓取对象、动作以及动作作用对象的知识嵌入网络模型，服务机械臂将观测到的图像信息以及给定的动作利用训练好知识嵌入网络模型对自动生成的候选抓取方案进行评分，从而选取最优的抓取位置，并将观测空间的抓取坐标变换为三维世界坐标，进而服务机械臂发出合理的抓取指令，本发明专利技术的一种基于知识嵌入的服务机械臂任务为导向的抓取方法，能更加灵活、准确的理解感知、完成复杂的交互，方便后续任务的规划和执行。方便后续任务的规划和执行。方便后续任务的规划和执行。

【技术实现步骤摘要】
一种基于知识嵌入的服务机械臂任务为导向的抓取方法


[0001]本专利技术涉及机械臂抓取方法，特别涉及一种基于知识嵌入的服务机械臂任务为导向的抓取方法。

技术介绍

[0002]近些年来，随着科技的发展和探索，人类生产生活对机器人的使用越来越多，而服务机械臂作为其中的一种，能够在与人类进行交互，完成各种人类生活中的需求，其在当前我国劳动力成本不断攀高以及老龄化不断严重的背景下，需求越来越为人所重视。
[0003]对于服务机械臂来说，在人机交互中其中很重要的一项任务是根据任务需求合理的选择工具或者物体并优化抓取的位置从而完成需求。一般来说，此类任务可能是简单的抓取放置、搬运，也可能是将水杯递给被服务人员或是敲钉子等等较复杂的任务。这类人类完成起来很简单的问题往往仅靠机器人自己推理决策并不简单。
[0004]目前的服务机械臂抓取检测研究主要可以分为几何驱动与数据驱动两大类。几何驱动的方法主要针对数据库中已知物体的抓取检测，其核心思路是通过对2D图像或者3D点云的几何特征进行计算和处理来估计物体的抓取位姿，然而其泛化能力有限，在实际应用中需要已知待抓取物体的几何模型和物理特性，例如摩擦系数、弹性系数等，但是在实际应用场景中，这些信息是难以获得的；数据驱动的方法则是通过大量带有标签的样本来学习抓取经验，相较于几何驱动的方法，数据驱动的方法对于复杂场景下不同物体的抓取具有更好的泛化能力，但传统的数据驱动方法过于依赖人工提取特征的选取质量，特征提取的工作量大，且由于人类认知的局限性，人工提取特征的方法难以对特征进行更加深入的表示，通常只可以对特定场景下的特定任务有效，其泛化能力仍远远无法满足智能机器人所面对的多变场景和复杂任务。

技术实现思路

[0005]本专利技术的目的是提供一种基于知识嵌入的服务机械臂任务为导向的抓取方法，能更加灵活、准确的理解感知，完成复杂的交互，方便后续任务的规划和执行。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0007]一种基于知识嵌入的服务机械臂任务为导向的抓取方法，包括有以下步骤：
[0008]S1、采集获取被抓取图像数据集，对被抓取图像进行预处理形成候选抓取区域，标注形成标签数据；
[0009]S2、分别建立以残差网络为基础的被抓取物体知识嵌入模型和执行对象知识嵌入模型，建立以全连接层网络为基础的动作知识嵌入模型；
[0010]S3、使用被抓取图像数据集对各知识嵌入模型进行端到端的训练；
[0011]S4、根据服务机械臂观测中的被抓取物体，获取所有被抓取物体的可能抓取区域，并放入抓取候选集中；
[0012]S5、根据抓取的效果评分筛选候选集中候选的抓取区域，并通过非极大值抑制对
效果评分筛选的抓取区域进一步筛选；
[0013]S6、使用训练后的知识嵌入模型对抓取候选、执行动作及动作作用对象分别进行知识嵌入，分别计算各抓取候选在当前抓取任务下的合适程度评分；
[0014]S7、选取最高分合适程度评分的抓取候选，作为服务机械臂在当前任务下的抓取区域；
[0015]S8、将获取服务机械臂观测空间的抓取区域坐标转换为三维世界坐标，服务机械臂执行动作进行抓取。
[0016]作为优选，采集获取被抓取图像数据集包括环境中可能出现的各类被抓取物体的图像、可执行的各类动作及动作作用对象图像。
[0017]作为优选，预处理形成的候选抓取区域的数据形式为RG
‑
M图像，其中M通道是表示抓取位置的“遮盖”层。
[0018]作为优选，抓取任务由被抓取对象、执行动作、动作作用对象共同定义。
[0019]作为优选，知识嵌入模型的训练过程中使用交叉熵分别约束被抓取对象的图像数据和动作作用对象的图像数据分类。
[0020]作为优选，合适程度评分的评分结果与被抓取对象的知识嵌入结果和动作的知识嵌入结果之和与动作作用对象的知识嵌入结果之间距离的倒数成正比。
[0021]综上所述，本专利技术具有以下有益效果：
[0022]在抓取任务的定义时，不仅仅考虑被抓取物体的特性，还将考虑抓取后制定动作的目的以及执行动作的对象，这样能够使得所选取的抓取点可以方便后续任务的规划和执行；
[0023]建立的知识嵌入模型使得本专利技术中提出的算法能够完成对被抓取物体的特征的总结，进而使得算法除了能够完成已有的任务和抓取点的配对的简单记忆外，具有一定的理解能力、推理能力和决策能力。
附图说明
[0024]图1为本专利技术方法的流程示意图；
[0025]图2为实施例中所设计知识嵌入模型的神经网络结构以及损失函数组成示意图；
[0026]图3为实施例中抓取区域生成的整体示意图。
具体实施方式
[0027]以下结合附图对本专利技术作进一步详细说明。
[0028]目前已有的各种抓取检测方法都有一个共同的不足之处，就是在检测物体的抓取点时只考虑了抓取的稳定性，而没有考虑物体的功能以及所要执行的任务，也就是没有考虑抓取该物体的后续操作。这种抓取检测方法适用于物体的挑拣、搬运和整理，仅需要将物体拿起然后放置到某一位置，因此适合用于产品挑拣、物流运输等工业场景。但对于服务机械臂等智能机器人通常需要与物体进行更为复杂的交互，因此仅仅优化抓取的稳定性是无法达到目标的。除了稳定性，还需要考虑所选取的抓取点应该方便后续任务的规划和执行，例如同样是抓取一个马克杯，当服务机械臂所要执行的任务分别是向杯子中倒水、清洗杯子或把杯子递给服务对象时，其选择的抓取点应该是不同的，这样才能方便后续任务的规
划和执行，否则可能会导致无法成功完成任务。这种场景下的抓取需要机器人能够更加灵活、准确地理解环境和任务，即不仅需要对环境的感知能力，还需要具备优秀的理解能力、推理能力和决策能力。
[0029]根据一个或多个实施例，公开了一种基于知识嵌入的服务机械臂任务为导向的抓取方法，如图1所示，包括有以下步骤：
[0030]S1、采集获取被抓取图像数据集，对被抓取图像进行预处理形成候选抓取区域，标注形成标签数据。
[0031]采集获取被抓取图像数据集包括环境中可能出现的各类被抓取物体的图像、可执行的各类动作及动作作用对象图像。对被抓取物体图像进行预处理形成格式为RG
‑
M的候选抓取区域，其中M通道是表示抓取位置的“遮盖”层。手动标注给以标签数据。对于被抓取的对象，使用基于深度学习的任务无关的抓取检测算法来生成一些类备选的抓取位置数据。
[0032]S2、分别建立以残差网络为基础的被抓取物体知识嵌入模型和执行对象知识嵌入模型，建立以全连接层网络为基础的动作知识嵌入模型。各知识嵌入模型的输出维度保持一致，以满足可加性。
[0033]S3、使用被抓取图像数据集对各知识嵌入模型进行端到端的训练。
[0034]S4、根据服务机械臂观测中的被抓取物体，获取所有被抓取物体的可能抓取区域，并放入抓取候选集中。
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识嵌入的服务机械臂任务为导向的抓取方法，其特征是，包括有以下步骤：S1、采集获取被抓取图像数据集，对被抓取图像进行预处理形成候选抓取区域，标注形成标签数据；S2、分别建立以残差网络为基础的被抓取物体知识嵌入模型和执行对象知识嵌入模型，建立以全连接层网络为基础的动作知识嵌入模型；S3、使用被抓取图像数据集对各知识嵌入模型进行端到端的训练；S4、根据服务机械臂观测中的被抓取物体，获取所有被抓取物体的可能抓取区域，并放入抓取候选集中；S5、根据抓取的效果评分筛选候选集中候选的抓取区域，并通过非极大值抑制对效果评分筛选的抓取区域进一步筛选；S6、使用训练后的知识嵌入模型对抓取候选、执行动作及动作作用对象分别进行知识嵌入，分别计算各抓取候选在当前抓取任务下的合适程度评分；S7、选取最高分合适程度评分的抓取候选，作为服务机械臂在当前任务下的抓取区域；S8、将获取服务机械臂观测空间的抓取区域坐标转换为三维世界坐标，服务机械臂执行动作进行抓取。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：高岳，高峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：