用于机器人抓取的深度机器学习方法和装置制造方法及图纸

本发明专利技术涉及用于机器人抓取的深度机器学习方法和装置。一些实施方式涉及训练语义抓取模型以预测指示机器人的末端执行器的运动数据是否将导致对物体的成功抓取的量度；并且预测指示所述物体是否具有期望的语义特征的附加量度。一些实施方式涉及利用经训练的语义抓取模型来伺服机器人的抓取末端执行器以实现对具有期望的语义特征的物体的成功抓取。

【技术实现步骤摘要】
用于机器人抓取的深度机器学习方法和装置分案说明本申请属于申请日为2017年3月2日的中国专利技术专利申请No.201780018883.0的分案申请。
技术介绍
许多机器人被编程为利用一个或多个末端执行器来抓取一个或多个物体。例如，机器人可以利用诸如“冲击式(impactive)”抓爪或“侵入式(ingressive)”抓爪的抓取末端执行器(例如，使用销、针等在物理上穿透物体)来从第一定位拾取物体，将该物体移动到第二定位，并且在第二定位处放下该物体。可以抓取物体的机器人末端执行器的一些附加示例包括“收缩式(astrictive)”末端执行器(例如，使用抽吸或真空来拾取物体)和一个或多个“接触式(contigutive)”末端执行器(例如，使用表面张力、冷冻或粘合剂来拾取物体)，仅举几例。
技术实现思路
本说明书大体涉及与通过机器人的末端执行器对物体的操纵有关的深度机器学习方法和装置。一些实施方式涉及训练抓取深度神经网络，诸如卷积神经网络(在本文中也称为“CNN”)，以预测用于机器人的末端执行器的候选运动数据将导致通过末端执行器对一个或多个物体的成功抓取的概率和/或预测空间变换器网络(在本文中也称为“STN”)的空间变换参数。例如，一些实施方式使得能够应用以下来作为对训练的抓取深度神经网络的输入：(1)定义机器人的抓取末端执行器的候选运动(若有的话)的候选运动矢量以及(2)捕获机器人的工作空间的至少一部分的图像；以及基于所述应用来生成：(1)直接地或间接地指示候选运动矢量将导致成功抓取的概率的量度；和/或(2)指示抓取末端执行器将移向的图像(或附加图像)中的定位的空间变换参数。然后，可以在伺服通过具有抓取末端执行器的机器人的抓取尝试的执行时使用指示概率的量度和/或空间变换参数，从而改进机器人成功地抓取其环境中的物体的能力。那些实施方式中的一些还涉及训练空间变换器网络以基于接收到的空间变换参数来生成图像的空间变换和/或涉及训练语义深度神经网络(例如，语义CNN)以基于空间变换来预测空间变换中的物体的类别(和/或其它语义特征)。在那些实施方式的一些版本中，可以基于以下两者来训练语义深度神经网络：基于通过一个或多个机器人的抓取尝试而生成的训练样本；以及来自包括不是基于通过一个或多个机器人的抓取尝试而生成的训练样本(例如，来自IMAGENET图像数据库的训练样本)的其它计算机视觉数据集的训练样本。使用来自其它计算机视觉数据集的训练样本可以增加语义深度神经网络的语义理解的准确度和/或广度。一些实施方式涉及利用经训练的抓取深度神经网络、经训练的空间变换器网络和/或经训练的语义神经网络来伺服机器人的抓取末端执行器以实现通过抓取末端执行器对具有期望的语义物体特征的物体的成功抓取。例如，可以在机器人的控制该机器人的抓取末端执行器的姿态的一个或多个致动器的运动控制命令的迭代更新中利用各个训练的网络，并且可以利用各个训练的网络来确定何时生成抓取控制命令以通过抓取末端执行器实现尝试的抓取。例如，可以仅当在抓取深度神经网络上生成的输出指示成功抓取的可能性满足阈值时并且当在语义深度神经网络上生成的输出指示抓取将很可能是针对具有期望的语义物体特征的物体的时，生成抓取控制命令并将它提供给对应致动器。使用训练的网络来实现对具有期望的语义物体特征的物体的成功抓取可以使得机器人能够执行针对具有特定物体特征的物体的各个动作，其中那些特定物体特征由人类生成的用户接口输入和/或由另一组件(例如，更高级的任务计划器)规定。例如，用户可以提供指示期望抓取具有一个或多个特定物体特征的物体的用户接口输入(例如，口头的、键入的)，并且只有当如下情况时机器人才可以利用经训练的网络来尝试抓取：抓取很可能成功并且很可能是针对具有特定物体特征的物体的。例如，用户可以提供“拾取勺子”的用户接口输入并且机器人可以基于在抓取深度神经网络上生成的指示抓取很可能成功的输出并且基于在语义深度神经网络上生成的指示抓取很可能是针对具有“勺子”的分类的物体的输出来尝试抓取。在一些实施方式中，提供了一种方法，所述方法包括：生成候选末端执行器运动矢量，所述候选末端执行器运动矢量定义将机器人的抓取末端执行器从当前姿态移动到附加姿态的运动；以及识别由与机器人相关联的视觉传感器捕获的当前图像。当前图像捕获抓取末端执行器和机器人的环境中的至少一个物体。所述方法还包括：将当前图像和候选末端执行器运动矢量作为输入应用于训练的抓取卷积神经网络；在经训练的抓取卷积神经网络上生成在应用运动的情况下对物体的成功抓取的量度。量度是基于将图像和末端执行器运动矢量应用于经训练的抓取卷积神经网络而生成的。所述方法还包括：识别期望的物体语义特征；将所述当前图像的或由所述视觉传感器捕获的附加图像的空间变换作为输入应用于语义卷积神经网络；以及在语义卷积神经网络上基于空间变换生成附加量度，所述附加量度指示所期望的物体语义特征是否存在于空间变换中。所述方法还包括：基于成功抓取的量度和指示所期望的物体语义特征是否存在的附加量度来生成末端执行器命令；以及将末端执行器命令提供给机器人的一个或多个致动器。这些和其它实施方式可以包括以下特征中的一个或多个。在一些实施方式中，所述方法还包括：在经训练的抓取卷积神经网络上基于将图像和末端执行器运动矢量应用于经训练的抓取卷积神经网络来生成空间变换参数；以及在空间变换网络上基于空间变换参数生成空间变换。在一些实施方式中，所期望的物体语义特征定义物体分类。在一些实施方式中，所述方法还包括从用户接口输入设备接收用户接口输入并且基于用户接口输入识别所期望的物体语义特征。在那些实施方式中的一些中，用户接口输入设备是麦克风，诸如机器人的麦克风。在一些实施方式中，空间变换是针对当前图像的，诸如裁切出当前图像的一部分的空间变换。在一些实施方式中，所述方法还包括：确定在不应用运动的情况下对物体的成功抓取的当前量度。在那些实施方式中的一些中，基于量度生成末端执行器命令包括：基于量度与当前量度的比较来生成末端执行器命令。在那些实施方式的一些版本中，末端执行器命令是抓取命令并且生成抓取命令是响应于：确定附加量度指示所期望的物体特征存在于空间变换中；以及确定量度与当前量度的比较满足一个或多个准则。在一些实施方式中，末端执行器命令是末端执行器运动命令并且生成末端执行器运动命令包括：生成末端执行器运动命令以符合候选末端执行器运动矢量。在一些实施方式中，末端执行器命令是末端执行器动作命令并且符合候选末端执行器运动矢量。在那些实施方式中的一些中，将末端执行器运动命令提供给一个或多个致动器将末端执行器移动到新姿态，并且所述方法还包括：生成附加候选末端执行器运动矢量，所述附加候选末端执行器运动矢量定义将抓取末端执行器从新姿态移动到另一个附加姿态的新运动；识别由与机器人相关联的视觉传感器捕获的新图像，所述新图像捕获处于新姿态的末端执行器并且捕获环境中的物体；将新图像和附加候选末端执行器运动矢量作为输入应用于经训练的抓取卷积神经网络；在经训练的抓取卷积神经网络上生成在应用新运动的情本文档来自技高网...

【技术保护点】
1.一种由一个或多个处理器实现的方法，包括：/n识别抓取尝试的期望的物体语义特征；/n生成候选末端执行器运动矢量，所述候选末端执行器运动矢量定义将机器人的抓取末端执行器从当前姿态移动到附加姿态的运动；/n识别由与所述机器人相关联的视觉传感器捕获的当前图像，所述当前图像捕获所述抓取末端执行器和所述机器人的环境中的物体；/n将所述当前图像和所述候选末端执行器运动矢量作为输入应用于训练的语义抓取模型；/n基于对所述当前图像和所述候选末端执行器运动矢量的处理，使用所述训练的语义抓取模型来生成：/n在应用所述运动的情况下对所述物体的成功抓取的量度；/n指示所述物体是否具有所述期望的物体语义特征的附加量度；/n基于确定所述成功抓取的量度满足一个或多个准则并且所述附加量度指示所述物体具有所述期望的物体语义特征，生成抓取命令；以及/n将所述抓取命令提供给所述机器人的一个或多个致动器以使所述末端执行器尝试所述物体的抓取。/n

【技术特征摘要】
20160303 US 62/303,139;20161115 US 62/422,5491.一种由一个或多个处理器实现的方法，包括：
识别抓取尝试的期望的物体语义特征；
生成候选末端执行器运动矢量，所述候选末端执行器运动矢量定义将机器人的抓取末端执行器从当前姿态移动到附加姿态的运动；
识别由与所述机器人相关联的视觉传感器捕获的当前图像，所述当前图像捕获所述抓取末端执行器和所述机器人的环境中的物体；
将所述当前图像和所述候选末端执行器运动矢量作为输入应用于训练的语义抓取模型；
基于对所述当前图像和所述候选末端执行器运动矢量的处理，使用所述训练的语义抓取模型来生成：
在应用所述运动的情况下对所述物体的成功抓取的量度；
指示所述物体是否具有所述期望的物体语义特征的附加量度；
基于确定所述成功抓取的量度满足一个或多个准则并且所述附加量度指示所述物体具有所述期望的物体语义特征，生成抓取命令；以及
将所述抓取命令提供给所述机器人的一个或多个致动器以使所述末端执行器尝试所述物体的抓取。


2.根据权利要求1所述的方法，其中，所述期望的物体语义特征定义物体分类。


3.根据权利要求1所述的方法，进一步包括：
从用户接口输入设备接收用户接口输入；
其中，识别所述期望的物体语义特征是基于所述用户接口输入。


4.一种机器人，包括：
视觉传感器，所述视觉传感器查看所述机器人的环境；
末端执行器；
致动器，所述致动器控制所述末端执行器的姿态；
用户接口输入设备；
一个或多个深度神经网络，所述一个或多个深度神经网络存储在一个或多个非暂时性计算机可...

【专利技术属性】
技术研发人员：苏达赫恩德拉·维娅亚纳拉辛汉，章继鸿，彼得·帕斯特桑佩德罗，谢尔盖·莱文，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US