基于捕获物体的图像的机器学习方法和装置制造方法及图纸

本说明书的一些实施方式通常涉及深度机器学习方法和装置，其涉及预测响应于机器人在环境中的特定运动而将对机器人的环境中的物体发生的运动(如果有的话)。一些实施方式涉及训练深度神经网络模型以预测机器人环境的图像的至少一个变换(如果有的话)，其将作为实现机器人在环境中的特定运动的至少一部分的结果而发生。训练的深度神经网络模型可以基于包括图像和定义特定运动的部分的一组机器人运动参数的输入来预测变换。动参数的输入来预测变换。动参数的输入来预测变换。

【技术实现步骤摘要】
基于捕获物体的图像的机器学习方法和装置
[0001]本申请是2017年5月16日申请并于2018年11月20日进入中国国家阶段的中国专利技术专利申请第201780031172.7号(专利技术名称：与基于捕获物体的图像并且基于用于环境中的未来机器人运动的参数来预测机器人环境中的物体运动有关的机器学习方法和装置)的分案申请。


[0002]本专利技术涉及基于捕获物体的图像并且基于用于环境中的未来机器人运动的参数来预测机器人环境中的物体运动有关的机器学习方法和装置。

技术介绍

[0003]许多机器人被编程为利用一个或多个末端执行器来操纵一个或多个物体。例如，机器人可以利用末端执行器将力施加到物体上并引起该物体的运动。例如，机器人可以利用抓握末端执行器或其他末端执行器来移动物体而不必抓住该物体。此外，例如，机器人可以利用抓握末端执行器比如“冲击式”抓取器或“渐进式”抓取器(例如使用销、针等物理地穿透物体)从第一位置拾取物体，将物体移动到第二位置，然后在第二位置放下物体。

技术实现思路

[0004]本说明书的一些实施方式通常涉及深度机器学习方法和装置，其涉及预测响应于机器人在环境中的特定运动而将对机器人的环境中的物体发生的运动(如果有的话)。一些实施方式涉及训练深度神经网络模型以预测机器人环境的图像的至少一个变换(如果有的话)，其将作为实现机器人在环境中的特定运动的至少一部分的结果而发生。训练的深度神经网络模型可以基于包括(1)图像和(2)定义特定运动的部分的机器人运动参数的输入来预测变换。可以利用预测的变换来变换图像以生成机器人环境的预测图像，其中预测图像预测机器人的环境是要发生的特定运动的部分。换句话说，预测图像示出了在特定运动的一部分发生之后机器人的环境的预测，并且可以用于例如预测将作为特定运动的结果而发生的环境中的物体的运动。
[0005]预测的运动可以用于各种目的，例如确定是否向机器人的致动器提供控制命令以实现特定运动。例如，可以将预测的运动与期望的运动进行比较，并且如果预测的运动符合期望的运动则实施控制命令。以这种方式，特定运动的结果可以在实施特定运动之前被有效地“可视化”，并且如果结果是期望的，则实施特定运动。如本文所述，在各种实施方式中，深度神经网络模型基于用于那些未来时间步骤的候选运动参数来预测多个未来时间步骤中的每一个的图像，从而使得能够有效地可视化进入未来的许多时间步骤。
[0006]在一些实施方式中，提供了一种方法，其包括生成候选机器人运动参数，所述候选机器人运动参数定义可由机器人的一个或多个部件在机器人的环境中执行的候选运动的至少一部分。所述方法还包括识别由与机器人相关的视觉传感器捕获的当前图像。所述当前图像捕获机器人的环境的至少一部分。所述方法还包括：将所述当前图像和候选机器人
运动参数作为输入应用于训练的神经网络；和基于将所述当前图像和候选机器人运动参数应用于训练的神经网络来生成所述预测变换来生成所述当前图像的至少一个预测变换。所述方法还包括基于所述至少一个预测变换来变换所述当前图像以生成至少一个预测图像。如果候选运动的至少一部分由机器人的部件在环境中执行，则所述预测图像预测机器人的环境的部分。
[0007]这些和其他实施方式可以可选地包括以下特征中的一个或多个。
[0008]在一些实施方式中，该方法还包括：基于所述预测图像，确定执行所述候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动。
[0009]在一些实施方式中，该方法还包括：基于所述预测图像，确定执行替代运动以代替所述候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述替代运动。
[0010]在一些实施方式中，该方法还包括基于将所述当前图像和候选机器人运动参数应用于训练的神经网络，生成至少一个合成掩模(mask)。变换所述当前图像还基于所述至少一个合成掩模。作为一个示例，所述至少一个预测变换可以包括多个预测变换，所述至少一个合成掩模可以包括多个合成掩模，并且基于所述至少一个预测变换来变换所述当前图像以生成所述预测图像可以包括：基于所述多个预测变换生成多个预测图像；和基于所述多个合成掩模合成预测图像以生成所述预测图像。
[0011]在一些实施方式中，该方法还包括：生成第二候选机器人运动参数，所述第二候选机器人运动参数定义可由所述部件中的一个或多个在环境中执行的第二候选运动的至少一部分，所述第二候选运动可执行以代替所述候选运动。在这些实施方式中，该方法还可以包括：将所述当前图像和第二候选机器人运动参数作为输入应用于训练的神经网络；基于将所述当前图像和第二候选机器人运动参数应用于训练的神经网络来生成所述第二预测变换来生成所述当前图像的至少一个第二预测变换；和基于所述第二预测变换来变换所述当前图像的一个或多个像素以生成至少一个第二预测图像。如果所述第二候选运动的至少一部分由机器人的部件在环境中执行，则所述第二预测图像预测机器人的环境的部分。在这些实施方式的一些版本中，该方法还包括：基于所述预测图像和第二预测图像，选择所述候选运动或第二候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动和第二候选运动中的所选择的一个。
[0012]在一些实施方式中，该方法还包括：生成连续候选机器人运动参数，所述连续候选机器人运动参数定义在所述候选运动的一部分之后的所述候选运动的另一部分；将所述预测图像和连续候选机器人运动参数应用于训练的神经网络；基于将所述预测图像和连续候选机器人运动参数应用于训练的神经网络来生成所述预测图像的至少一个连续预测变换；和基于所述连续预测变换来变换所述预测图像以生成连续预测图像。在这些实施方式的其中一些中，该方法还包括：基于所述预测图像和连续预测图像，确定执行所述候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动。
[0013]在一些实施方式中，训练的神经网络包括多个堆叠的卷积长短期存储层。
[0014]在一些实施方式中，所述当前图像的像素的至少一个预测变换包括一个或多个空间变换器的参数。在这些实施方式的其中一些中，变换所述当前图像包括：利用所述参数将所述一个或多个空间变换器应用于所述当前图像。
[0015]在一些实施方式中，所述当前图像的像素的至少一个预测变换包括一个或多个归一化分布，每个归一化分布对应于一个或多个像素。在这些实施方式的其中一些中，变换所述当前图像包括：使用卷积运算将归一化分布应用于所述当前图像。在这些实施方式的一些版本中，每个归一化分布对应于相应的一个像素。
[0016]在一些实施方式中，将所述当前图像和候选机器人运动参数作为输入应用于训练的神经网络包括：将所述当前图像作为输入应用于训练的神经网络的初始层；和将所述候选机器人运动参数应用于训练的神经网络的附加层，所述附加层位于所述初始层的下游。
[0017]在一些实施方式中，候选机器人参数包括初始机器人状态和指示后续机器人状态的动作。在这些实施方式的其中一些中，初始机器人状态是末端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由一个或多个处理器实施的方法，包括：生成候选机器人运动参数，所述候选机器人运动参数定义可由机器人的一个或多个部件在机器人的环境中执行的候选运动的至少一部分；识别由与机器人相关的视觉传感器捕获的当前图像，所述当前图像捕获机器人的环境的至少一部分；将所述当前图像和候选机器人运动参数作为输入应用于训练的神经网络；生成所述当前图像的至少一个预测变换，基于将所述当前图像和候选机器人运动参数应用于训练的神经网络来生成所述预测变换；基于所述至少一个预测变换来变换所述当前图像以生成至少一个预测图像，如果候选运动的至少一部分由机器人的部件在所述环境中执行，则所述预测图像预测机器人的环境的所述部分；基于所述预测图像确定执行第二候选运动替代所述候选运动；以及将一个或多个控制命令提供到所述机器人的一个或多个致动器，以执行所述第二候选运动。2.根据权利要求1所述的方法，还包括：基于将所述当前图像和候选机器人运动参数应用于训练的神经网络，生成至少一个合成掩模；其中，变换所述当前图像还基于所述至少一个合成掩模。3.根据权利要求2所述的方法，其中，所述至少一个预测变换包括多个预测变换，其中，所述至少一个合成掩模包括多个合成掩模，并且其中，基于所述至少一个预测变换来变换所述当前图像以生成所述预测图像包括：基于所述多个预测变换生成多个预测图像；和基于所述多个合成掩模合成预测图像以生成所述预测图像。4.根据权利要求1所述的方法，还包括：生成第二候选机器人运动参数，所述第二候选机器人运动参数定义所述第二候选运动的至少一部分；将所述当前图像和第二候选机器人运动参数作为输入应用于训练的神经网络；生成所述当前图像的至少一个第二预测变换，基于将所述当前图像和第二候选机器人运动参数应用于训练的神经网络来生成所述第二预测变换；基于所述第二预测变换来变换所述当前图像的一个或多个像素以生成至少一个第二预测图像，如果所述第二候选运动的至少一部分由机器人的部件在所述环境中执行，则所述第二预测图像预测机器人的环境的所述部分。5.根据权利要求4所述的方法，还包括：基于所述第二预测图像，选择所述第二候选运动。6.根据权利要求5所述的方法，还包括：生成连续候选机器人运动参数，所述连续候选机器人运动参数定义在所述第二候选运动的所述部分之后的所述第二候选运动的另一部分；将所述预测图像和连续候选机器人运动参数应用于训练的神经网络；生成所述预测图像的至少一个连续预测变换，基于将所述预测图像和连续候选机器人
运动参数应用于训练的神经网络来生成所述预测图像的至少一个连续预测变换；基于所述连续预测变换来变换所述预测图像以生成连续预测图像。7.根据权利要求6所述的方法，还包括：进一步基于所述连续预测图像，选择所述第二候选运动。8.根据权利要求1所述的方法，其中，所述训练的神经网络包括多个堆叠的卷积长短期存储层。9.根据权利要求1所述的方法，其中，所述当前图像的像素的至少一个预测变换包括一个或多个空间变换器的参数。10.根据权利要求9所述的方法，其中，变换...

【专利技术属性】
技术研发人员：S莱文，C芬恩，I古德费洛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：