用于学习高维机器人任务的网络模块化制造技术

一种用于将高维神经网络模块化成较低输入维度的神经网络的方法。该方法适用于基于待拾取部件的图像生成全DOF机器人抓取动作。在一个示例中，第一网络对抓取位置维度进行编码，而第二网络对旋转维度进行编码。训练第一网络以预测在其处对于抓取旋转的任意值使抓取质量最大化的位置。训练第二网络以识别仅在来自第一网络的位置处搜索时的最大抓取质量。因此，两个网络共同地识别最佳抓取，同时每个网络的搜索空间被减小。能够以在所评估的位置和旋转之和而不是乘积的搜索量来评估许多抓取位置和旋转。可以以任何合适的方式分离维度，在一些应用中包括三个神经网络。在一些应用中包括三个神经网络。在一些应用中包括三个神经网络。

【技术实现步骤摘要】
用于学习高维机器人任务的网络模块化


[0001]本公开一般涉及一种用于将高维神经网络解耦成两个或更多个较低输入维度的神经网络的方法，并且更具体地，涉及一种用于生成高维任务的机器人动作的网络模块化方法，其将高自由度(DOF)动作分解成组，并且神经网络使用专门设计的数据来单独地搜索分组动作中的每一个。

技术介绍

[0002]使用工业机器人来执行各种各样的制造、组装和材料移动操作是众所周知的。一种这样的应用是拾取和放置操作，其中机器人从料箱拾取各个部件并将每个部件放置在传送机或船运集装箱上。这种应用的一个示例是，已经模制或加工的部件落入料箱中，并以随机的位置和定向放置，机器人的任务是拾取每个部件，并将其以预定的定向(姿态)放置在传送机上，该传送机传送部件以便包装或进一步处理。根据料箱内的部件的类型和其它因素，可以使用指型夹持器或抽吸式夹持器作为机器人工具。视觉系统(一个或多个相机)通常用于识别料箱中的各个部件的位置和姿态。
[0003]在本领域中已知使用已训练的神经网络系统来计算用于料箱中的部件的抓取指令。然而，现有的神经网络抓取学习系统遭受本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用较低输入维度的神经网络来解决高维模式识别问题的方法，所述方法包括：将多维问题划分成两个或更多个互斥的分组维度集；提供在具有处理器和存储器的计算机上运行的串联连接的两个或更多个神经网络，其中，为所述两个或更多个分组维度集中的每个分组维度集提供所述两个或更多个神经网络中的一个神经网络，并且其中，所述两个或更多个神经网络中的每个神经网络对其对应的分组维度集和所述两个或更多个神经网络中的所述串联中上游的其他神经网络的分组维度集进行编码；使用监督学习来独立地训练所述两个或更多个神经网络，其中，使用最大余量技术来训练所述串联中的至少第一神经网络，以找到其对应的分组维度集的具有输出变量的最优值的目标值；以推理模式运行所述两个或更多个神经网络，其中，提供定义所述问题的环境的原始输入，并且所述两个或更多个神经网络中的每个仅搜索其对应的分组维度集以找到所述目标值，并且来自所述两个或更多个神经网络中的每个的所述目标值被所述两个或更多个神经网络中的所述串联中下游的其他神经网络用作输入；以及组合所述两个或更多个神经网络的输出以提供最终输出，其包括所述两个或更多个分组维度集中的所有维度的所述目标值。2.根据权利要求1所述的方法，其中，串联连接的所述两个或更多个神经网络包括所述串联中的所述第一神经网络和所述串联中的最后一个神经网络，所述第一神经网络是接收图像数据输入并提供图像数据输出的全卷积网络，所述最后一个神经网络是接收图像数据输入并提供标量数据输出的卷积神经网络。3.根据权利要求2所述的方法，其中，训练所述两个或更多个神经网络包括向所述网络中的每个网络提供多个训练样本，所述多个训练样本中的每个训练样本包括所述图像数据输入以及特定网络的所述图像数据输出或所述标量数据输出，其中，所述图像数据输出或所述标量数据输出是期望的结果。4.根据权利要求3所述的方法，其中，所述多维问题是机器人抓取搜索问题，并且所述分组维度集包括机器人抓取的自由度。5.根据权利要求4所述的方法，其中，所述多个训练样本由数据生成系统提供，所述数据生成系统计算夹持器对多个对象的多个稳定的抓取，模拟包括所述多个对象的随机堆的物理环境，评估应用于所述多个对象的所述随机堆的所述稳定的抓取，并且输出所述多个对象的所述随机堆的深度图像和对应的成功的模拟的抓取。6.根据权利要求1所述的方法，其中，所述最大余量技术包括识别所述第一神经网络的对应的分组维度集的目标值，所述目标值针对其它一个或多个分组维度集的目标值的任意一个组合具有输出变量的最优值。7.根据权利要求1所述的方法，其中，以推理模式运行所述两个或更多个神经网络包括所述串联中的所述第一神经网络识别其对应的分组维度集的最大余量目标值，并且数据准备技术包括向所述串联中的所述第一神经网络提供所述原始输入的深度图像层以及向所述串联中的最后一个神经网络提供旋转的已剪裁的深度图像块。8.一种使用较低输入维度的神经网络来解决高维模式识别问题的方法，所述方法包
括：将多维问题划分为两个互斥的分组维度集；提供在具有处理器和存储器的计算机上运行的串联连接的两个神经网络，其中，所述串联中的第一神经网络仅对其对应的分组维度集进行编码，并且所述串联中的第二神经网络对所述两个分组维度集两者进行编码；使用监督学习独立地训练所述两个神经网络，其中，使用最大余量技术训练所述第一神经网络以找到其对应的分组维度集的目标值，所述目标值针对另一分组维度集的目标值的任何一个组合具有输出变量的最优值；以推理模式运行所述两个神经网络，其中，提供定义所述问题的环境的原始输入，并且所述两个神经网络的每个仅搜索其对应的分组维度集以找到目标值，并且来自所述第一神经网络的目标值被所述第二神经网络用作输入；以及组合所述两个神经网络的输出以提供最终输出，其包括所述两个分组维度集两者中的所有维度的目标值。9.根据权利要求8所述的方法，其中，所述串联中的所述第一神经网络是接收图像数据输入并提供图像数据输出的全卷积网络，并且所述串联中的所述第二神经网络是接收图像数据输入并提供标量数据输出的卷积神经网络。10.根据权利要求9所述的方法，其中，训练所述两个神经网络包括提供多个训练样本，其中，用于所述第一神经网络的所述训练样本包括作为所述图像数据输入的所述原始输入和...

【专利技术属性】
技术研发人员：范永祥，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：