一种方法包括从机器人设备上的相机接收表示机器人设备的环境的图像数据。该方法进一步包括将经训练的密集网络应用于图像数据以生成一组特征值，其中经训练的密集网络已被训练来完成第一机器人视觉任务。该方法另外包括将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务，其中经训练的任务特定的头已被训练来基于先前由经训练的密集网络生成的特征值完成第二机器人视觉任务，其中第二机器人视觉任务不同于第一机器人视觉任务。该方法还包括，基于为完成第二机器人视觉任务而生成的任务特定的输出，控制机器人设备在该环境中操作。控制机器人设备在该环境中操作。控制机器人设备在该环境中操作。
Shared dense network with robot task specific head
【技术实现步骤摘要】
【国外来华专利技术】具有机器人任务特定的头的共享密集网络
[0001]相关应用的交叉引用
[0002]本申请要求于2019年12月17日提交的美国专利申请第16/717,498号的优先权，该专利的全部内容通过引用并入本文。
技术介绍
[0003]随着技术的进步，正在创建各种类型的机器人设备来执行可以帮助用户的各种功能。机器人设备可用于涉及材料处理、运输、焊接、组装和分配等的应用。随着时间的推移，这些机器人系统的操作方式正变得更加智能、高效和直观。随着机器人系统在现代生活的许多方面变得越来越普遍，希望机器人系统高效。因此，对高效机器人系统的需求已助于在执行器、运动、传感技术以及部件设计和组装方面开辟创新领域。
技术实现思路
[0004]示例实施例涉及共享密集网络，例如特征金字塔网络(FPN)，该网络与任务特定的头组合以完成不同的机器人视觉任务。
[0005]在一个实施例中，一种方法包括从机器人设备上的相机接收表示机器人设备的环境的图像数据。该方法进一步包括将经训练的密集网络应用于图像数据以生成一组特征值，其中经训练的密集网络已被训练来完成第一机器人视觉任务。该方法另外包括将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务，其中经训练的任务特定的头已被训练来基于先前由经训练的密集网络生成的特征值完成第二机器人视觉任务，其中第二机器人视觉任务不同于第一机器人视觉任务。该方法还包括，基于为完成第二机器人视觉任务而生成的任务特定的输出，控制机器人设备在该环境中操作。
[0006]在另一个实施例中，机器人设备包括相机和控制系统，该控制系统被配置为从机器人设备上的相机接收表示机器人设备的环境的图像数据。该控制系统可以进一步被配置为将经训练的密集网络应用于图像数据以生成一组特征值，其中经训练的密集网络已被训练来完成第一机器人视觉任务。该控制系统可以另外被配置为将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务，其中经训练的任务特定的头已被训练来基于先前由经训练的密集网络生成的特征值完成第二机器人视觉任务，其中第二机器人视觉任务不同于第一机器人视觉任务。该控制系统还可以被配置为，基于为完成第二机器人视觉任务而生成的任务特定的输出，控制机器人设备在该环境中操作。
[0007]在又一个实施例中，提供了一种非暂时性计算机可读介质，其包括可由至少一个处理器执行以使所述至少一个处理器执行功能的编程指令。所述功能包括从机器人设备上的相机接收表示机器人设备的环境的图像数据。所述功能进一步包括将经训练的密集网络
应用于图像数据以生成一组特征值，其中经训练的密集网络已被训练来完成第一机器人视觉任务。所述功能另外包括将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务，其中经训练的任务特定的头已被训练来基于先前由经训练的密集网络生成的特征值完成第二机器人视觉任务，其中第二机器人视觉任务不同于第一机器人视觉任务。所述功能还包括，基于为完成第二机器人视觉任务而生成的任务特定的输出，控制机器人设备在该环境中操作。
[0008]在另一个实施例中，提供了一种系统，该系统包括用于从机器人设备上的相机接收表示机器人设备的环境的图像数据的装置。该系统进一步包括用于将经训练的密集网络应用于图像数据以生成一组特征值的装置，其中经训练的密集网络已被训练来完成第一机器人视觉任务。该系统另外包括用于将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务的装置，其中经训练的任务特定的头已被训练来基于先前由经训练的密集网络生成的特征值完成第二机器人视觉任务，其中第二机器人视觉任务不同于第一机器人视觉任务。该系统还包括用于基于为完成第二机器人视觉任务而生成的任务特定的输出来控制机器人设备在该环境中操作的装置。
[0009]前述
技术实现思路
仅是说明性的并且不旨在以任何方式进行限制。除了上述说明性方面、实施例和特征之外，通过参考图和下述具体实施方式以及附图，更多方面、实施例和特征将变得显而易见。
附图说明
[0010]图1图示了根据示例实施例的机器人系统的配置。
[0011]图2图示了根据示例实施例的移动机器人。
[0012]图3图示了根据示例实施例的移动机器人的分解图。
[0013]图4图示了根据示例实施例的机器人臂。
[0014]图5是根据示例实施例的机器人捕获表示环境的图像数据的侧视图。
[0015]图6A图示了根据示例实施例的特征金字塔网络的训练。
[0016]图6B图示了根据示例实施例的机器人任务头的训练。
[0017]图6C图示了根据示例实施例的多个机器人任务头的运行时应用。
[0018]图7是根据示例实施例的系统设计图。
[0019]图8是根据示例实施例的方法的框图。
具体实施方式
[0020]本文描述了示例方法、设备和系统。应当理解，本文中使用的词语“示例”和“示例性”是指“用作示例、实例或说明”。本文中描述为“示例”或“示例性”的任何实施例或特征不必解释为比其他实施例或特征更优选或有利，除非如此指明。可以使用其他实施例，并且可以做出其他改变，而不背离本文提出的主题的范围。
[0021]因此，本文描述的示例实施例并不意味着限制。将容易理解的是，如本文一般描述的以及在图中示出的本公开的各方面可以以多种不同的配置来布置、替代、组合、分离和设计。
[0022]在整个描述中，冠词“(一)”或“(一个)”用于引入示例实施例的元素。除非另有说
明，或者除非上下文另有明确规定，否则对“一”或“一个”的任何提及均指“至少一个”，并且对“该/所述”的任何提及均指“该/所述至少一个”。在所描述的至少两个术语的列表中使用连词“或”的目的是表示任何列出的术语或列出的术语的任何组合。
[0023]使用诸如“第一”、“第二”、“第三”等序数是为了区分各个元素，而不是表示这些元素的特定顺序。为了本描述的目的，术语“多个”和“多个”是指“两个或更多个”或“多于一个”。
[0024]此外，除非上下文另有说明，否则每幅图中所示的特征可以彼此结合使用。因此，图一般应被视为一个或多个整体实施例的组成方面，但应理解，并非所有示出的特征对于每个实施例都是必需的。在图中，相似的符号通常标识相似的部件，除非上下文另有说明。此外，除非另有说明，否则图未按比例绘制并且仅用于说明目的。此外，图仅是代表性的，并未显示所有部件。例如，可能不会显示另外的结构或约束部件。
[0025]另外，在本说明书或权利要求书中对元素、框或步骤的任何列举都是为了清楚起见。因此，这种列举不应被解释为要求或暗示这些元件、框或步骤遵循特定布置或以特定顺序实施。
[0026]一、概述
[0027]机器人可以处理图像数据以便确定如何在环境中操作。机器人可以执行各种不同的任务，并且每项任务可能需要关于该环境的不同信息。作为一个示例，机器人可能需要识别该环境中要由本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从机器人设备上的相机接收表示所述机器人设备的环境的图像数据；将经训练的密集网络应用于所述图像数据以生成一组特征值，其中所述经训练的密集网络已被训练来完成第一机器人视觉任务；将经训练的任务特定的头应用于该组特征值以生成任务特定的输出从而完成第二机器人视觉任务，其中所述经训练的任务特定的头已被训练来基于先前由所述经训练的密集网络生成的特征值完成所述第二机器人视觉任务，其中所述第二机器人视觉任务不同于所述第一机器人视觉任务；以及基于为完成所述第二机器人视觉任务而生成的所述任务特定的输出，控制所述机器人设备在所述环境中操作。2.根据权利要求1所述的方法，其中所述经训练的密集网络是特征金字塔网络(FPN)。3.根据权利要求1所述的方法，还包括周期性地再训练所述经训练的任务特定的头而不改变所述经训练的密集网络。4.根据权利要求1所述的方法，其中所述经训练的密集网络比所述经训练的任务特定的头具有更多的网络层。5.根据权利要求1所述的方法，其中所述经训练的密集网络已使用来自一个或多个其他机器人设备的图像数据来训练，所述一个或多个其他机器人设备具有与所述机器人设备的相机相同或类似的相机。6.根据权利要求1所述的方法，其中所述第一机器人视觉任务涉及确定区域是否是机器人可操纵的。7.根据权利要求1所述的方法，其中所述第一机器人视觉任务涉及确定第一类型的机器人操纵是否可在所述环境上执行，并且所述第二机器人视觉任务涉及确定第二类型的机器人操纵是否可在所述环境上执行。8.根据权利要求7所述的方法，其中所述第一类型的机器人操纵涉及第一机器人操纵器，并且所述第二类型的机器人操纵涉及第二机器人操纵器。9.根据权利要求1所述的方法，其中所述经训练的任务特定的头是与检测、分割和分类各个功能相对应的至少三个经训练的任务特定的头中的一个。10.根据权利要求1所述的方法，其中针对所述经训练的任务特定的头的所述第二机器人视觉任务涉及确定对象是否被所述机器人设备的一部分部分遮挡。11.根据权利要求1所述的方法，其中针对所述经训练的任务特定的头的所述第二机器人视觉任务涉及确定对象是否在所述机器人设备的夹持器中。12.根据权利要求1所述的方法，其中所述经训练的任务特定的头是与识别多个相应的对象类型相对应的多个经训练的任务特定的头中的一个。13.根据权利要求12所述的方法，其中所述多个相应的对象类型包括至少...
【专利技术属性】
技术研发人员：M，
申请(专利权)人：X开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。