生成机器人控制规划制造技术

用于生成机器人控制规划的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括从用户设备获得图像数据，该图像数据描绘用于组装多个组装组件的说明手册；使用机器学习模型处理图像数据，以生成表示用于组装多个组装组件的指令序列的指令数据，其中，该机器学习模型已经通过训练被配置为处理描绘说明手册的图像，并生成表征在说明手册中标识的指令序列的指令数据；处理指令数据以生成机器人控制规划，该机器人控制规划将由一个或多个机器人组件执行以用于组装多个组装组件；以及向机器人控制系统提供机器人控制规划以用于使用一个或多个机器人组件执行机器人控制规划。机器人控制规划。机器人控制规划。

【技术实现步骤摘要】
【国外来华专利技术】生成机器人控制规划
[0001]相关申请的交叉引用
[0002]本申请要求2020年12月1日提交的美国申请第17/108,761号的优先权。前述申请的公开内容通过引用整体结合于此。

技术介绍

[0003]本说明书涉及机器人，尤其涉及规划机器人移动。
[0004]机器人规划是指对机器人组件(component)的物理移动进行排序，以便执行任务。例如，建造汽车的工业机器人可以被编程为首先拾起汽车部件(part)，然后将汽车部件焊接到汽车的框架上。这些动作中的每一个自身可以包括通过机器人马达和致动器的几十个或几百个单独的移动。
[0005]机器人规划传统上要求大量的手动编程，以便细致地指示机器人组件应该如何移动，以完成特定的任务。手动编程枯燥、耗时且容易出错。此外，针对一个机器人操作环境手动生成的规划通常不能用于其他机器人操作环境。在本说明书中，机器人操作环境是机器人组件将在其中操作的物理环境。机器人操作环境具有例如物理尺寸的特定的物理属性，特定的物理属性对机器人组件可以如何在机器人操作环境内移动施加了限制。因此，针对一个机器人操作环境的手动编程的规划可能与具有不同物理尺寸的机器人操作环境不兼容。
[0006]机器人操作环境通常包含多于一个机器人。例如，机器人操作环境可以具有多个机器人组件，每个机器人组件同时将不同的汽车部件焊接到汽车的框架上。在这些情况下，规划过程可以包括将任务分配给特定的机器人组件，并规划每个机器人组件的所有移动。以避免机器人组件之间的碰撞同时最小化完成任务的时间的方式手动编程这些移动是困难的，因为6D坐标系中的搜索空间非常大，并且不能在合理的时间量内穷尽地搜索。

技术实现思路

[0007]本说明书总体上描述了系统可以如何获得指令数据，该指令数据表征用于组装(assemble)多个组装组件的任务的指令，例如用于一件家具的组装指令。然后，系统可以根据指令数据为一个或多个机器人组件生成机器人控制规划，以在机器人操作环境中完成组装任务。在一些实施方式中，系统可以使用表示组装任务的说明手册的数据(例如，使用说明手册的图像)，来生成指令数据。在一些其他实施方式中，系统可以识别(identify)由外部系统提供的指令数据，例如由组装组件的制造商提供的指令数据。
[0008]可以实现本说明书中描述的主题的特定实施例，以便实现一个或多个以下优点。
[0009]使用本说明书中描述的技术，系统可以自动生成机器人控制规划，以完成系统以前从未针对其生成过机器人控制规划的新组装任务。例如，系统可以自动生成机器人控制规划来组装机器人组件以前从未组装过的一件家具。在一些实施方式中，用户可以提供描绘该件家具的说明手册的图像作为机器学习模型的输入，该机器学习模型已经使用用于组装其他件家具的说明手册进行了训练。机器学习模型可以自动解析新的说明手册，以生成
系统可以用来生成机器人控制规划的指令数据。因此，用户可以简单地捕获任何件新家具的说明手册的图像，并且系统可以提供用于组装该件新家具的机器人控制规划。
[0010]使用本说明书中描述的技术，系统可以生成专用于“临时”机器人操作环境的机器人控制规划，“临时”机器人操作环境即机器人组件将仅完成一个或几个任务和/或机器人组件将在较短时间(例如，一天或一周)后被拆卸或移除的环境。例如，机器人操作环境可以在用户家中，例如在车库中，并且机器人组件可以被递送到用户家中以完成特定任务，例如组装家具。因此，本说明书中描述的技术能够以全自动的方式并且在临时的机器人操作环境中实现复杂物品的鲁棒和可靠的组装。
[0011]作为特定的示例，用户可以从商店购买一件未组装的家具，例如桌子。当商店将包装的桌子组装组件发送到用户家中时，商店还可以发送一个或多个机器人组件。
[0012]使用本说明书中描述的技术，用户可以在家内设置机器人组件，以创建用于组装桌子的临时机器人操作环境，例如在用户家的车库中。在用户设置机器人操作环境之后，机器人规划系统可以自动生成用于组装桌子的机器人控制规划。机器人规划系统可以向机器人控制系统提供机器人控制规划，机器人控制系统可以指示机器人组件组装桌子。组装完成之后，用户可以将机器人组件发送回商店。以这种方式，商店可以使得顾客能够在新环境中以省时、低成本的方式自动组装购买的家具。
[0013]本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得清晰。
附图说明
[0014]图1是示例系统的示图。
[0015]图2A
‑
图2D示出了用于捕获说明手册数据的示例用户界面。
[0016]图3是用于生成机器人控制规划的示例过程的流程图。
[0017]不同附图中相同的附图标记和名称指示相同的元件。
具体实施方式
[0018]图1是示出示例系统100的示图。系统100是可以实现本说明书中描述的技术的系统的示例。
[0019]系统100包括机器人操作环境102和机器人规划系统110。机器人操作环境102包括机器人控制系统150。机器人规划系统包括组装指令系统170、机器人组件数据存储装置(store)180和规划器190。这些组件中的每一个都可以被实现为安装在一个或多个位置中的一个或多个计算机上的计算机程序，这些计算机通过任何适当的通信网络(例如，内联网或互联网或网络的组合)相互耦合。
[0020]机器人操作环境102包括N个机器人组件160a
‑
n，N≥1。机器人控制系统150被配置为控制机器人组件160a
‑
n。机器人规划系统110的规划器190的总体目标是生成机器人控制规划192，该机器人控制规划192允许机器人控制系统150在机器人操作环境102中执行一个或多个任务。机器人控制规划192中的任务可以包括组装任务，由此机器人组件160a
‑
n操纵一个或多个组装组件，以便组装最终的组装产品。特别地，机器人控制系统150可以通过向机器人组件160a
‑
n发布命令152来执行机器人控制规划192，以便驱动机器人组件160a
‑
n的
移动。
[0021]机器人操作环境102还可以包括M个传感器组件162a
‑
m，M≥1。传感器组件162a
‑
m可以是能够测量机器人操作环境102的当前状态的任何类型的传感器，例如，一个或多个相机、一个或多个激光雷达(lidar)传感器、一个或多个超声波传感器和/或一个或多个麦克风。在存在多个传感器组件162a
‑
m的实施方式中，不同的传感器组件162a
‑
m可以是不同的类型、在机器人操作环境102中的不同位置和/或与机器人操作环境102中的其他传感器组件162a
‑
m相比被不同地配置。
[0022]传感器组件162a
‑
m可以在机器人控制规划192的执本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从用户设备获得图像数据，所述图像数据描绘用于组装多个组装组件的说明手册；使用机器学习模型处理图像数据，以生成表示用于组装多个组装组件的指令序列的指令数据，其中，该机器学习模型已经通过训练被配置为处理描绘说明手册的图像，并生成表征在说明手册中标识的指令序列的指令数据；处理指令数据以生成机器人控制规划，所述机器人控制规划将由一个或多个机器人组件执行以用于组装多个组装组件；以及向机器人控制系统提供机器人控制规划以用于使用一个或多个机器人组件执行机器人控制规划。2.根据权利要求1所述的方法，其中，生成机器人控制规划包括：从用户设备获得描绘多个组装组件的第二图像数据；针对一个或多个组装组件，获得表征组装组件的一个或多个属性的组装组件数据；以及处理i)指令数据和ii)组装组件数据以生成机器人控制规划。3.根据权利要求2所述的方法，其中，获得特定组装组件的组装组件数据包括：使用第二机器学习模型处理描绘特定组装组件的第二图像数据，以生成特定组装组件的组装组件数据，其中，第二机器学习模型已经通过训练被配置为处理描绘组装组件的图像，并生成表征组装组件的一个或多个属性的组装组件数据。4.根据权利要求2或3中任一项所述的方法，其中，获得特定组装组件的组装组件数据包括：识别第二图像数据中的特定组装组件；以及从数据存储装置中获得特定组装组件的预定组装组件数据。5.根据权利要求2
‑
4中任一项所述的方法，其中，所述组装组件数据包括针对多个组装组件中的一个或多...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：因思创新有限责任公司，
类型：发明
国别省市：