本公开涉及用于机器人应用和其他自动化系统的反应式交互。本文提出的方法在执行特定任务时提供对机器人或自动装配件的预测控制。要执行的任务可能取决于执行该任务的机器人的位置和取向。预测控制系统可以在时间步序列中的每一个确定物理环境的状态，并且可以在这些时间步中的每一个选择适当的位置和取向。在各个时间步上，优化过程可以确定一系列未来要采取的符合该运动的一个或更多个约束的运动或加速度地序列。例如，在各个时间步，可以执行序列中的相应动作，然后为下一个时间步预测另一个运动序列，这可以帮助基于预测的未来运动驱动机器人运动，并允许快速反应。并允许快速反应。并允许快速反应。
【技术实现步骤摘要】
用于机器人应用和其他自动化系统的反应式交互
[0001]相关申请的交叉引用
[0002]本申请要求于2022年3月20日提交的、题为“具有快速联合空间模型预测行为的反应式移交”(Reactive Handovers with Fast Joint
‑
Space Model
‑
Predictive Behavior)的美国临时专利号63/321,755的优先权，在此该申请的全部内容出于所有目的并入本文中。
技术介绍
[0003]机器人和其他自动化设备正越来越多地用于协助执行各种任务。这些任务中的至少一些涉及与人类或其他实体的交互，例如执行移交动作，其中机器人将抓住并从人的手中取出物体。对于这样的动作，重要的是机器人抓住物体的方式使得不夹伤或以其他方式接触要从中取出物体的人或实体。在现有系统中，机器人在执行此类任务时的运动可能不流畅、不直观或不可靠，这可能导致人类做出快速或意外的动作。这样的运动可能会增加与机器人接触的可能性，或者可能导致在该运动过程中人手挡住用于为机器人提供环境视野的摄像机，以及其他此类不期望的动作。
附图说明
[0004]根据本公开的各个实施例将参照附图进行描述，在附图中：
[0005]图1A、图1B、图1C和图1D示出了根据至少一个实施例的机器人执行移交操作的图像；
[0006]图2A、图2B、图2C和图2D示出了根据至少一个实施例的机器人在移交操作期间抓住物体的方法；
[0007]图3A、图3B和图3C示出了根据至少一个实施例的机器人至少部分地由于环境状态的改变而可以采取的反应动作；
[0008]图4示出了根据至少一个实施例的用于使机器人在环境中执行一个或更多个动作的示例系统；
[0009]图5A和图5B示出了根据至少一个实施例的用于使机器人或自动化装配体移动到确定的位置和取向以执行任务的示例过程；
[0010]图6示出了根据至少一个实施例的可用于使机器人执行一个或更多个任务的分布式系统的组件；
[0011]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8示出了根据至少一个实施例的示例数据中心系统；
[0014]图9示出了根据至少一个实施例的计算机系统；
[0015]图10示出了根据至少一个实施例的计算机系统；
[0016]图11示出了根据一个或更多个实施例的图形处理器的至少部分；
[0017]图12示出了根据一个或更多个实施例的图形处理器的至少部分；
[0018]图13是根据至少一个实施例的高级计算管线的示例数据流图；
[0019]图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及
[0020]图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图，以及利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构。
具体实施方式
[0021]在以下描述中，将描述各种实施例。出于解释的目的，阐述了具体配置和细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说，实施例也可以在没有具体细节的情况下实施也是显而易见的。此外，为了不使所描述的实施例模糊，可以省略或简化众所周知的特征。
[0022]本文所述的系统和方法可以由但不限于以下使用：非自主车辆、半自主车辆(例如，在一个或更多个自适应驾驶员辅助系统(ADAS)中)、驾驶和非驾驶机器人或机器人平台、仓库车辆、越野车辆、联接到一个或更多个拖车的车辆、飞行器、船、穿梭机、应急响应车辆、摩托车、电动或机动自行车、飞机、工程车辆、水下航行器、无人机和/或其他车辆类型。此外，本文所述的系统和方法可用于多种目的，例如但不限于，用于机器控制、机器运动、机器驾驶、合成数据生成、模型训练、感知、增强现实、虚拟现实、混合现实、机器人学、安全和监视、模拟和数字孪生、自主或半自主机器应用、深度学习、环境模拟、物体或行为者模拟和/或数字孪生、数据中心处理、对话式人工智能(AI)、光传送模拟(例如、光线追踪、路径追踪等)、3D资产的协作内容创建、云计算和/或任何其他合适的应用。
[0023]所公开的实施例可以包括在各种不同的系统中，例如汽车系统(例如，用于自主或半自主机器的控制系统、用于自主或半自主机器的感知系统)、使用机器人实现的系统、航空系统、医疗系统、船艇系统、智能区域监测系统、执行深度学习操作的系统、执行模拟操作的系统、执行数字孪生操作的系统、使用边缘设备实现的系统、包含一个或更多个虚拟机(VM)的系统、用于执行合成数据生成操作的系统、至少部分在数据中心实现的系统、用于执行会话AI操作的系统、用于执行光传送模拟的系统、用于为3D资产执行协作内容创建的系统、至少部分使用云计算资源实现的系统和/或其他类型的系统。
[0024]根据各种实施例的方法可以为自动化和部分自动化的设备和系统提供优化的路径规划，例如人和机器人之间的物体移交。可以获得关于环境的信息(例如，图像或传感器数据)，这些信息可用于确定机器人可以执行任务的一组选项，例如机器人可以从人的手中抓取物体的一组潜在抓取选项。可以将一组潜在的抓取以及机器人的当前状态信息和一组用于移交(或要执行的其他动作)的约束馈送给路径规划和优化过程。这样的过程可以尝试至少部分基于当前机器人和环境状态信息，确定在未来的一些时间步——例如接下来的10
‑
15个时间步——中采取的运动(例如，加速度)
–
或在未来一段时间内的运动路径。这样的规划过程还可以尝试优化运动的路径或序列，以尝试最小化一个或更多个成本因数或函数，同时遵守运动的一个或更多个约束，这可能包括一般约束(例如，有利于直线运动，限制加速度或变化，避免碰撞(例如与物体或人的手)，并避免摄像机掩蔽)以及可能具体到特定任务的约束。可以为每个单独的时间步做出多个潜在的抓取选项和优化确定，但在该时间步中可能只执行来自确定的运动或加速度序列的第一个动作(或动作的第一个子集)，因为
在预测的序列中的其他运动或加速度反而可以用来尝试改进诸如基于预期未来运动的运动平稳性等方面。这种优化可以使用模型预测控制(MPC)系统或其他这种预测或优化框架来执行。在优化期间，MPC可以根据当前状态信息(例如，在每个时间步)确定、选择或修改最佳或合适的抓取选项。接触检测可用于让机器人知道何时关闭抓手或以其他方式抓住目标物体(或执行特定动作)，目标物体可能位于与预期不同的位置，例如由于人类的手的运动。
[0025]鉴于本文所包含的教导和建议，对于本领域普通技术人员而言显而易见的各种其他此类功能也可以在各种实施例的范围内使用。
[0026]图1A图示了示例环境的第一图像100，其中机器人102或至少部分自动化的装配体可以执行各种任务。这种用于操作机器人的环境可以包括任何适当的环境，例如实验室、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，包括：接收代表环境的数据，所述环境包括人手握持的物体；至少部分地基于评估对应于机器人的一个或更多个潜在抓取选项，从所述一个或更多个潜在抓取选项中确定目标抓取选项；根据目标抓取选项确定对应于所述机器人的初始位置和最终位置之间的运动序列，至少部分地基于最小化一个或更多个成本函数并满足一个或更多个运动约束来确定所述运动序列；使所述机器人在与所述运动序列中的一个或更多个运动相对应的各个时间步处执行所述运动序列中的相应运动；检测所述机器人与和目标抓取位置相对应的所述物体的接触；以及使所述机器人的末端执行器抓取所述物体。2.如权利要求1所述的方法，其中所述一个或更多个运动约束包括以下中的至少一项：有利于平稳运动的约束、限制加速度的约束、有利于直线运动的约束、避免碰撞的约束、避免自碰撞的约束、或避免用于捕获所述数据的传感器的遮挡的约束。3.如权利要求1所述的方法，其中确定所述运动序列包括使用模型预测控制(MPC)系统来执行具有所述一个或更多个运动约束的至少一种优化算法。4.如权利要求3所述的方法，其中确定所述目标抓取选项是使用所述MPC系统执行的。5.如权利要求3所述的方法，其中所述MPC系统用于针对所述一个或更多个潜在抓取选项中的各个潜在抓取选项优化所述运动序列。6.如权利要求1所述的方法，还包括：至少部分地基于一个或更多个用户输入来修改所述一个或更多个运动约束。7.如权利要求1所述的方法，还包括：在运动的所述各个时间步期间监测所述末端执行器是否接触到所述人手；以及在确定所述末端执行器已接触到所述人手时，执行一个或更多个操作。8.如权利要求1所述的方法，其中所述运动序列中的各个运动是使用针对所述各个时间步优化的一个或更多个关节加速度来确定的。9.一种方法，包括：在时间步序列期间，确定机器人执行动作的一组位置；在所述一组位置中的当前位置和最终位置之间确定满足一个或更多个运动约束的运动序列，所述运动序列允许在所述时间步序列中的各个时间步改变所述一组位置中的目标位置；使所述机器人在所述时间步序列中的各个时间步执行所述运动序列中的相应运动，以使所述机器人的至少一部分相对于所述目标位置移动；以及当所述机器人的至少一部分被确定在距所述目标位置的阈值距离内时，使所述机器人执行所述动作。10.如权利要求9所述的方法，其中所述一组位置中的一个或更多个位置包括位置和取向信息。11.如权利要求9所述的方法，其中所述运动序列是使用预测模型和一个或更多个优化标准来确定的。
12.如权利要求11所述的方法，其中所述预测模型在所述一组位置上优化所述运动序列，并且在...
【专利技术属性】
技术研发人员：杨巍，B，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。