用于物体大小测量的机器人系统技术方案

提供了用于物体检测和所检测的物体的机器人控制或拾取的系统和方法。本文描述的系统和方法提供了对物体表面上的最小可行范围的确定和调整以用于机器人拾取。最小可行范围的确定可以提高机器人物体处理的准确性和效率。最小可行范围可用于为移动操作选择抓握区域，其被配置为提供补充图像信息以用于估计目标物体的尺寸。物体的尺寸。物体的尺寸。

【技术实现步骤摘要】
【国外来华专利技术】用于物体大小测量的机器人系统
[0001]对相关申请的交叉引用
[0002]本申请要求于2021年5月18日提交的题为“A ROBOTIC SYSTEM FOR OBJECT SIZE MEASUREMENT OR MINIMUM VIABLE REGION DETECTION”的第63/189,743号美国临时申请的权益，该美国临时申请的全部内容通过引用并入本文。


[0003]本技术总体上针对机器人系统，并且更具体地针对用于执行物体大小测量或估计和/或最小可行范围(region)检测的系统、过程和技术。

技术介绍

[0004]随着它们不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在广泛用于各种不同的领域。例如，机器人可用于在制造和/或组装、填充(packing)和/或打包、运输和/或装运等中执行各种任务(例如，通过空间操纵或转移物体)。在执行任务时，机器人可以复制人类动作，从而替代或减少执行危险或重复性任务另外所需的人类参与。

技术实现思路

[0005]根据本专利技术的实施例，提供了一种计算系统，该计算系统包括与机器人以及与具有视场的相机通信的至少一个处理电路，该机器人具有臂和连接到该臂的末端执行器，所述至少一个处理电路被配置为，当一个或多个物体处于或者已经处于视场中时，执行存储在非暂时性计算机可读介质上的指令。指令用于获取一个或多个物体的初始图像信息，其中初始图像信息由相机生成；基于初始图像信息检测一个或多个物体的多个角；从多个角中标识目标物体的目标开放角；为目标物体定义最小可行范围(MVR)；基于最小可行范围定义非遮挡区域；发送定位命令以用于定位机器人的臂；发送抓握命令以用于在最小可行范围内抓取目标物体；发送移动命令以用于使用机器人的臂基于移动方向、移动距离和移动类型来移动目标物体；获取一个或多个物体的补充图像信息；以及基于补充图像信息计算目标物体的估计尺寸，其中定位命令、抓握命令和移动命令中的至少一个被配置为防止机器人的臂挡住一个或多个物体的非遮挡区域。
[0006]另外的实施例提供一种控制机器人系统的方法，该机器人系统包括非暂时性计算机可读介质、与具有视场的相机通信并被配置为执行指令的至少一个处理电路。方法包括获取一个或多个物体的初始图像信息，其中初始图像信息由相机生成；基于初始图像信息检测一个或多个物体的多个角；从多个角中标识目标物体的目标开放角；为目标物体定义最小可行范围(MVR)；基于最小可行范围定义非遮挡区域；发送定位命令以用于定位机器人的臂；发送抓握命令以用于在最小可行范围内抓取目标物体；发送移动命令以用于使用机器人的臂基于移动方向、移动距离和移动类型来移动目标物体；获取一个或多个物体的补充图像信息；以及基于补充图像信息计算目标物体的估计尺寸，其中定位命令、抓握命令和
移动命令中的至少一个被配置为防止机器人的臂挡住一个或多个物体的非遮挡区域。
[0007]在另外的实施例中，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质包括用于由与具有视场的相机通信并被配置的至少一个处理电路执行的指令，当一个或多个物体处于或者已经处于视场中时，指令被配置用于：获取一个或多个物体的初始图像信息，其中初始图像信息由相机生成；基于初始图像信息检测一个或多个物体的多个角；从多个角中标识目标物体的目标开放角；为目标物体定义最小可行范围(MVR)；基于最小可行范围定义非遮挡区域；发送定位命令以用于定位机器人的臂；发送抓握命令以用于在最小可行范围内抓取目标物体；发送移动命令以用于使用机器人的臂基于移动方向、移动距离和移动类型来移动目标物体；获取一个或多个物体的补充图像信息；以及基于补充图像信息计算目标物体的估计尺寸，其中定位命令、抓握命令和移动命令中的至少一个被配置为防止机器人的臂挡住一个或多个物体的非遮挡区域。
附图说明
[0008]图1A
‑
1D示出了与本文的实施例一致的用于执行或促进定义最小可行范围的系统。
[0009]图2A
‑
2B提供了示出与本文的实施例一致的被配置为执行或促进定义最小可行范围的计算系统的框图。
[0010]图3A
‑
3H示出了根据本文的实施例的定义最小可行范围的方面。
[0011]图4提供了示出根据本文的实施例的定义最小可行范围的方法的流程图。
[0012]图5提供了示出根据本文的实施例的估计目标物体的尺寸的方法的流程图。
[0013]图6A和6B示出了根据本文的实施例的估计目标物体的尺寸的方面。
具体实施方式
[0014]本文描述了用于具有协调转移机制的机器人系统的系统和方法。根据一些实施例配置的机器人系统(例如，每个执行一个或多个指定任务的设备的集成系统)通过协调多个单元(例如，机器人)的操作来自主地执行集成任务。
[0015]本文描述的技术为现有的基于计算机的图像识别和机器人控制领域提供了技术改进。技术改进提供了对标识物体的抓持部分的总体速度和可靠性的提高，以提高机器人与物体交互的效率和可靠性。使用图像信息来确定和区分存在于相机视场内的物体，本文描述的过程还通过使用物体的移动来调整和帮助标识一个目标物体的潜在抓持部分来改进现有的图像识别。
[0016]特别地，当对每个物体的尺寸(dimension)和位置的标识是未知的或不完全准确地已知时，本文描述的本技术帮助机器人系统与多个物体中的特定物体交互。例如，如果多个物体彼此齐平放置，则现有的基于计算机的图像识别可能难以标识每个物体以及可靠且准确地指示机器人系统如何与物体交互。特别地，如果物体的尺寸未被准确标识，则机器人系统可能不清楚一个物体结束并且另一个物体开始的位置。因此，系统冒着试图在与其他物体相交的位置抓握物体的风险。在这样的情况下，系统可能无法抓握任一物体。尽管物体的确切尺寸可能不完全准确地已知，但本文提供的系统和方法提供了快速且可靠地标识物体的至少一部分(例如，最小可行范围)的能力，该物体可能被机械臂抓握而无需标识或确
定物体的确切边缘。此外，系统可以被配置为调整抓取物体的位置。如果物体在某些位置(例如，偏离中心的位置)被抓取，则运输该物体可能困难。本文提供的系统和方法可以在机械臂初始抓握之后使用物体的移动来确定物体的确切尺寸并基于更新的尺寸来调整或改变机器人如何与物体交互。
[0017]在以下中，具体细节被阐述以提供对当前公开的技术的理解。在实施例中，本文介绍的技术可被实践而不包括本文公开的每个具体细节。在其他情况下，诸如具体功能或例程的众所周知的特征未被详细描述以避免不必要地混淆本公开。本说明书中对“实施例”、“一个实施例”等的引用意味着正在描述的特定特征、结构、材料或特性包括在本公开的至少一个实施例中。因此，本说明书中的这样的短语的出现不一定都指相同的实施例。另一方面，这样的引用也不一定是相互排斥的。此外，特定特征、结构、材料或特性可以在一个或多个实施例中以任何合适的方式组合。应当理解，图中所示的各种实施例仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算系统，包括：与机器人以及与具有视场的相机通信的至少一个处理电路，所述机器人具有臂和连接到该臂的末端执行器，所述至少一个处理电路被配置为，当一个或多个物体处于或者已经处于所述视场中时，执行存储在非暂时性计算机可读介质上的指令以用于：获取一个或多个物体的初始图像信息，其中所述初始图像信息由所述相机生成；基于所述初始图像信息检测所述一个或多个物体的多个角；从所述多个角中标识目标物体的目标开放角；为所述目标物体定义最小可行范围(MVR)；基于所述最小可行范围定义非遮挡区域；发送定位命令以用于定位机器人的臂；发送抓握命令以用于在所述最小可行范围内抓取所述目标物体；发送移动命令以用于使用所述机器人的臂基于移动方向、移动距离和移动类型来移动所述目标物体；获取所述一个或多个物体的补充图像信息；以及基于所述补充图像信息计算所述目标物体的估计尺寸，其中所述定位命令、所述抓握命令和所述移动命令中的至少一个被配置为防止所述机器人的臂挡住所述一个或多个物体的所述非遮挡区域。2.如权利要求1所述的计算系统，其中所述至少一个处理电路还被配置用于：如果由所述估计尺寸定义的区域与所述最小可行范围相比超过容差阈值，则发送释放命令以用于使所述机器人的所述末端执行器释放所述目标物体。3.如权利要求2所述的计算系统，其中所述至少一个处理电路还被配置用于：发送重新抓握命令以用于所述机器人的所述末端执行器抓取所述估计尺寸内的所述目标物体。4.如权利要求1所述的计算系统，其中所述至少一个处理电路还被配置用于：如果所述估计尺寸与所述最小可行范围相比在容差阈值内，则发送转移命令以用于所述机器人的臂转移所述目标物体。5.如权利要求1所述的计算系统，其中为所述目标开放角定义所述最小可行范围包括定义与所述目标开放角相对的相交角。6.如权利要求5所述的计算系统，其中定义所述最小可行范围还包括标识所述目标物体的物理边缘。7.如权利要求6所述的计算系统，其中为所述目标开放角定义所述最小可行范围包括：定义从所述相交角在第一方向上延伸的第一候选边缘以及定义从所述相交角在基本上垂直于第一方向的第二方向上延伸的第二候选边缘。8.如权利要求7所述的计算系统，其中所述非遮挡区域包括所述相交角以及第一候选边缘和第二候选边缘的至少一部分。9.如权利要求1所述的计算系统，其中所述至少一个处理电路还被配置用于：发送所述定位命令、所述抓握命令和所述移动命令，使得所述机器人的臂在所述补充图像信息被获取时不挡住所述非遮挡区域。10.如权利要求1所述的计算系统，其中所述至少一个处理电路还被配置为：基于所述补充图像信息检测所述目标物体和相邻于所述目标物体的物体之间的至少一个间隙。
11.如权利要求10所述的计算系统，还包括：从所述初始图像信息中标识所述目标物体的第一物理边缘；基于所述至少一个间隙标识所述目标物体的第二物理边缘，其中计算所述目标物体的所述估计尺寸是根据第一物理边缘和第二物理边缘执行的。12.如权利要求1所述的计算系统，其中所述移动距离和所述移动方向是基于避免与相邻于所述目标物体的所述物体的碰撞来确定的。13.如权利要求1所述的计算系统，其中获取所述补充图像信息是在由所述移动命令的执行引起的所述机器人的臂的移动的期间执行的。14.如权...

【专利技术属性】
技术研发人员：出杏光鲁仙，余锦泽，金本芳树，何塞，
申请(专利权)人：牧今科技，
类型：发明
国别省市：