具有物体更新机制的机器人系统和用于操作所述机器人系统的方法技术方案

本文公开了一种用于确定物体的误检测和后续响应的系统和方法。机器人系统可使用基于包裹的初始检测结果而推导出的运动计划，以将所述包裹从起始位置转移到任务位置。在实现所述运动计划期间，所述机器人系统可获得额外的传感器数据，所述传感器数据可用于偏离所述初始运动计划并实现替换运动计划以将所述包裹转移到所述任务位置。转移到所述任务位置。转移到所述任务位置。

【技术实现步骤摘要】
具有物体更新机制的机器人系统和用于操作所述机器人系统的方法
[0001]本申请是中国申请CN202210880924.X的分案申请，该申请日期为2022年7月25日，专利技术名称为“具有物体更新机制的机器人系统和用于操作所述机器人系统的方法”。
[0002]相关申请的交叉引用
[0003]本申请要求于2021年7月23日提交的美国临时专利申请No.63/225,346的利益，所述美国临时专利申请的全部内容以引用的方式并入本文中。


[0004]本技术总体上涉及机器人系统，并且更具体地，涉及具有物体更新机制的机器人系统。

技术介绍

[0005]机器人(例如，被配置成自动地/自主地执行物理动作的机器)现已广泛用于许多领域。例如，机器人可用于在制造，包装，运输，和/或装运等方面执行各种任务(例如，操纵或转移物体)。在执行任务时，机器人可复制人类动作，从而代替或减少原本执行危险或重复性任务所需的人类参与。机器人通常缺乏复制执行更复杂任务所需的人类灵敏度和/或适应性所必需的精密性。例如，机器人通常难以适应意外状况，诸如由于不正确的物体识别。因此，仍然需要用于控制和管理机器人的各种方面以处置意外状况的改进的机器人系统和技术。
附图说明
[0006]图1示出了根据本技术的一个或多个实施方案的其中机器人系统运输物体的示例环境。
[0007]图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。
[0008]图3示出了根据本技术的一个或多个实施方案的多部件转移组件。
[0009]图4示出了根据本技术的一个或多个实施方案的一对包裹的示例俯视图。
[0010]图5是根据本技术的一个或多个实施方案的机器人系统的功能框图。
[0011]图6是根据本技术的一个或多个实施方案的用于操作机器人系统的流程图。
具体实施方式
[0012]本文描述了用于转移意外物体的系统和方法。所述系统可包括或访问描述每个预期物体的特征集(例如，物理特性，诸如表面图像，尺寸，重量，质心(CoM)位置等)的登记记录。所述系统可包括一组传感器(例如，视觉传感器，重量/扭矩传感器等)和/或与之通信，所述传感器可获得对应于特征集的测量结果或表示物体。例如，所述系统可与一个或多个相机交互以获得一个或多个物体在起始位置处的二维(2D)和/或三维(3D)图像或深度图。可通过检测过程处理获得的图像，所述检测过程可包括对物体的边缘定位，估计或测量物
体的尺寸，确定物体的身份，确定物体的位置等。检测结果可用于推导将每个物体从起始位置转移到任务位置的运动计划。如下文详细描述的，在推导的运动计划的实现期间，所述系统可经由末端执行器和机器人臂上的一个或多个重量和/或扭矩传感器获得其他测量结果，诸如重量测量结果和/或对应的扭矩向量。系统可将获得的测量结果与预期数据进行比较，以验证物体的检测到的身份。当测量结果和预期数据不匹配时，系统可处理获得的测量结果(诸如重量和/或扭矩向量)，以估计或计算目标物体的CoM。在一些实施方案中，动态地获得的CoM可用于转移目标物体，例如通过用CoM更新现有运动计划和/或不重新计算总体运动计划。
[0013]在操作期间，系统可预期具有相似物理特性的两个或更多个物体(例如，物体的长度和宽度的差异在预定阈值范围内)。另选地或另外地，系统可接收或遇到未登记但具有与已登记的物体中的一个或多个物体相似的物理特性的物体。在处理此类相似物体时，系统可能会错误地检测/识别目标/成像物体。作为说明性示例，物体
‘
A
’
和物体
‘
B
’
在具有不同的高度和/或重量的同时可能具有不能始终如一地区分的长度和宽度(例如，在给定硬件和/或软件粒度或系统容量的情况下，从两个物体的俯视图区分)。因此，系统可能会错误地将实际物体
‘
A
’
识别为物体
‘
B
’
。
[0014]错误检测可能致使系统依赖和/或预期其他错误参数用于后续处理，诸如用于推导和/或实现运动计划以转移错误识别的物体。例如，误检测可能会致使系统依赖错误的高度测量，这可能会在错误地检测的物体的转移期间致使意外碰撞。而且，检测错误可能会致使系统依赖于错误的重量，这可能会致使夹持故障和转移期间的工件丢失。
[0015]要防止此类下游故障，系统可使用预期值的偏差来识别和调整检测错误。继续该说明性示例，作为物体
‘
B
’
的物体
‘
A
’
可具有其他不同的物理方面，诸如高度，重量，和/或CoM。当系统实现由错误检测产生的针对物体
‘
B
’
的运动计划时，系统可预期物体
‘
B
’
的对应重量和/或扭矩向量(例如，CoM)。当接收到来自实际物体
‘
A
’
的对应测量结果(例如，不同于预期参数)时，系统可确定错误状况和/或确定目标物体的初始检测可能是错误的。
[0016]在一些实施方案中，系统可通过推导被抓握物体的估计的几何形状来响应错误检测，诸如通过根据实际测量结果(例如，CoM)放大或缩小被抓握物体的占地区域(例如，长度和/或宽度)。例如，系统可使用抓握位置作为参考，并调整被抓握物体的横向尺寸，使得实际的CoM位于调整后的占地区域的中心部分。在一个或多个实施方案中，系统可被配置成释放物体，并且然后在实际CoM上重新夹持物体。另外地或另选地，系统可确定被抓握物体的高度，诸如使用沿转移路径(例如，在起始位置上方或在目的地位置上方)定位的交叉传感器和/或侧视相机。
[0017]在一些实施方案中，系统可基于实际CoM而更新一个或多个状态和/或移除有关对应运动计划的一个或多个初始部分(例如，无需重新推导总体运动计划)，以解决初始夹持位置与调整后的夹持位置的差异。另选地，系统可使用检测到的实际方面和/或调整后的占地区域来推导更新的运动计划，诸如当差异超过一个或多个预定阈值参数时。此外，系统可使用实际测量结果来更新登记记录，诸如通过登记新物体或更新最初检测到的物体的记录。继续上面描述的说明性示例，系统可使用测量到的重量/扭矩向量，CoM，新高度等为物体
‘
A
’
创建新的登记记录。另选地，系统可更新物体
‘
B
’
的记录以包括测量到的重量/扭矩向量，CoM，新高度等。
[0018]使用实时/实际测量结果，机器人系统可提供对物体检测的有效验证。因此，机器人系统可通过减少或消除由物体误检测致使的错误来增加吞吐量。此外，机器人系统可实现自动响应，诸如通过在没有操作员输入的情况下重新规划运动，以从误检测中恢复并成功地将误检测到的物体转移到任务位置。因此，机器人系统可通过消除对人工验证或操作员提供的响应指令的需要来提高效率和总体转移速度。
[0019]在下文中，阐述了众本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作机器人系统的方法，所述方法包括：基于图像数据而生成初始检测结果，其中所述检测结果识别所述图像数据中描绘的包裹；发起对基于所述初始检测结果而推导出的初始运动计划的实现，其中所述初始运动计划用于将所述包裹从起始位置转移到任务位置；在实现所述初始运动计划的至少第一部分期间获得额外传感器数据；将所述额外传感器数据与对应于所述初始检测结果的登记记录进行比较；基于所述比较而确定误检测；基于所述获得的额外传感器数据而动态地推导替换运动计划；实现所述替换运动计划而不是所述初始运动计划或其第二部分，以将所述包裹转移到所述任务位置；以及更新登记记录以包括所述包裹的所述额外传感器数据。2.如权利要求1所述的方法，所述方法还包括：基于所述获得的额外传感器数据而推导替换占地区域，其中基于所述替换占地区域而不是所述登记记录中的尺寸而推导所述替换运动计划。3.如权利要求2所述的方法，其中：所述额外传感器数据包括代表所述包裹的质心(CoM)位置的测量结果；并且以所述CoM位置或其估计值在所述替换占地区域的中心部分处来推导出所述替换占地区域。4.如权利要求3所述的方法，其中：所述额外传感器数据包括由执行所述初始运动计划以转移所述包裹的机器人单元提供的重量向量或扭矩测量结果；所述方法还包括：基于所述重量向量而估计所述CoM位置。5.如权利要求3所述的方法，其中所述替换运动计划包括用于在所述CoM位置而不是与所述初始运动计划相关联的初始夹持位置上方重新夹持所述包裹的指令。6.如权利要求1所述的方法，其中：所述额外传感器数据包括所述包裹的测量的重量；并且基于所述测量的重量而不是由所述登记记录指示的重量而推导所述替换运动计划。7.如权利要求1所述的方法，其中：所述额外传感器数据包括所述包裹的测量的高度；并且基于所述测量的高度而不是由所述登记记录指示的高度而推导所述替换运动计划。8.如权利要求1所述的方法，其中：更新所述登记记录包括用所述额外传感器数据自动替换所述登记记录内的记录的特征。9.如权利要求1所述的方法，其中：更新所述登记记录包括通过用所述额外传感器数据创建新的登记记录来自动登记所述包裹，其中所述新的登记记录补充对应于所述初始检测结果的登记记录。10.如权利要求1所述的方法，所述方法还包括：
根据对应于所述初始检测结果的所述登记记录，当所述额外传感器数据偏离对应的预期特征时，暂停对所述初始运动计划的实现；其中所述替换运动计划用于从暂停位置转移所述包裹并用于替换所述初始运动计划的所述第二部分。11.如权利要求10所述的方法，其中：发起对所述初始运动计划的实现包括接收来自外部规划模块并且由所述外部规划模块推导出的所述初始运动计划；并且动态地获得所述替换运动计划包括使用与所述外部规划模块分开的控制器动态地调整所述初始运动计划。12.如权利要求1所述的方法，其中：根据与所述初始检测结果相关联的登记记录，当所述额外传感器数据偏离对应的预期特征时，使用控制器实现自动替换操作，其中所述自动替换操作包括反转所述初始运动计划的所述第一部分和/或释放所述包裹以将所述包裹放回到所述起始位置而不与外部规划模块通信；获得所述替换运动计划包括：从所述控制器向所述外部规划模块发送对所述替换运动计划的请求，其中所述请求包括所述额外传感器数据，以及从所述外部规划模块接收所述替换运动计划。13.如权利要求12所述的方法，所述方法还包括：使用所述外部规划模块，基于所述初始检测结果而推导所述初始运动计划，其中所述初始运动计划对应于初始夹持位置，初始转移高度，初始转移速度，或它们的组合；以及使用所述外部规划模块，基于所述额外传感器数据而推导所述替换运动规划，其中所述替换运动计划的所述推导包括假设所述包裹是与对应于所述初始检测结果的所述登记记录不同的未登记物体，所述替换运动计划对应于与所述初始运动计划的相...

【专利技术属性】
技术研发人员：金本良树，鲁仙，
申请(专利权)人：牧今科技，
类型：发明
国别省市：