公开了一种用于处理重叠的柔性物体的系统和方法。所述方法包括：基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及导出目标物体的运动计划，其中所述运动计划包括：目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。物体从所述起始位置转移到目的地位置。物体从所述起始位置转移到目的地位置。
【技术实现步骤摘要】
具有重叠处理机制的机器人系统及其操作方法
[0001]本申请是中国申请CN202280004989.6的分案申请，该申请日期为2022年9月1日，专利技术名称为“具有重叠处理机制的机器人系统及其操作方法”。
[0002]相关申请
[0003]本申请要求于2021年9月1日申请的美国临时专利申请第63/239,795号的权益，所述美国临时专利申请以引用的方式整体并入本文。
[0004]本技术总体上涉及机器人系统，并且更具体地，涉及具有物体更新机制的机器人系统。
技术介绍
[0005]机器人(例如，被配置为自动/自主执行物理动作的机器)现在在许多领域中得到广泛使用。例如，机器人可以用于在制造、包装、运输和/或运送等方面执行各种任务(例如，操纵或转移物体)。在执行任务时，机器人可以复制一些人类动作，由此代替或减少执行危险或重复性任务原本所需的人类参与。然而，机器人通常缺乏复制执行更复杂任务所需的人类灵敏度和/或适应性所必需的先进性。例如，机器人通常难以识别或处理细微之处和/或非预期状况。因此，仍然需要用于控制和管理机器人的各种方面以处置细微之处及意外状况的经改进的机器人系统和技术。
附图说明
[0006]图1示出了根据本技术的一个或多个实施方案的其中机器人系统运输物体的示例性环境。
[0007]图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。
[0008]图3示出了根据本技术的一个或多个实施方案的机器人转移配置。
[0009]图4A和图4B示出了根据本技术的一个或多个实施方案的处于起始位置处的物体的示例性视图。
[0010]图5是根据本技术的一个或多个实施方案的用于操作机器人系统的流程图。
具体实施方式
[0011]本文描述了用于使用机器人系统转移物体的系统和方法。物体尤其可以包括柔性(例如，非刚性)物体。此外，处理后的物体可以包括基于图像处理结果而未能与已注册物体的一个或多个方面(例如，如主数据中所述)完全匹配的非预期物体。使用图像数据处理堆叠中的柔性物体的位置、形状、大小和布置可能具有挑战性，因为柔性物体的表面可能由于下层支撑物体的形状、轮廓和/或边缘而扭曲。本技术的实施方案可以处理描绘起始位置处的物体的接收到的图像数据，以标识或估计物体的重叠区域。机器人系统可以处理二维和/或三维图像数据以在本质上区分外围边缘、重叠边缘、压印表面特征等，以便从堆叠中抓取
和拾取柔性物体。所述处理可以包括将图像数据的部分分类为完全检测到的区域、遮挡掩模区域(例如，包括重叠区域上方的有争议的部分)或检测掩模区域(例如，包括用于物体检测的区域，作为最顶部物体的表面或暴露的物体部分的表示)，以帮助标识夹持位置和从堆叠中夹持物体的序列。机器人系统可以基于经分类的部分来确定用于抓握和转移物体的夹持位置。在一些实施方案中，机器人系统可以使用处理后的图像数据来导出和实施用于在提升之前横向移动被抓握物体的运动计划。这种运动计划可以基于遮挡掩模和/或检测掩模的一个或多个特性来导出。
[0012]作为说明性示例，机器人系统(例如，经由控制器)可以被配置为控制和操作机器人臂总成(例如，拣选器机器人)以实施转移任务。转移任务可以对应于拾取相对柔软/柔性的物体、相对较薄的物体和/或相对透明的物体。此类物体的示例可以包括用袋子覆盖的物体、包裹在塑料片材或塑料袋和/或透明容器中的布基物体、片材或片材。当彼此叠置时，此类目标物体可能由于底部/重叠物体的压印而导致变形(例如，线)或其他视觉伪影出现在重叠物体的表面上或穿过重叠物体的表面。下文描述的技术的实施方案可以处理在对应图像(例如，被覆盖或堆叠物体的俯视图图像)中描绘的此类压印和变形以便于识别。换言之，机器人系统可以处理图像以有效地区分物体表面上的表面变形和/或任何视觉特征/图像与物体的实际边缘(例如，外围边缘)。基于所述处理，机器人系统可以导出和实施在考虑和调整重叠的同时转移物体的运动计划。
[0013]在下文中，阐述众多具体细节以提供对当前公开技术的彻底理解。在其他实施方案中，此处所介绍的技术可在没有这些具体细节的情况下实践。在其他实例中，未详细描述诸如具体功能或例程等公知特征以便避免不必要地模糊本公开。在本描述中对“实施方案”、“一个实施方案”等的引用意味着所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，此类短语在本说明书中的出现不一定全都指代同一实施方案。另一方面，此类引用也不一定互斥。此外，特定特征、结构、材料或特性可通过任何合适的方式组合在一个或多个实施方案中。应当理解，附图中所示的各种实施方案仅仅是说明性表示，并且不一定按比例绘制。
[0014]为了清楚起见，在下面的描述中没有阐述描述公知的并且通常与机器人系统和子系统相关联但是可能不必要地使所公开技术的一些重要方面模糊的结构或过程的几个细节。此外，虽然以下公开内容阐述了本技术的不同方面的几个实施方案，但是几个其他实施方案可以具有与本节中所描述的配置或部件不同的配置或部件。因此，所公开技术可以具有带附加要素或不带下文描述的几个要素的其他实施方案。
[0015]下文描述的本公开的许多实施方案或各方面可以采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关领域的技术人员将明白，可以在除了下面示出和描述的计算机或控制器系统之外的计算机或控制器系统上实践所公开技术。本文描述的技术可以体现在专用计算机或数据处理器中，所述专用计算机或数据处理器被具体编程、配置或结构化为执行下文描述的一个或多个计算机可执行指令。因此，本文一般使用的术语“计算机”和“控制器”是指任何数据处理器，并且可包括互联网电器和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费型电子器件、网络计算机、微型计算机等)。由这些计算机和控制器处理的信息可呈现在任何合适的显示介质处，所述显示介质包括液晶显示器(LCD)。用于执行计算机
或控制器可执行的任务的指令可存储在任何合适的计算机可读介质中或上，所述计算机可读介质包括硬件、固件或硬件与固件的组合。指令可以包含在任何合适的存储器装置中，所述存储器装置包括例如闪存盘、USB装置和/或其他合适的介质，包括有形、非暂时性计算机可读介质。
[0016]术语“耦接”和“连接”以及它们的派生词可在本文中用来描述部件之间的结构关系。应理解，这些术语无意作为彼此的同义词。而是，在特定实施方案中，“连接”可用于示出两个或更多个元件彼此直接接触。除非在上下文中另外显而易见，否则术语“耦接”可用于示出两个或更多个元件彼此直接地或间接地(在它们之间有其他居间元件)接触，或者两个或更多个元件彼此协作或交互(例如，以因果关系进行交互，诸如用于信号传输/接收或用于函数调用)，或以上两者。
[0017]适用环境
[0018]图1是根据本技术的一个或多个实施方案的机器人系统100在其中运输物体的示例性环境的图示。机器人系统100可包括被配置为执行一个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种操作机器人系统的方法，所述方法包括：基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及导出目标物体的运动计划，其中所述运动计划包括：目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。2.根据权利要求1所述的方法，其还包括在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。3.根据权利要求1所述的方法，其还包括当所述检测结果包括所述遮挡区域时确定所述夹持位置以避开所述目标物体的表面上与遮挡信息相对应的区域。4.根据权利要求1所述的方法，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目标检测结果和与所述一个或多个柔性物体的所述另一实例相对应的相邻检测结果之间的重叠。5.根据权利要求4所述的方法，其还包括确定所述遮挡区域的遮挡状态，其中所述遮挡状态是以下各项中的一项：(1)相邻遮挡状态，所述相邻遮挡状态表示在所述遮挡区域中所述相邻检测结果低于所述目标检测结果，(2)目标遮挡状态，所述目标遮挡状态表示在所述遮挡区域中所述目标检测结果低于所述相邻检测结果，或者(3)不确定的遮挡状态，即，所述目标检测结果与所述相邻检测结果之间的所述重叠是不确定的时。6.根据权利要求4所述的方法，其还包括基于所述遮挡区域中与所述目标检测结果相对应的所述检测特征和/或与所述相邻检测结果相对应的所述检测特征来确定所述遮挡区域的遮挡状态。7.根据权利要求1所述的方法，其中：所述检测特征包括边缘特征、关键点、深度值或其组合；所述方法还包括：当边缘信息、关键点信息、高度测量信息或其组合时，为所述图像数据中的区域生成所述阳性标识信息；以及生成所述检测结果包括基于所述边缘信息、所述关键点信息、所述高度测量信息或其组合生成所述检测结果。8.一种机器人系统，其包括：
至少一个处理器；以及包括处理器指令的至少一个存储器，所述处理器指令在被执行时使所述至少一个处理器：基于表示起始位置处的一个或多个柔性物体的图像数据生成检测特征；基于所述检测特征生成与所述一个或多个柔性物体相对应的检测结果；确定所述检测结果是否示出遮挡区域，其中所述遮挡区域表示所述一个或多个柔性物体的实例与所述一个或多个柔性物体的另一实例之间的重叠；为所述检测结果生成检测掩模信息，其中所述检测掩模信息包括阳性标识信息；以及导出目标物体的运动计划，其中所述运动计划包括：目标物体，所述目标物体基于所述检测掩模信息而从所述一个或多个柔性物体中选择，机器人臂的末端执行器在所述目标物体上的夹持位置，所述夹持位置是基于所述检测掩模信息，以及一条或多条轨迹，所述一条或多条轨迹用于使所述机器人臂将所述目标物体从所述起始位置转移到目的地位置。9.根据权利要求8所述的系统，其中所述处理器指令还使所述至少一个处理器在所述目标物体的表面上与所述阳性标识信息相对应的区域内确定所述夹持位置。10.根据权利要求8所述的系统，其中所述处理器指令还使所述至少一个处理器在所述检测结果包括所述遮挡区域时确定所述夹持位置以避开所述目标物体的表面上与遮挡信息相对应的区域。11.根据权利要求8所述的系统，其中所述遮挡区域是与所述一个或多个柔性物体的所述实例相对应的目...
【专利技术属性】
技术研发人员：金本良树，艾哈迈德，
申请(专利权)人：牧今科技，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。