具有自动化包裹登记机构和自动检测流水线的机器人系统技术方案

本公开涉及检测和登记未识别或未登记物体。可基于检查表示在起始位置处的物体的图像数据来导出最小可行范围(MVR)。可根据所述图像数据中所表示的一个或多个特征来将所述MVR确定为确定MVR或不确定MVR。所述MVR可用于根据所述确定的或不确定的确定来登记对应物体。

【技术实现步骤摘要】
【国外来华专利技术】具有自动化包裹登记机构和自动检测流水线的机器人系统相关申请的交叉引用本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，所述临时专利申请以引用的方式整体并入本文。本申请进一步要求2019年5月24日提交的美国临时申请序列号62/852,963的权益，所述临时申请以引用的方式整体并入本文。本申请还与2019年3月1日提交的美国专利申请序列号16/290,741，现在为美国专利号10,369,701有关，并且以引用的方式整体并入。本申请包含与由JinzeYu、JoseJeronimoMoreiraRodrigues和RoseNikolaevDiankov同时提交的标题为“AROBOTICSYSTEMWITHAUTOMATEDPACKAGEREGISTRATIONMECHANISMANDMINIMUMVIABLEREGIONDETECTION”的美国专利申请有关的主题。相关申请被转让给Mujin，Inc.，并且由档案号131837-8003.US40标识。相关申请的主题以引用的方式并入本文。
本技术总体涉及机器人系统，并且更具体地，涉及用于登记物体的系统、过程和技术。
技术介绍
在许多情况下，包裹被布置在货盘中(或“码垛”)以便装运到目的地，随后在目的地处将所述包裹卸垛。可由人工将包裹卸垛，这可能会占用大量资源并增加对人工造成伤害的风险。在工业环境中，卸垛操作可由工业用机器人执行，诸如抓持、提升、运输包裹并将包裹递送到释放点的机器人臂。另外，可利用成像装置来捕获装载到货盘上的包裹堆叠的图像。系统可诸如通过将所捕获图像与存储在登记数据源中的所登记图像进行比较来处理图像以确保机器人臂有效地处理了包裹。有时，包裹的所捕获图像可能与所登记图像匹配。因此，被成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)可能是未知的。无法正确地标识物理特性可能导致多种有害的后果。例如，这种失败可能导致停止，这可能需要手动登记包裹。另外，这种失败可能导致误处理包裹，特别在包裹相对较重和/或不平衡的情况下。附图说明通过结合附图对具体实施方式的研究，所述技术的各种特征和特性对于本领域技术人员将更加显而易见。以举例的方式而非限制的方式在附图中示出本技术的实施方案，在附图中相同的附图标记可指示相同的元件。图1示出机器人系统可在其中操作的示例性环境。图2示出根据本技术的一个或多个实施方案的机器人系统。图3A示出根据本技术的一个或多个实施方案的由机器人系统处理的物体的示例性堆叠。图3B示出根据本技术的一个或多个实施方案的示例性堆叠的顶表面。图3C示出根据本技术的一个或多个实施方案的对应于顶表面的传感器数据。图4A示出根据本技术的一个或多个实施方案的对应于在初始一组操作之后的顶表面的传感器数据。图4B示出根据本技术的一个或多个实施方案的在图4A中示出的传感器数据的一部分。图5示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。图6示出根据本技术的一些实施方案的暴露外拐角的图形表示。图7是根据本技术的一些实施方案的一组所码垛包裹的框图。图8示出根据本技术的一些实施方案的合并的MVR区域的示例。图9是根据本技术的一些实施方案的物体识别过程的流程图。图10是根据本技术的一些实施方案的操作图1的机器人系统的方法的框图。图11是示出其中可实施本文所述的至少一些操作的处理系统的示例的框图。附图仅出于说明的目的描绘了各种实施方案。本领域技术人员将认识到，在不脱离本技术原理的情况下，可采用替代的实施方案。因此，尽管在附图中示出具体实施方案，但是所述技术可进行各种修改。具体实施方式本文描述用于具有自动化包裹登记机构的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，装置的执行一个或多个指定任务的集成系统)通过操纵和/或自主地/自动地(例如，利用很少的人类操作员输入或不利用人类操作员输入)登记先前未知的或未识别物体(例如，包裹、盒、箱等)提供了增强的可用性与柔韧性。为了确定是否识别出物体，机器人系统可获得关于在起始位置处的物体的数据(例如，物体的暴露表面的一个或多个图像)并将所述数据与已知或预期物体的登记数据进行比较。在所比较数据(例如，所比较图像的一部分)与物体中的一个的登记数据(例如，所登记表面图像中的一个)匹配时，机器人系统可将物体确定为已识别的。在所比较数据无法与已知或预期物体的登记数据匹配时，机器人系统可将物体确定为未识别的。机器人系统可根据一个或多个估计来操纵未识别物体，并且确定关于未识别物体的另外信息(例如，表面图像和/或物理尺寸)。例如，机器人系统可标识未识别物体的暴露边缘和/或暴露外拐角，所述未识别物体是单独的或不与其他物体相邻。所述估计可包括生成表示接触并提升对应的未识别物体所需的最小和/或最佳区域的最小可行区域(MVR)。所述MVR中的每一个可进一步表示单个未识别物体的表面(例如，其周边边界)的估计。在生成MVR时，可通过检查二维(2D)和/或三维(3D)成像数据来标识暴露外拐角和暴露边缘。基于所标识暴露外拐角和暴露边缘，可通过标识与暴露边缘相对的边缘来生成初始MVR。可诸如通过确定并测试所扩大和/或所减小区域来进一步处理初始MVR，以生成已验证MVR。还可根据MVR确定的确定性(例如，表示初始MVR的准确性的状态或级别)来处理初始MVR。例如，当初始MVR包括三个或更多个暴露拐角和/或使用三个或更多个暴露拐角导出时，机器人系统可将初始MVR标识为确定MVR(例如，已验证MVR的可能准确的实例)。否则(例如，当初始MVR包括两个或更少暴露拐角和/或使用两个或更少暴露拐角导出时)，机器人系统可将初始MVR标识为不确定MVR(例如，已验证MVR的不太可能准确的实例)。机器人系统可使用已验证MVR来登记未识别物体，诸如通过存储已验证MVR和/或使用已验证MVR导出的其他处理结果。例如，机器人系统可使用确定MVR来开始登记对应的未识别物体。机器人系统可进一步操纵(通过例如抓持和搬运以执行任务)确定MVR的物体，从而增大暴露在起始位置处剩余的物体的另外拐角的可能性。机器人系统可在搬运物体之后重复进行检测和分析，以基于新暴露拐角将先前不确定MVR标识为确定MVR。因此，本文所述的实施方案提供了针对未识别物体准确生成MVR的增大的可能性。准确性的提高可减少由于有关所搬运物体的数据不准确而导致的错误，诸如包裹掉落和/或碰撞。此外，MVR的准确性提高可导致准确的登记数据，这可提供提高的效率，这是由于肯定地标识了相同类型物体的后续处理所致。另外，本文所述的实施方案可用于在没有任何初始数据的情况下自主地发起和填充主数据(例如，登记数据的集合)。换句话讲，机器人系统可自主地登记物体，而无需任何现有的登记数据，也不需要人类操作员的交互/输入。在以下描述中，阐述许多具体细节来提供对当前所公开技术的透彻理解。在本文档来自技高网...

【技术保护点】
1.一种操作机器人系统的方法，所述方法包括：/n接收表示包括一个或多个未识别物体的目标堆叠的二维(2D)图像数据和三维(3D)图像数据；/n基于与表示所登记物体的一个或多个物理方面的物体集的比较结果，标识所述2D和/或所述3D图像数据的未解释区域；/n标识所述2D图像数据和/或所述3D图像数据的所述未解释区域内的一个或多个层，其中每个层包括在所述3D图像数据中具有在彼此的阈值范围内的深度量度的一组横向相邻点；/n标识所述未解释区域中的暴露边缘，其中所述暴露边缘表示所述一个或多个层的边界，在所述边界处，所述深度量度跨水平相邻位置偏离到所述阈值范围之外；/n基于所述暴露边缘标识一个或多个暴露拐角，其中所述暴露拐角中的每一个对应于一组所述暴露边缘之间的接合部；/n基于所标识暴露边缘和所述暴露拐角导出最小可行区域(MVR)，其中所述MVR表示所述未解释区域中所表示的未登记物体的表面的估计；/n确定与所导出MVR相关联的所述暴露拐角的数量；/n根据所述MVR和所述暴露拐角的所述数量来检测未识别物体；以及/n基于将所述物体集更新成包括作为所述未识别物体的表示的所述MVR和/或其处理结果来登记所述未识别物体。/n...

【技术特征摘要】
【国外来华专利技术】20181030 US 62/752,756;20190524 US 62/852,9631.一种操作机器人系统的方法，所述方法包括：
接收表示包括一个或多个未识别物体的目标堆叠的二维(2D)图像数据和三维(3D)图像数据；
基于与表示所登记物体的一个或多个物理方面的物体集的比较结果，标识所述2D和/或所述3D图像数据的未解释区域；
标识所述2D图像数据和/或所述3D图像数据的所述未解释区域内的一个或多个层，其中每个层包括在所述3D图像数据中具有在彼此的阈值范围内的深度量度的一组横向相邻点；
标识所述未解释区域中的暴露边缘，其中所述暴露边缘表示所述一个或多个层的边界，在所述边界处，所述深度量度跨水平相邻位置偏离到所述阈值范围之外；
基于所述暴露边缘标识一个或多个暴露拐角，其中所述暴露拐角中的每一个对应于一组所述暴露边缘之间的接合部；
基于所标识暴露边缘和所述暴露拐角导出最小可行区域(MVR)，其中所述MVR表示所述未解释区域中所表示的未登记物体的表面的估计；
确定与所导出MVR相关联的所述暴露拐角的数量；
根据所述MVR和所述暴露拐角的所述数量来检测未识别物体；以及
基于将所述物体集更新成包括作为所述未识别物体的表示的所述MVR和/或其处理结果来登记所述未识别物体。


2.如权利要求1所述的方法，其还包括：基于以下根据所更新物体集来重复地更新并分析所述未解释区域：
将所述未解释区域与所更新物体集进行比较；
标识所述未解释区域内匹配用于更新所述物体集的所述MVR和/或其所述处理结果的一部分；
根据匹配所述MVR和/或其所述处理结果的所述部分来检测物体；以及
通过移除匹配所述MVR和/或其所述处理结果的所述部分来更新所述未解释区域。


3.如权利要求2所述的方法，其中：
所述物体集是用于初始迭代的空集；
所述未解释区域包括用于所述初始迭代的所述2D图像数据、所述3D图像数据、其一部分或它们的组合；并且
登记所述未识别物体包括：在实施涉及定位在所述目标堆叠中的所述未识别物体的任务时自主地填充所述物体集。


4.如权利要求1所述的方法，其中：
检测所述未识别物体包括：在所述暴露拐角的所述数量超过预定阈值时直接检测所述未识别物体；并且
登记所识别物体包括：在所述暴露拐角超过所述预定阈值时将所述MVR直接存储在所述物体集中。


5.如权利要求4所述的方法，其中所述预定阈值为二。


6.一种机器人系统，其包括：
至少一个处理器；以及
至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：
接收表示在起始位置处的一个或多个未识别物体的一个或多个图像数据；
基于标识所述一个或多个图像数据中的一个或多个暴露拐角导出最小可行区域(MVR)，其中所述暴露拐角中的每一个表示在不与另一表面或物体水平相邻的暴露边缘之间的接合部；
基于与所述MVR相关联的所述暴露拐角的数量，利用所述MVR和/或其处理结果更新物体集，其中：
所述物体集表示先前所登记物体的一个或多个物理方面，并且
所述MVR和/或其所述处理结果表示在所述起始位置处的所述未识别物体中的一个的一个或多个物理属性；并且
基于所更新物体集识别在所述起始位置处的另一物体。


7.如权利要求6所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：基于将所述暴露拐角的所述数量与预定阈值进行比较来将所述MVR确定为确定的MVR。


8.如权利要求7所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：在所述MVR与所述暴露拐角中的三个或更多个相关联时将所述MVR确定为所述确定的MVR。


9.如权利要求8所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：基于将所述MVR确定为所述确定的MVR来利用所述MVR和/或其处理结果直接更新所述物体集并且无需进一步更新或调整所述MVR。


10.如权利要求9所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：
标识所述图像数据的不返回与所述物体集中所表示的物体的匹配的未解释区域；
基于所述未解释区域导出所述MVR，其中所述确定的MVR在所述未解释区域内；以及
移除所述未解释区域的匹配所述确定的MVR的一部分，以进行进一步的物体识别和/或操纵。


11.如权利要求10所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：
实施用于将与所述确定的MVR相对应的未识别物体搬运远离所述起始位置的操作；
在实施用于搬运所述未识别物体的所述操作之后，基于所更新的未解释区域导出后续MVR，其中所述后续MVR表示在所述起始位置处的另一未识别物体，并且在所更新的未解释区域中表示；以及
利用所述第二MVR和/或其处理结果更新所述物体集。...

【专利技术属性】
技术研发人员：余锦泽，何塞·赫罗尼莫·莫雷拉·罗德里格斯，鲁仙·出杏光，旭涛·叶，罗素·伊斯兰，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP