具有自动化包裹登记机构的机器人系统及其操作方法技术方案

一种用于操作机器人系统的方法，包括：获得并处理表示在起始位置处的物体的第一数据；在将所述物体搬运到任务位置时获得另外数据，其中所述另外数据包括关于一个或多个边缘和/或一个或多个表面的信息，所述一个或多个边缘和/或所述一个或多个表面与在所述第一数据中捕获的所述物体的部分分开；以及基于所述另外数据创建表示所述物体的登记数据。

【技术实现步骤摘要】
【国外来华专利技术】具有自动化包裹登记机构的机器人系统及其操作方法相关申请的交叉引用本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，并且进一步要求2019年5月24日提交的美国临时专利申请序列号62/852,963的权益，所述临时专利申请均以引用的方式整体并入本文。本申请还与2019年3月1日提交的美国专利申请序列号16/290,741，现在为美国专利号10,369,701有关，并且以引用的方式整体并入本文。
本技术总体涉及机器人系统，并且更具体地，涉及用于登记物体的系统、过程和技术。
技术介绍
通常情况下，将包裹码垛以便装运到目的地，在目的地处将所述包裹卸垛。有时，由人工将包裹卸垛，这可能很昂贵并且有造成人身伤害的危险。在工业环境中，卸垛操作通常由工业用机器人执行，诸如抓持、提升、运输包裹并将包裹递送到释放点的机器人臂。另外，可采用成像装置来捕获装载到货盘上的包裹堆叠的图像。系统可诸如通过将所捕获图像与存储在登记数据源中的所登记图像进行比较来处理图像以确保机器人臂有效地处理了包裹。有时，包裹的所捕获图像可能与所登记图像匹配。因此，可获知被成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)。无法正确地标识物理特性可能导致多种有害的后果。例如，这种失败可能导致停止，这可能需要手动登记包裹。另外，这种失败可能导致误处理包裹，特别在包裹相对较重和/或不平衡的情况下。附图说明图1是具有包裹登记机构的机器人系统可在其中操作的示例性环境的图示。>图2是示出根据本技术的一个或多个实施方案的机器人系统的框图。图3是根据本技术的一个或多个实施方案的机器人系统的图示。图4A是根据本技术的一个或多个实施方案的由机器人系统处理的物体的示例性堆叠的图示。图4B是根据本技术的一个或多个实施方案的示例性堆叠的顶表面的图示。图4C是根据本技术的一个或多个实施方案的对应于顶表面的传感器数据的图示。图5A是根据本技术的一个或多个实施方案的对应于在初始一组操作之后的顶表面的传感器数据的图示。图5B是根据本技术的一个或多个实施方案的在图5A中示出的传感器数据的一部分5B的图示。图6是根据本技术的一个或多个实施方案的初始提升操作之后的物体的图示。图7A是根据本技术的一个或多个实施方案的比较数据的图示。图7B是根据本技术的一个或多个实施方案的所更新数据的图示。图8是根据本技术的一个或多个实施方案的操作图1的机器人系统的方法的流程图。图9是根据本技术的一个或多个实施方案的机器人系统的图示。图10A是根据本技术的一个或多个实施方案的接近操作的图示。图10B是根据本技术的一个或多个实施方案的提升操作的图示。图10C是根据本技术的一个或多个实施方案的激活事件的图示。图10D是根据本技术的一个或多个实施方案的检测事件的图示。图11是根据本技术的一个或多个实施方案的操作图1的机器人系统的方法的另一流程图。具体实施方式本文描述用于具有自动化包裹登记机构的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，装置的执行一个或多个指定任务的集成系统)通过自主地/自动地(例如，利用很少的人类操作员输入或不利用人类操作员输入)登记先前未知的或未识别物体(例如，包裹、盒、箱等)提供了增强的可用性与柔韧性。为了确定是否识别出物体，机器人系统可获得关于在起始位置处的物体的数据(例如，物体的暴露表面的一个或多个图像)并将所述数据与已知或预期物体的登记数据进行比较。在所比较数据(例如，所比较图像的一部分)与物体中的一个的登记数据(例如，所登记表面图像中的一个)匹配时，机器人系统可将物体确定为已识别的。在所比较数据无法与已知或预期物体的登记数据匹配时，机器人系统可将物体确定为未识别的。在一些实施方案中，机器人系统可标识并登记一组物体(例如，目标堆叠)内的未识别物体。机器人系统可基于将传感器输出(例如，图像和/或深度图)与包括关于一个或多个已知/预期物体的物理性状的预定信息的主数据进行比较来标识未识别物体。例如，机器人系统可将传感器输出或其部分与已知/预期物体的图像进行比较，以识别传感器输出中的物体。机器人系统可确定传感器输出的不匹配部分对应于一个或多个未识别物体。如下文详细描述，在一些实施方案中，机器人系统可根据一个或多个估计来操纵未识别物体，并且确定关于未识别物体的另外信息(例如，表面图像和/或物理尺寸)。例如，机器人系统可标识未识别物体的暴露边缘和/或暴露外拐角，所述未识别物体是单独的或不与其他物体相邻。在一个或多个实施方案中，机器人系统可标识定位在目标堆叠上的拐角处和/或相对于定位在共同层上的其他物体突出的未识别物体(例如，具有高度在彼此阈值范围内的暴露表面的物体)的暴露边缘和/或暴露外拐角。基于暴露边缘和/或暴露外拐角，机器人系统可导出在暴露表面上的最小可行区域(MVR)。MVR可表示接触并提升对应物体所需的区域。机器人系统可在MVR内抓持未识别物体并执行初始提升，从而将先前尚不清晰边缘与相邻物体(例如，竖直地和/或水平地)分开。在初始提升之后，机器人系统可获得并处理比较数据(例如，表示初始提升之后的未识别物体的传感器数据)以标识关于未识别物体的新信息。例如，机器人系统可处理比较数据以标识未识别物体的新发现的(例如，先前不确定的)边缘和/或拐角、相关联测量值(例如，物体的尺寸)、所更新图像/深度图或它们的组合。机器人系统可将新信息存储在主数据中以自主地/自动地登记(“自动登记”)先前未识别物体。因此，机器人系统可使用自动登记数据来标识、处理和/或操纵同一类物体。在一些实施方案中，机器人系统可进一步获得未识别物体的另外信息(例如，高度、深度和/或轮廓或侧视图)。例如，机器人系统可使未识别物体穿过沿着横向方向(例如，水平方向)延伸的越过基准(例如，与越过传感器相对应的感测线/平面)上升或下降。在一个或多个实施方案中，越过基准可跨需要所搬运物体占据的位置延伸，所述位置诸如起始位置正上方和/或任务位置正上方。诸如当下降的物体首次越过越过基准时和/或当上升的物体跳过越过基准时，机器人系统可检测到传感器事件。机器人系统可在事件发生时确定与所操纵物体接触的端部执行器(例如，抓持器)的竖直位置(例如，高度)。因此，机器人系统可基于将事件发生时端部执行器的高度与越过传感器的已知竖直位置进行比较来确定物体的高度(例如，物体高度)。在一些实施方案中，越过传感器可包括基于光/激光的传感器，所述基于光/激光的传感器诸如在物理物体阻挡越过基准或与其重叠时检测到感测信号的中断/间断。在一个或多个实施方案中，越过传感器可定位在需要物体至少暂时占据的关键位置(例如，源位置和/或目的地)附近。例如，越过传感器可附接在输送机上的着落部分上方和/或包裹容器(例如，汽车轨道、仓等)上方。因此，机器人系统可获得关于先前未识别物体的各种数据并且使用所述数据来自主生成对本文档来自技高网...

【技术保护点】
1.一种用于操作机器人系统的方法，所述方法包括：/n接收表示定位在起始位置处的物体的表面的图像数据；/n基于所述图像数据确定用于抓持并提升所述物体的最小可行区域；/n获得表示在基于所述最小可行区域实施初始提升以将所述物体竖直地移位之后的所述物体的数据；/n实施将所述物体搬运到任务位置的操作；/n在实施所述操作时检测事件和对应时间戳，其中所述事件表示所述物体相对于定位在越过基准高度处的横向定向的越过基准的进入或退出；/n确定对应于所述事件的抓持器高度，其中所述抓持器高度表示端部执行器的竖直位置；/n基于所述事件、所述抓持器高度和/或所述预定基准高度来计算所述物体的物体高度；以及/n创建表示所述物体的新记录的新登记数据，其中所述新登记数据包括所述物体高度。/n

【技术特征摘要】
【国外来华专利技术】20181030 US 62/752,756;20190524 US 62/852,9631.一种用于操作机器人系统的方法，所述方法包括：
接收表示定位在起始位置处的物体的表面的图像数据；
基于所述图像数据确定用于抓持并提升所述物体的最小可行区域；
获得表示在基于所述最小可行区域实施初始提升以将所述物体竖直地移位之后的所述物体的数据；
实施将所述物体搬运到任务位置的操作；
在实施所述操作时检测事件和对应时间戳，其中所述事件表示所述物体相对于定位在越过基准高度处的横向定向的越过基准的进入或退出；
确定对应于所述事件的抓持器高度，其中所述抓持器高度表示端部执行器的竖直位置；
基于所述事件、所述抓持器高度和/或所述预定基准高度来计算所述物体的物体高度；以及
创建表示所述物体的新记录的新登记数据，其中所述新登记数据包括所述物体高度。


2.如权利要求1所述的方法，其中所述事件表示来自越过传感器的输出，所述越过传感器被配置来检测沿着与所述横向定向的越过基准相对应的线或平面发射的光信号。


3.如权利要求1所述的方法，其还包括：基于所述事件获得轮廓数据，其中所述轮廓数据表示来自横向面向传感器的输出，所述横向面向传感器被配置来获得关于所述物体的竖直边缘、竖直表面或它们的组合的信息。


4.如权利要求3所述的方法，其中所述轮廓数据包括二维(2D)和/或三维(3D)成像数据，所述二维(2D)和/或三维(3D)成像数据表示与以定位在所述起始位置处的所述物体的所述图像数据中所表示的所述表面正交的一个或多个表面。


5.如权利要求1所述的方法，其还包括：
基于将所述图像数据与表示已知物体的登记数据进行比较来确定所述物体是未识别物体；并且
其中：
所述事件是基于确定所述物体无法识别而检测的，并且
所述事件表示所述未识别物体相对于定位在所述任务位置上方且与其重叠的所述横向定向的越过基准的进入。


6.如权利要求5所述的方法，其中所述事件对应于用于操作所述端部执行器来释放所述未识别物体的触发项。


7.如权利要求5所述的方法，其中所述事件表示所述未识别物体相对于定位在释放触发项高度上方的所述横向定向的越过基准的进入或退出。


8.如权利要求1所述的方法，其中：
基于将所述图像数据与表示已知物体的登记数据进行比较来确定所述物体是未识别物体；并且
其中：
所述事件是基于确定所述物体无法识别而检测的，并且
所述事件表示所述未识别物体相对于定位在所述起始位置上方且与其重叠的所述横向定向的越过基准的退出。


9.如权利要求8所述的方法，其中检测所述事件包括：与用于从所述起始位置提升所述未识别物体的操作对应地同时检测所述事件。


10.如权利要求8所述的方法，其中检测所述事件包括：在用于抓持所述未识别物体的操作之后检测所述事件。


11.如权利要求10所述的方法，其中检测所述事件包括：激活对应于所述横向定向的越过基准的传感器。


12.如权利要求10所述的方法，其还包括：
与搬运所述未识别物体的所述操作同时地跟踪端部执行器位置，其中所述端部执行器位置对应于一组坐标值；并且
其中：
所述抓持器高度对应于所述端部执行器位置的竖直坐标值；并且
检测所述事件包括：当所述抓持器高度低于所述基准高度时和/或当所述端部执行器位置的水平坐标值在与所述起始位置相关联的边界之外时，忽略初始状态，其中所述初始状态表示来自对应于所述横向定向的越过基准的传感器的一个或多个输出。


13.如权利要求12所述的方法，其还包括：
在所述操作期间标识外部状态，其中所述外部状态表示所述端...

【专利技术属性】
技术研发人员：鲁仙·出杏光，欢·刘，旭涛·叶，何塞·赫罗尼莫·莫雷拉·罗德里格斯，良树·金本，锦泽·余，罗素·伊斯兰，
申请(专利权)人：牧今科技，
类型：发明
国别省市：日本;JP