混合尺寸卸盘制造技术

一种用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D摄像头来获取该多个箱子的2D红

【技术实现步骤摘要】
混合尺寸卸盘


[0001]本公开一般涉及用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，更具体地，涉及用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，其中所述方法采用图像分割处理，所述图像分割处理向所述堆叠的图像中的每个像素分配标签。

技术介绍

[0002]机器人执行包括拾取和放置操作的大量商业任务，其中机器人拾取对象并将对象从一个位置移动到另一个位置。例如，机器人可以从货盘上拾取箱子并将箱子放置在传送带上，其中机器人可能采用具有吸盘的末端执行器来保持箱子。为了使机器人有效地拾取箱子，机器人需要知道它正拾取的箱子的宽度、长度和高度，所述宽度、长度和高度在拾取和放置操作之前被输入到机器人控制器中。然而，同一货盘上的箱子经常具有不同的尺寸，这使得在拾取和放置操作期间将箱子的尺寸输入到机器人中是低效的。这些箱子也可以并排地放置在相同的高度处，在此区分它们是分开的箱子还是单个大箱子是有挑战性的。目前，没有机器人系统能够在实时期间确定它将拾取的箱子的尺寸。
[0003]在一种已知的机器人拾取和放置系统中，将机器人将要拾取的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从多个箱子的组中拾取对象箱子的方法，所述方法包括：使用3D摄像头获取所述多个箱子的2D红
‑
绿
‑
蓝(RGB)彩色图像；使用所述3D摄像头获取所述多个箱子的2D深度图图像，其中所述深度图图像中的各个像素被分配识别从所述摄像头到所述多个箱子的距离的值；通过执行图像分割处理来生成所述多个箱子的分割图像，所述图像分割处理从所述RGB图像和所述深度图图像提取多个特征，组合所述图像中的所提取的多个特征，以及向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个箱子具有相同的标签；以及使用所述分割图像来识别用于拾取箱子的位置。2.根据权利要求1所述的方法，其中，生成分割图像包括使用深度学习掩模R
‑
CNN(卷积神经网络)。3.根据权利要求1所述的方法，其中，生成分割图像包括提供多个边界框，将所述多个边界框与所述提取的多个特征对准，以及提供边界框图像，所述边界框图像包括多个包围对象箱子的边界框。4.根据权利要求3所述的方法，其中，生成分割图像包括确定对象箱子存在于每个边界框中的概率。5.根据权利要求3所述的方法，其中，生成分割图像包括从所述边界框图像中的每个边界框移除不与对象箱子相关联的像素。6.根据权利要求1所述的方法，其中，生成分割图像包括向所述分割图像中的各个像素分配标签，使得所述分割图像中的每个箱子具有相同的标签。7.根据权利要求1所述的方法，还包括在生成所述多个箱子的所述分割图像之前，从所述彩色图像分离堆叠在所述多个箱子的组中的其它箱子的顶部上的所述多个箱子的顶层，其中，生成所述多个箱子的分割图像包括生成所述多个箱子的所述顶层的分割图像。8.根据权利要求7所述的方法，其中当从所述多个箱子的组中拾取箱子时，所述多个箱子的堆叠的下层变成所述多个箱子的所述顶层。9.根据权利要求7所述的方法，其中分离顶层包括对所述深度图图像中具有相似深度值的像素进行计数，以及通过一组像素来识别所述顶层，所述一组像素具有指示它们是最接近所述摄像头的深度值。10.根据权利要求9所述的方法，其中，通过直方图来识别具有相似深度值的多组像素。11.根据权利要求1所述的方法，其中，生成分割图像包括识别所述多个边界框中的每个对象的中心像素，并且其中，识别用于拾取对象的位置包括识别所述分割图像中的多个对象的其中一个对象的中心像素，以及使用所述中心像素的位置和所述深度图图像来计算所述中心像素的x
‑
y
‑
z坐标。12.根据权利要求11所述的方法，其中识别用于拾取箱子的位置包括使用所述x
‑
y
‑
z坐标以及俯仰、偏转和滚动位置来确定用于拾取箱子的抓取姿态。13.根据权利要求12所述的方法，其中所述箱子由机器人拾取，并且所述抓取姿态确定机器人末端执行器的姿态。14.一种用于使用机器人从多个箱子的组中拾取对象箱子的方法，所述方法包括：使用3D摄像头获取所述多个箱子的2D红
‑
绿
‑
蓝(RGB)彩色图像；
使用所述3D摄像头获取所述多个箱子的2D深度图图像，其中所...

【专利技术属性】
技术研发人员：汤特，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：