用于混合尺寸卸垛的算法制造技术

本申请涉及一种用于混合尺寸卸垛的算法，更具体地，涉及一种用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D相机获得该多个箱子的2D红绿蓝(RGB)彩色图像和该多个箱子的2D深度图图像。该方法采用图像分割过程，该图像分割过程使用由中央处理单元(CPU)可执行的简化的掩模R

【技术实现步骤摘要】
用于混合尺寸卸垛的算法


[0001]本公开一般涉及用于识别要由机器人从多个对象的组中拾取的对象的系统和方法，并且更具体地涉及用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，其中该方法采用图像分割过程，该图像分割过程使用由中央处理单元(CPU)可执行的简化的掩模R
‑
CNN或其他神经网络来预测箱子的中心区域以及用于识别围绕中心区域的箱子的边缘的传统操作。

技术介绍

[0002]机器人执行包括拾取和放置操作的大量商业任务，其中机器人拾取对象并将对象从一个位置移动到另一个位置。例如，机器人可以从运货板上拾取箱子并将箱子放置在传送带上，其中机器人可能采用具有吸盘的末端执行器来保持箱子。为了使机器人有效地拾取箱子，机器人需要知道它正拾取的箱子的宽度、长度和高度，所述宽度、长度和高度在拾取和放置操作之前被输入到机器人控制器中。然而，同一运货板上的箱子经常具有不同的尺寸，这使得在拾取和放置操作期间将箱子的尺寸输入到机器人中是低效的。这些箱子也可以并排地放置在相同的高度，在此区分它们是单独的箱子还是单个大的箱子是有挑战性的。
[0003]在一种已知的机器人拾取和放置系统中，机器人将拾取的箱子的宽度、长度和高度首先输入到系统中。3D相机获取箱子的堆叠的自顶向下图像，并且生成箱子的2D灰度图像和箱子的2D灰度深度图图像，其中深度图图像中的每个像素具有定义从相机到特定箱子的距离的值，即，像素越靠近对象，其值越低。机器人控制器基于所述箱子的宽度和长度提供一系列投影模板，每个投影模板具有用于所述相机与所述箱子之间的特定距离的尺寸。在搜索过程中，用于深度图图像提供的箱子的距离的模板在2D灰度图像周围移动，使得当模板与灰度图像中的箱子匹配或对准时，机器人控制器将知道箱子的位置，并且将使用该位置来定义箱子的中心以控制机器人拾取箱子。
[0004]转让给本申请的受让人并且通过引用结合于此的、标题为混合尺寸卸垛、2020年9月9日提交的序列号为17/015,817的美国专利申请公开了一种用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D相机来获得箱子的2D红绿蓝(RGB)彩色图像和箱子的2D深度图图像，其中深度图图像中的像素被分配有标识从相机到箱子的距离的值。该方法采用修改的深度学习掩模R
‑
CNN(卷积神经网络)，其通过执行图像分割过程来生成箱子的分割图像，该图像分割过程从RGB图像和深度图图像提取特征，组合图像中的所提取的特征，并且向特征图像中的像素分配标签，使得分割图像中的每个箱子具有相同的标签。然后，该方法使用分割图像识别用于拾取箱子的位置。
[0005]'817申请中描述的方法已经被示出为对于识别用于机器人拾取的箱子的堆叠中的箱子是有效的。然而，'817申请中公开的方法采用深度学习神经网络用于图像滤波步骤、区域建议步骤和二值分割步骤。这些类型的深度学习神经网络需要大量的处理，使得为了具有现实和实际的机器人拾取时间，通常由于并行处理而提供比中央处理单元(CPU)更高
速度的图形处理单元(GPU)通常需要被用于深度学习神经网络计算。例如，通过在'817方法中采用CPU进行神经网络处理，该过程将花费大约2.272秒来识别要拾取的箱子，而在'817方法中使用GPU进行神经网络处理，该过程仅需要大约0.1185秒。然而，诸如机器人系统之类的工业应用目前不利于采用GPU，因为目前使用的标准协议以及这些系统经常经受的恶劣环境。

技术实现思路

[0006]以下讨论公开并描述了用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D相机来获得该多个箱子的2D红绿蓝(RGB)彩色图像和该多个箱子的2D深度图图像，其中深度图图像中的像素被分配识别从相机到该多个箱子的距离的值。该方法通过在由中央处理单元(CPU)可执行的简化的掩模R
‑
CNN(卷积神经网络)中执行图像分割过程来生成该多个箱子的分割掩模图像。图像分割过程从RGB图像提取特征，并使用提取的特征来预测RGB图像中的哪些像素与每个箱子相关联，其中与每个箱子相关联的那些像素被分配唯一标签，唯一标签组合以定义用于箱子的掩模。该方法选择分割掩模图像中的多个掩模中的一个，并且识别和去除所选择的掩模中的与比与掩模相关联的箱子低的箱子相关联的像素，以提供细化的掩模。该方法然后使用形态学过程根据细化的掩模生成下边界掩模和上边界掩模，并且使用细化过程根据下边界掩模和上边界掩模生成扩展掩模。该方法然后使用扩展掩模来识别用于拾取箱子的位置。
[0007]结合附图，从以下描述和所附权利要求，本公开的附加特征将变得显而易见。
附图说明
[0008]图1是机器人系统的图示，该机器人系统包括从运货板拾取箱子并将它们放置在传送带上的机器人；
[0009]图2是作为图1所示的机器人系统的一部分的混合尺寸卸垛系统的示意性框图；
[0010]图3是与图2所示的系统分离的分割模块的示意性框图；
[0011]图4是与图3所示的系统分离的简化的掩模R
‑
CNN的示意性框图；
[0012]图5是由图4所示的掩模R
‑
CNN产生的分割掩模图像；
[0013]图6是示出了堆叠中的箱子的计数峰值的直方图，其中，深度在水平轴上，计数在垂直轴上；
[0014]图7是包括去除了较低像素的细化的掩模的掩模图像；
[0015]图8是包括上和下边界掩模的掩模图像；
[0016]图9是上边界掩模的初始图像，其中初始图像中的每个像素的值是光强度；
[0017]图10是图9所示的初始图像的梯度图像；
[0018]图11A
‑
11E示出了梯度图像，其中围绕梯度峰值的区域被填充；
[0019]图12是包括扩展掩模的扩展掩模图像；
[0020]图13是从示出最小边界框的扩展掩模图像生成的边界框图像；
[0021]图14是用于使用深度学习神经网络来检测多个对象的组中的多个对象的中心区域的分割系统的框图；以及
[0022]图15是用于使用传统分割过程来检测多个对象的组中的多个对象的边缘的分割
系统的框图。
具体实施方式
[0023]以下对本公开实施例的讨论涉及用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，其中该方法采用图像分割过程，该图像分割过程使用由中央处理单元(CPU)可执行的简化的掩模R
‑
CNN来预测RGB图像中的哪些像素与每个箱子相关联，该讨论本质上仅是示例性的，并且决不旨在限制本专利技术或其应用或使用。例如，该系统和方法具有用于识别将由机器人拾取的箱子的应用。然而，该系统和方法可以具有其他应用。
[0024]图1是机器人系统10的图示，该系统包括具有末端执行器14的机器人12，该末端执行器被配置成用于从放置在运货板20上的多个箱子16的堆叠18中拾取该多个箱子16并且将它们放置在传送带22上。该系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从多个对象箱子的组中拾取对象箱子的方法，所述方法包括：使用3D相机获得多个箱子的2D红绿蓝(RGB)彩色图像；使用所述3D相机获得所述多个箱子的2D深度图图像，其中所述深度图图像中的像素被分配识别从所述相机到所述多个箱子的距离的值；通过在神经网络中执行图像分割过程来生成所述多个箱子的分割掩模图像，所述图像分割过程从所述RGB图像提取特征并且使用所提取的特征来预测所述RGB图像中的哪些像素与每个箱子相关联，其中与每个箱子相关联的那些像素被分配唯一标签，所述唯一标签组合以定义用于所述箱子的掩模；选择所述分割掩模图像中的多个掩模中的一个；识别并移除所选择的掩模中的与比与所选择的掩模相关联的对象箱子低的对象箱子相关联的像素，以提供细化的掩模；使用形态学过程根据所述细化的掩模生成下边界掩模和上边界掩模；使用细化过程根据所述下边界掩模和所述上边界掩模生成扩展掩模；以及使用所述扩展掩模来识别用于拾取所述箱子的位置。2.根据权利要求1所述的方法，其中，所述神经网络是简化的掩模R
‑
CNN(卷积神经网络)。3.根据权利要求1所述的方法，其中，生成分割掩模图像包括提供多个边界框，将所述多个边界框与所述提取的特征对准，以及提供包括围绕所述多个对象箱子的边界框的边界框图像。4.根据权利要求3所述的方法，其中，生成分割掩模图像包括确定对象箱子存在于每个边界框中的概率。5.根据权利要求3所述的方法，其中，生成分割掩模图像包括从所述边界框图像中的每个边界框去除不与对象箱子相关联的像素。6.根据权利要求1所述的方法，其中识别并移除所选择的掩模中的像素包括使用所述深度图图像。7.根据权利要求1所述的方法，其中生成下边界掩模和上边界掩模包括执行扩大过程和侵蚀过程，在所述扩大过程中，将预定数量的像素添加到所述细化的掩模的外边界，在所述侵蚀过程中，将预定数量的像素从所述细化的掩模的外边界移除。8.根据权利要求1所述的方法，其中生成扩展掩模包括：生成初始图像，所述初始图像仅包括RBG图像的由所述上边界掩模限定的区域，其中所述初始图像中的每个像素的值是光强度；然后根据所述初始图像生成梯度图像，其中每个像素强度被基于相邻像素的梯度强度替代，以及然后扩大像素强度以识别梯度图像中的峰。9.根据权利要求1所述的方法，还包括通过拟合围绕所述扩展掩模的最小尺寸边界框来确定所述扩展掩模的定向角(θ)。10.根据权利要求9所述的方法，其中，拟合围绕所述扩展掩模的最小尺寸边界框包括使用迭代最小矩形搜索来获得围绕所述扩展掩模的最小尺寸边界框。11.根据权利要求1所述的方法，其中识别用于拾取所述对象箱子的位置包括识别最终边界掩模的中心像素，以及使用所述中心像素的位置和所述深度图图像来计算所述中心像素的x
‑
y
‑
z坐标。
12.根据权利要求11所述的方法，其中识别用于拾取所述对象箱子的位置包括使用所述x
‑
y
‑
z坐标以及俯仰、偏转及滚动位置来确定用于拾取所述对象箱子的抓取姿态。13.根据权利要求12所述的方法，其中所述对象箱子由机器人拾取，并且所述抓取姿态确定机器人末端执行器的姿态。14.一种用于从多个对象的组中选择对象的方法，所述方法包括：使用3D相机获得所述多个对象的2D红绿蓝(RGB)彩色图像；通过在神经网络中执行图像分割过程来生成所述多个对象的分割掩模图像，所述图像分割过程从所述RGB图像提取特征并且使用所提取的特征来预测所述RGB图像中的哪些像素与每个对象相关联，其中与每个对象相关联的那些像素被分配唯一标签，所述唯一标签组合以定义用于所述对象的掩模；选择所述分割掩模图像中的多个掩模...

【专利技术属性】
技术研发人员：汤特，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：