用于AI卸垛的失败检测和恢复制造技术

一种用于识别图像中的诸如遗漏的检测的箱子和部分检测的箱子之类的不准确描绘的箱子的方法。所述方法使用3D相机来获得箱子的2D RGB图像和箱子的2D深度图图像，其中深度图图像中的像素被分配识别从相机到箱子的距离的值。该方法通过执行图像分割过程使用神经网络生成箱子的分割图像，该图像分割过程从RGB图像提取特征并且通过将标签分配给RGB图像中的像素使得分割图像中的每个箱子具有相同的标签并且分割图像中的不同箱子具有不同的标签来分割箱子。该方法分析分割图像以确定图像分割过程是否未能准确地分割图像中的箱子。割过程是否未能准确地分割图像中的箱子。割过程是否未能准确地分割图像中的箱子。

【技术实现步骤摘要】
用于AI卸垛的失败检测和恢复


[0001]本公开一般涉及用于检测和校正处理的图像中的失败的系统和方法，并且更具体地涉及用于检测和校正由神经网络生成的分割图像中的失败的系统和方法，其中分割图像具有用于识别要由机器人从箱子的堆叠拾取的箱子的特定应用。

技术介绍

[0002]机器人执行包括拾取和放置操作的大量商业任务，其中机器人拾取对象并将对象从一个位置移动到另一个位置。例如，机器人可以从运货板上拾取箱子并将箱子放置在传送带上，其中机器人可能采用具有吸盘的末端执行器来保持箱子。为了使机器人有效地拾取箱子，机器人需要知道它正拾取的箱子的宽度、长度和高度，所述宽度、长度和高度在拾取和放置操作之前被输入到机器人控制器中。然而，同一运货板上的箱子经常具有不同的尺寸，这使得在拾取和放置操作期间将箱子的尺寸输入到机器人中是低效的。这些箱子也可以并排地放置在相同的高度，在此区分它们是单独的箱子还是单个大的箱子是有挑战性的。
[0003]转让给本申请的受让人并且通过引用结合于此的、标题为混合尺寸卸垛的、2020年9月9日提交的、序列号为17/015,817的美国专利申请公开了一种用于识别要由机器人从箱子的堆叠中拾取的箱子的系统和方法。所述方法包括使用3D相机来获得箱子的2D红
‑
绿
‑
蓝(RGB)彩色图像和箱子的2D深度图图像，其中深度图图像中的像素被分配识别从相机到箱子的距离的值。所述方法采用修改的深度学习掩模R
‑
CNN(卷积神经网络)，其通过执行图像分割过程来生成箱子的分割图像，该图像分割过程从RGB图像提取特征，组合图像中的所提取的特征，并且向特征图像中的像素分配标签，使得分割图像中的每个箱子的像素具有相同的标签，并且分割图像中的不同箱子的像素具有不同的标签。然后，该方法使用分割图像识别用于拾取箱子的位置。
[0004]'817申请中公开的方法采用深度学习神经网络用于图像滤波步骤、区域建议步骤和二值分割步骤。深度学习是一种特定类型的机器学习，其通过将特定的真实世界环境表示为日益复杂的概念的层次来提供更大的学习性能。深度学习通常采用包括执行非线性处理的若干层神经网络的软件结构，其中每个连续层接收来自前一层的输出。通常，这些层包括接收来自传感器的原始数据的输入层、从数据中提取抽象特征的多个隐藏层、以及基于从隐藏层的特征提取来识别特定事物的输出层。
[0005]神经网络包括神经元或节点，每个神经元或节点具有“权重”，该权重乘以节点的输入以获得某物是否正确的概率。更具体地说，每个节点具有一个权重，该权重是一个浮点数，该浮点数与该节点的输入相乘，以生成该节点的输出，该输出是该输入的某一比例。通过使神经网络在监督处理下分析一组已知数据，并通过最小化成本函数以允许网络获得正确输出的最高概率，来初始“训练”或设置权重。
[0006]深度学习神经网络经常被用来提供图像特征提取和变换，以用于图像中的对象的视觉检测和分类，其中视频或图像流可以由网络分析以识别和分类对象并且通过该过程学
习以更好地分辨对象。神经网络中的层的数量和层中的节点的数量确定网络的复杂度、计算时间和性能准确度。神经网络的复杂度可以通过减少网络中的层数、层中的节点数或这两者来降低。然而，降低神经网络的复杂度降低了其学习的准确性，其中已经示出，减少层中的节点的数量具有优于减少网络中的层的数量的准确性益处。
[0007]这些类型的深度学习神经网络需要大量的数据处理并且是数据驱动的，即，需要大量数据来训练神经网络。例如，对于拾取箱子的机器人，神经网络将被训练以从箱子的训练数据集识别箱子的某些尺寸和形状，其中用于训练的箱子越多，则需要越多的数据。然而，机器人的终端用户可能需要拾取不是训练数据集的一部分的不同尺寸和形状的箱子。此外，单个箱子上的不同纹理和箱子上的标签可能产生失败的检测。因此，神经网络可能不具有识别那些箱子的必要的分割能力。这可能导致不同类型的失败，例如漏检失败和部分分割失败。当较小的箱子在较大的箱子之上并且分割过程没有检测到较小的箱子时，发生遗漏检测，这可能导致机器人撞到顶部的箱子，其中较小的箱子不是训练数据集的一部分。当箱子上的标签或其它特征使得神经网络在仅有一个箱子时分割两个箱子时，发生部分分割，这可能导致机器人偏离中心拾取箱子，其中箱子可能倾斜，产生明显的问题。
[0008]上述问题的解决方案可以是为特定终端用户提供更多的箱子或特定类型的箱子，用于训练神经网络。然而，在神经网络中使用的分割模型是不完美的，这导致不愿意使用神经网络，因为可能发生对机器人和其他事物的损坏。在不使用不完美的神经网络的情况下，不能获得可用于改进模型的样本，即，数据将不被提供以进一步训练和微调神经网络。

技术实现思路

[0009]以下讨论公开并描述了用于识别例如一组多个箱子的图像中的诸如箱子的遗漏检测和箱子的部分检测之类的不准确描绘的箱子的系统和方法。所述方法使用3D相机来获得所述多个箱子的2D红
‑
绿
‑
蓝(RGB)彩色图像和所述多个箱子的2D深度图图像，其中深度图图像中的像素被分配识别从相机到所述多个箱子的距离的值。该方法例如通过执行图像分割过程使用神经网络生成所述多个箱子的分割图像，该图像分割过程从RGB图像提取特征并且通过向RGB图像中的像素分配标签使得分割图像中的每个箱子的像素具有相同的标签并且分割图像中的不同箱子的像素具有不同的标签来分割所述多个箱子。该方法分析分割图像以确定图像分割过程是否未能准确地分割图像中的箱子。
[0010]结合附图，从以下描述和所附权利要求，本公开的附加特征将变得显而易见。
附图说明
[0011]图1是机器人系统的图示，所述机器人系统包括从运货板拾取箱子并将它们放置在传送带上的机器人；
[0012]图2是用于检测和校正处理的图像中的失败的系统的示意性框图，所述处理的图像用于识别将由机器人拾取的对象；
[0013]图3示出了运货板上的一组随机布置的箱子的自上而下的RGB分割图像，其示出了遗漏的检测失败；
[0014]图4是围绕较大的箱子形成的边界框的水平轴上的距离和垂直轴上的像素数量的曲线图，在较大的箱子的顶部具有较小的箱子；以及
[0015]图5示出了运货板上的一组随机布置的箱子的自上而下的RGB分割图像，示出了部分分割失败。
具体实施方式
[0016]以下针对用于检测和校正处理的图像中的失败的系统和方法的本公开的实施例的讨论本质上仅是示例性的，并且决不旨在限制本专利技术或其应用或使用。例如，该系统和方法具有用于识别将由机器人拾取的箱子的应用。然而，该系统和方法可以具有其他应用。
[0017]图1是机器人系统10的图示，该系统包括具有末端执行器14的机器人12，该末端执行器配置成用于从安置在运货板20上的多个箱子16的堆叠18中拾取箱子16并且将它们放置在传送带22上。系统10旨在表示可以受益于本文的讨论的任何类型的机器人系统，其中机器人12可以是适合于该目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于识别和校正一组多个对象的图像中的不准确描绘的对象的方法，所述方法包括：使用3D相机获得所述多个对象的2D红
‑
绿
‑
蓝(RGB)彩色图像；使用所述3D相机获得所述多个对象的2D深度图图像，其中所述深度图图像中的像素被分配识别从所述相机到所述多个对象的距离的值；处理所述RGB图像和所述深度图图像以生成所述多个对象的处理的图像；分析所述处理的图像以确定在所述处理的图像中是否准确地描绘所述多个对象；如果分析所述处理的图像确定处理所述RGB图像和所述深度图图像未能在所述处理的图像中准确地描绘所述多个对象，则将所述处理的图像发送到用户界面，所述用户界面允许用户校正所述处理的图像；存储准确的处理的图像、失败的处理的图像和校正的处理的图像；使用所存储的准确的处理的图像、失败的处理的图像和校正的处理的图像来训练所述RGB图像和所述深度图图像的处理；以及将经训练的处理的图像应用于新的RGB和深度图图像。2.根据权利要求1所述的方法，其中，所述多个对象是多个箱子，并且其中，处理所述RGB图像和所述深度图图像包括通过执行图像分割过程使用神经网络来生成所述多个箱子的分割图像，所述图像分割过程从所述RGB图像提取特征，并且通过向所述RGB图像中的像素分配标签使得所述分割图像中的每个箱子具有相同的标签并且所述分割图像中的不同箱子具有不同的标签来分割所述多个箱子。3.根据权利要求2所述的方法，其中，分析所述处理的图像包括通过分析所述分割图像中的所述多个箱子的标签以确定所述分割图像中的箱子是否尚未被不同的标签标识来识别遗漏的检测的箱子。4.根据权利要求3所述的方法，其中，生成分割图像包括提供围绕所述分割图像中的每个被贴标签的箱子的边界框，并且其中，所述分割图像中的尚未被不同的标签标识的箱子不具有边界框。5.根据权利要求4所述的方法，其中，分析所述分割图像中的所述多个箱子的标签包括对来自所述深度图图像的每个边界框内的具有相同距离值的像素进行计数，且如果存在超过预定阈值的一个以上像素计数，则确定所述边界框内存在一个以上箱子。6.根据权利要求2所述的方法，其中，分析所述处理的图像包括识别部分分割的箱子。7.根据权利要求6所述的方法，其中，生成分割图像包括为围绕所述分割图像中的每个箱子的多个边界框提供每个边界框识别所述分割图像中的箱子的不同的置信度，并且其中，分析所述分割图像包括观察围绕所述分割图像中的每个箱子的所述多个边界框的重叠相交比，其中，预定的低相交比指示图像中的部分分割的箱子。8.根据权利要求1所述的方法，其中，生成分割图像包括提供围绕所述分割图像中的每个箱子的边界框，并且其中，分析所述分割图像包括通过查看所述分割图像中的每个边界框的尺寸以确定边界框是大于最大尺寸的箱子还是小于所述最小尺寸的箱子，来识别所述分割图像中的分割的箱子是大于还是小于预定的最大尺寸或最小尺寸的箱子。9.根据权利要求1所述的方法，其中分析所述处理的图像包括通过在所述多个箱子被放置在空运货板上之前获得所述空运货板的深度图图像来识别所述空运货板，将所述空运
货板深度图图像与来自所述3D相机的所述深度图图像进行比较，并且如果阈值以上的足够像素指示相同距离，则识别所述空运货板。10.一种用于识别一组多个箱子的图像中的不准确描绘的箱子的方法，所述方法由机器人使用以识别拾取哪个箱子，所述方法包括：使用3D相机获得所述多个箱子的2D红
‑
绿
‑
蓝(RGB)彩色图像；使用所述3D相机获得所述多个箱子的2D深度图图像，其中所述深度图图像中的像素被分配识别从所述相机到所述多个箱子的距离的值；通过执行图像分割过程使用神经网络生成所述多个箱子的分割图像，所述图像分割过程从所述RGB图像提取特征，并且通过向所述RGB图像中的像素分配标签使得所述分割图像中的每个箱子具有相同的标签并且所述分割图像中的不同箱子具有不同的标签来分割所述多个箱子，其中生成分割图像包括提供围绕所述分割图像中的每个被贴标签的箱子的边界框；以及通过分析所述分割图像中的所述多个箱子的标签以确定所述分割图像中的箱子是否尚未被不同的标签标识来识别所述分割图像中的遗漏的检测的箱子，其中所述分割图像中的尚未被不同标签标识的箱子不具有边界框。11.根据权利要求10所述的方法，其中分析所述分割图像中的所述多个箱子的标签包括对来...

【专利技术属性】
技术研发人员：汤特，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：