堆叠物体的识别方法、设备和机器分拣系统技术方案

提供了堆叠物体的识别方法、设备和机器分拣系统。该识别方法包括：获取堆叠物体的深度图；根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体。所述方法、设备和机器分拣系统能够实现非规则粘连物体的有效分割，准确地识别出位于堆叠物体顶层的多个物体，大大提高从杂乱堆叠物体中识别并抓取物体的效率。

Method, apparatus and machine sorting system for identifying stacked objects

A method, an apparatus, and a machine sorting system are provided for identifying stacked objects. Including the identification method: depth map acquisition of stacked objects; according to the depth map to determine the K position of the top layer stack object segmentation of the object, and according to the K K object segmentation position from the top layer depth map from the depth map, where K is an integer of 2 or more; for K the top layer depth map objects were segmented by object segmentation candidate objects from the top of the object layer; the fusion results of K candidate objects in the object segmentation, in order to get the candidate object after fusion; according to the object contains a stack of predetermined size and / or shape from the candidate object the fusion of the bottom layer in the recognition of objects in object. The effective segmentation method, equipment and machine sorting system can realize irregular adhesion of objects, multiple objects accurately identify the objects on the stack out of the top, greatly improve the efficiency of object recognition from clutter stacked and grab objects.

【技术实现步骤摘要】
堆叠物体的识别方法、设备和机器分拣系统
本公开总体涉及图像与视频处理领域，具体涉及堆叠物体的识别方法、设备和机器分拣系统。
技术介绍
随着基于视觉的自动化技术的发展，大量的自动化系统和设备开始应用于多个领域，比如水果质量的分拣、药片检测与识别、细胞分析等。特别地，机器人抓取这一技术逐渐走出实验室并应用在了工业产品线上，将劳动者从复杂重负的工作中解放出来。通常可被机器人的手臂抓取的物品包括机电元器件、食品和农产品等。为了使得机器人能够从杂乱堆放的物体中识别出每个单独物体，常规的方法是模板匹配法、形状检测法等等，但这些方法都不适合于非规则物体的识别，比如煎炸的鸡块的抓取等。对于非规则形状的物体，最可行的方式是从包含该非规则形状的物体的图像中直接分割出每个物体并确定可抓取的位置。已经提出了使用分层技术从杂乱堆放的物体里取出最顶层的物体并确定出最顶层的各个物体的位置以用于后续的抓取的方法。然而，在现有的分层技术中，均采用单一的全局阈值来获得最顶层的图像，而这种单一阈值分层方法在处理物体之间的粘连问题时往往效果不佳，特别是当上层物体和下层物体粘连较大时，难以准确地分割出堆叠物体的最顶层。这是因为堆叠物体中各物体都是自由堆放而不是一个挨一个、一层叠一层的规则放置的，并且每个单独的物体自身的大小和放置位置朝向等也不相同，因此通过单一阈值进行分层很难正确分割出顶层物体并确定出其中的单个物体。
技术实现思路
鉴于以上问题而提出了本公开。根据本公开的一个方面的实施例，提供了一种堆叠物体的识别方法，包括：获取堆叠物体的深度图；根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体。根据本公开的另一个方面的实施例，提供了一种堆叠物体的识别设备，包括：图像获取部件，配置为获取堆叠物体的深度图；位置确定部件，配置为根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；分割部件，配置为针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；融合部件，配置为对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；识别部件，配置为根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体。根据本公开的又一个方面的实施例，提供了一种堆叠物体的机器分拣系统，包括：处理器；存储器；存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取堆叠物体的深度图；根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体；和机械臂，用于抓取识别出的顶部物体层中包含的物体。根据本公开的上述方面的识别堆叠物体的方法、装置和机器分拣系统能够实现非规则粘连物体的有效分割，准确地识别出位于堆叠物体顶层的多个物体，大大提高从杂乱堆叠物体中识别并抓取单个物体的效率。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1(a)示出了多个物体的示例堆叠情形；图1(b)示出了对于采用第一阈值提取出的堆叠物体中的顶部物体层图像进行分割后的示例结果；图1(c)示出了对于采用第二阈值提取出的堆叠物体中的顶部物体层图像进行分割后的示例结果；图1(d)示出了对图1(b)和图1(c)的分割结果进行融合并进行物体识别后的示例结果。图2示出了根据本公开实施例的堆叠物体的识别方法的流程图。图3(a)-(c)示出了根据本公开实施例进行候选物体融合的一个非限定性的具体示例。图4(a)例示了堆叠物体的深度图。图4(b)例示了采用第一分割位置从图4(a)所示的深度图中提取的第一顶部物体层深度图。图4(c)例示了针对4(b)所示的第一顶部物体层深度图进行物体分割后得到的顶部物体层中的候选物体。图4(d)例示了采用第二分割位置从图4(a)所示的深度图中提取的第二顶部物体层深度图。图4(e)例示了针对4(d)所示的第二顶部物体层深度图进行物体分割后得到的顶部物体层中的候选物体。图4(f)示出了通过对图4(c)和4(e)所示的分割得到的候选顶层物体进行融合处理后识别出顶层物体。图5示出了根据本公开实施例的堆叠物体的识别设备的功能配置框图。图6示出了可用于实现本公开实施例的堆叠物体识别技术的机器分拣系统的框图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。首先对根据本公开实施例的堆叠物体的识别技术的基本思想进行简单介绍。如前所述，采用单一的顶部物体层阈值来获得最顶层的图像在处理物体之间的粘连问题时往往效果不佳。因此，在本公开实施例中，将采用多个顶部物体层阈值提取出多个顶部物体层图像，并对提取出的顶部物体层图像分别进行各自的物体分割，然后融合各个物体分割结果以基于多个不同的顶部物体层图像的相关性去除顶层物体分割结果中存在的局部粘连。例如，图1(a)-1(c)示意性地示出了利用该基本思想进行物体识别的示例情形。如图1(a)所示，假设6个小球堆叠在一起形成3层，为了使机械臂取得最顶层的小球，采用例如2个用于顶层小球分层的深度阈值“A”和“B”来提取顶部物体层图像。图1(b)是对于采用阈值A提取出的顶部物体层图像进行分割后的结果，图1(c)是对于采用阈值B提取出的顶部物体层图像进行分割后的结果。图1(b)和1(c)中相同图案(深色椭圆形)的部分代表它们是一个连通整体，不同图案的部分代表不同的物体。如果按照合并相同部分的方式来融合图1(b)和图1(c)的分割结果，则能够如图1(d)所示成功的去除粘连，从而将顶层的小球与其它部分分割开。炸鸡块在食品自动化机械配送线上是配送最多的食品之一。炸鸡块是典型的非规则物体,并且多个炸鸡块堆放在一起时，由于色彩相近、形状不规则，在视觉上易形成粘连不易区分状态。下文中将以炸鸡块为例对根据本公开的实施例的堆叠物体的识别技术进行详细的描述。图2示出了根据本公开实施例的堆叠物体的识别方法的流程图。如图2所示本文档来自技高网...

【技术保护点】
一种堆叠物体的识别方法，包括：获取堆叠物体的深度图；根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体。

【技术特征摘要】
1.一种堆叠物体的识别方法，包括：获取堆叠物体的深度图；根据所述深度图确定堆叠物体的顶部物体层的K个分割位置，并根据该K个分割位置从所述深度图中提取K个顶部物体层深度图，其中K为大于等于2的整数；针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体；对K个所述物体分割的结果中的候选物体进行融合，以得到融合后的候选物体；根据预先确定的堆叠物体的大小和/或外形从所述融合后的候选物体中识别出顶部物体层中包含的物体。2.如权利要求1所述的堆叠物体的识别方法，其中所述K个分割位置的深度值依次递增，并且其中第一分割位置的深度值最小。3.如权利要求2所述的堆叠物体的识别方法，其中根据所述深度图确定堆叠物体的顶部物体层的K个分割位置包括：确定堆叠物体中单个物体的平均高度；基于所述深度图中堆叠物体的最高点与该平均高度，确定第一分割位置的深度值。4.如权利要求3所述的堆叠物体的识别方法，其中基于所述深度图中堆叠物体的最高点与该平均高度确定第一分割位置的深度值包括：将所述深度图中堆叠物体的最高点的深度值加上该平均高度后的深度值，作为参考位置；生成所述深度图的深度直方图；以及在所述深度直方图中，获得所述参考位置附近预定范围内的波谷点的深度值，作为第一分割位置的深度值。5.如权利要求1所述的堆叠物体的识别方法，其中针对K个顶部物体层深度图分别进行物体分割以识别顶部物体层中的候选物体包括：采用相同的物体分割方法，针对K个顶部物体层深度图分别进行物体分割以识别顶部物体层中的候选物体。6.如权利要求5所述的堆叠物体的识别方法，其中针对K个顶部物体层深度图分别进行物体分割以从所述顶部物体层中分割出候选物体进一步包括对于每个所述顶部物体层深度图执行以下步骤：a.生成与该顶部物体层深度图对应的顶部物体层地形图；b.在所述地形图中标定初始聚类区域；c.利用分水岭方法在地形图各水位线上对所述初始聚类区域进行增长，直至水位线降至最低水位；d.确定各个增长后的初始聚类区域是否均只包含一个物体，如果判断结果为是，则将每个增长后的初始聚类区域作为一个识别出的候选物体；否则对于每个包含不止一个物体的增长后的初始聚类区域，将所述地形图中与该增长后的初始聚类区域对应的部分作为待分割地形图，并在该待分割地形图中重新标定至少两个初始聚类区域；e.对于每个待分割地形图，重复执行步骤c和d，直至各个增长后的初始聚类区域均只包含一个物体。7.如权利要求1所述的堆叠物体的识别方法，其中对K个所述物体分割的结果中的候选物体进行融合以得到融合后的候选物体包括：将K个物体分割的结果中对应于同一候选物体的相同区域部分合并，同时保留K个物体分割的结果中不同的区域部分。8.如权利要求1所述的堆叠物体的识别方法，其...

【专利技术属性】
技术研发人员：熊怀欣，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP