识别堆叠物体的方法和装置制造方法及图纸

本发明专利技术的实施例提供了一种识别堆叠物体的方法和装置。根据本发明专利技术实施例的识别堆叠物体的方法，包括：获得堆叠物体的深度图；根据所获得的深度图将堆叠物体划分为多个物体区域；对于每个物体区域确定顶部物体层的分割位置，以及根据所确定的分割位置提取该物体区域的顶部物体层；识别每个物体区域的顶部物体层中包含的物体。

Method and apparatus for identifying stacked objects

Embodiments of the present invention provide a method and apparatus for identifying stacked objects. According to the method of identifying stacked objects including, embodiments of the present invention: depth chart stacking objects; according to the depth map obtained by stacking objects into multiple object areas; to determine the top layer of the object segmentation position of each object region, and the top layer of the object segmentation to locate the object area according to the the top layer contains objects; the identification of each object in the object region.

【技术实现步骤摘要】
识别堆叠物体的方法和装置
本专利技术涉及识别堆叠物体的方法和装置。更具体地，本专利技术涉及识别堆叠物体的顶部物体层中的物体的方法和装置。
技术介绍
随着基于视觉的自动化技术的发展，大量的自动化系统和设备开始应用于多个领域，比如水果质量的分拣，药片检测与识别，细胞分析等。特别地机器人抓取这一技术逐步走出实验室并应用在了工业产品线上，将劳动者从复杂重负的工作里解放出来。通常可被机器手臂抓取的物品包括机电元器件，食品和农产品等。为了让机器系统能从杂乱堆叠物体里识别出每个物件，已经提出了使用分层技术来从一堆杂乱堆放的物体里取出最顶层的物体并计算出最顶层的物体的位置以便于抓取。具体地，在现有的分层技术中，采用了单一的全局阈值来获得最顶层的图像。然而在这样的分层技术中，只有最顶层物体能被处理，而其它的物体对象，即使它们也处在顶层并同样完全暴露在相机的视野中而无遮挡，由于为它们并没位于最顶层的位置因此也不能被从深度图里抽取出来。此外，对于这种单一阈值分层的方法而言，处理各物体之间的粘连问题很难得到较好的效果，特别是当上层物体和下层物体粘连较大时，难以准确地分割出的堆叠物体最顶层。由于所有物体都是自由堆放而不是一个挨一个一层叠一层的规则放置，并每个单独的物体都有它自身的大小和放置位置朝向的不同，因此通过单一阈值进行分层很难满足所有顶层物体正确分层的需求。
技术实现思路
本专利技术实施例的目的在于提供一种识别堆叠物体的方法和装置，以有效地对堆叠物体进行分割和识别。本专利技术的一个实施例提供了一种识别堆叠物体的方法，包括：获得堆叠物体的深度图；根据所获得的深度图将堆叠物体划分为多个物体区域；对于每个物体区域确定顶部物体层的分割位置，以及根据所确定的分割位置提取该物体区域的顶部物体层；识别每个物体区域的顶部物体层中包含的物体。本专利技术的另一实施例提供了一种识别堆叠物体的装置，包括：深度图获取单元，配置来获得堆叠物体的深度图；区域划分单元，配置来根据所获得的深度图将堆叠物体划分为多个物体区域；物体层提取单元，配置来对于每个物体区域确定顶部物体层的分割位置，以及根据所确定的分割位置提取该物体区域的顶部物体层；以及识别单元，配置来识别每个物体区域的顶部物体层中包含的物体。在根据本专利技术实施例的识别堆叠物体的方法和装置中，通过将深度图将堆叠物体划分为多个物体区域，并对每个物体区域分别进行顶部物体层分割和物体提取，可有效地识别出暴露在相机的视野中而无遮挡的、位于堆叠物体顶层的多个物体，从而大大提高了机器系统能从杂乱堆叠物体中识别并抓取物体的效率。附图说明图1是描述了根据本专利技术一个实施例的识别堆叠物体的方法的流程图。图2是示出了根据本专利技术的一个示例将堆叠物体划分为多个物体区域的示意图。图3是描述了本专利技术一个实施例的确定物体区域的顶部物体层的分割位置的方法的流程图。图4是描述了本专利技术另一实施例的确定物体区域的顶部物体层的分割位置的方法的流程图。图5a示出了堆叠物体的一个示意性说明图。图5b是分别对应各物体区域的深度直方图。图5c示出了对于堆叠物体的边缘检测结果。图5d示出了掩码图所对应着的各物体区域的边缘深度直方图。图6是示出了根据本专利技术的一个实施例的识别堆叠物体的装置的示范性结构框图。图7是描述了本专利技术一个实施例的物体层提取单元的示范性结构框图。图8是描述了本专利技术另一实施例的物体层提取单元的示范性结构框图。图9是示出按照本专利技术实施例的识别堆叠物体的系统的总体硬件框图。图10示出了根据本公开实施例的物体分割方法的流程图。图11(a)例示了所获取的包含待分割物体的图像。图11(b)例示了从图11(a)所示的包含待分割物体的图像转换得到的二值图像。图11(c)例示了对图11(b)所示的二值图像进行距离变换后得到距离图。图11(d)例示了在图11(c)所示的距离图中标定出的初始聚类区域的示意图。图11(e)例示了利用分水岭方法进行区域增长后的增长结果。图11(f)例示了图11(c)所示的距离图中与图11(e)中所示的包含不止一个物体的区域对应的部分。图11(g)例示了在图11(f)中用虚线标出的部分地形图中重新标定出的初始聚类区域的示意图。图11(h)例示了采用根据本公开实施例的物体分割方法得到的最终的分割结果。图12(a)和12(b)示出了根据本公开实施例的物体分割方法在水位线上进行区域增长时的一个示例情形。图13是以树图的方式展示迭代分割的示意图。具体实施方式为了使本领域技术人员更好地理解本专利技术，将参考附图详细描述本专利技术的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。根据本专利技术的实施例的识别堆叠物体的方法和装置可应用于包括相机设备的机器分拣系统。例如，相机设备可以是例如双目相机之类的立体相机。此外，立体相机的具体形式不限于此，其还可以是例如三目相机或者由基于TOF或者主动光模式的相机等能够获得图像中对象的深度信息的任何其他相机。此外在根据本专利技术的实施例中，相机设备可设置在堆叠物体的上方，以拍摄堆叠物体的顶部深度图。图1是描述了根据本专利技术一个实施例的识别堆叠物体的方法100的流程图。下面，将参照图1来描述根据本专利技术实施例的识别堆叠物体的方法。如图1所示，在步骤S101中，获得堆叠物体的深度图。在根据本专利技术的实施例中，堆叠物体的深度图可以是通过上述相机设备获得的堆叠物体的顶部深度图。在步骤S102中，根据所获得的深度图将堆叠物体划分为多个物体区域。根据本专利技术的一个实例，可利用分水岭方法，逐渐降低对应于深度图中的深度值大小的水位线，以根据深度图将堆叠物体划分为多个物体区域。具体地，可确定在各水位线上确定在所获得的深度图中是否出现了新的物体。例如，在逐渐降低水位线的过程中，新的物体可以独立于在高于当前水位线的水位线上已经新的物体。当在特定水位线上确定出现了新的物体并且当不存在已经确定的物体区域时，将新的物体标定为新的物体区域。此外在逐渐降低水位线的过程中，在下一水位线上可围绕该新的物体区域进行区域增长标定。另一方面，当在特定水位线上确定出现了新的物体并且当存在已经确定的物体区域时，确定新的物体在深度图中的位置与存在的已经确定的物体区域的位置之间的距离是否大于或等于预定阈值。当新的物体在深度图中的位置与已经确定的物体区域的位置之间的距离大于或等于预定阈值时，将新的物体标定为新的物体区域，否则将新的物体确定为属于已经确定的物体区域。例如，可计算将新的物体中心位置与已经确定的物体区域的中心位置之间的距离作为新的物体在深度图中的位置与已经确定的物体区域的位置之间的距离。此外在逐渐降低水位线的过程中，在下一水位线上可围绕所有的确定物体区域各自进行区域增长。并且在下一水位线上可将所确定的物体区域包含的所有物体用于该物体区域的增长。图2是示出了根据本专利技术的一个示例将堆叠物体划分为多个物体区域的示意图。如图2所示，如图当水位线下降到“p1”位置时,点“A”露出于水面，即，在“p1”位置确定出现了新的物体。由于此时不存在已经确定的物体区域，因此将物体A标定为新的物体区域，并开始在下一水位线上进行区域增长。当水位线下降到“p2”位置时，没有出现独立于物体A所在物体区域的新的物体，即，在“p2”位置确本文档来自技高网...

【技术保护点】
一种识别堆叠物体的方法，包括：获得堆叠物体的深度图；根据所获得的深度图将堆叠物体划分为多个物体区域；对于每个物体区域确定顶部物体层的分割位置，以及根据所确定的分割位置提取该物体区域的顶部物体层；识别每个物体区域的顶部物体层中包含的物体。

【技术特征摘要】
1.一种识别堆叠物体的方法，包括：获得堆叠物体的深度图；根据所获得的深度图将堆叠物体划分为多个物体区域；对于每个物体区域确定顶部物体层的分割位置，以及根据所确定的分割位置提取该物体区域的顶部物体层；识别每个物体区域的顶部物体层中包含的物体。2.如权利要求1所述的方法，其中所述根据所获得的深度图将堆叠物体划分为多个物体区域包括：利用分水岭方法，逐渐降低对应于深度图中的深度值大小的水位线，以将堆叠物体划分为多个物体区域，其中在各水位线上确定在所获得的深度图中是否出现了新的物体；当在特定水位线上确定出现了新的物体并且当不存在已经确定的物体区域时，将新的物体标定为新的物体区域；当在特定水位线上确定出现了新的物体并且当存在已经确定的物体区域时，确定新的物体在深度图中的位置与存在的已经确定的物体区域的位置之间的距离是否大于或等于预定阈值，以及当新的物体在深度图中的位置与已经确定的物体区域的位置之间的距离大于或等于预定阈值时，将新的物体标定为新的物体区域，否则将新的物体确定为属于已经确定的物体区域。3.如权利要求1所述的方法，其中所述对于每个物体区域确定顶部物体层的分割位置包括：获得堆叠物体中单个物体的平均高度；对于每个物体区域，根据单个物体的平均高度确定该物体区域的顶部物体层的分割位置。4.如权利要求3所述的方法，其中根据单个物体的平均高度确定该物体区域的顶部物体层的分割位置包括：根据在所述深度图中该物体区域的最高点和单个物体的平均高度计算参考位置；生成所述深度图的深度直方图；以及在所述深度直方图中，获得所述参考位置附近的波谷点的位置作为该物体区域的顶部物体层的分割位置。5.如权利要求3所述的方法，其中所述根据单个物体的平均高度确定该物体区域的顶部物体层的分割位置包括：在所述深度图中检测该物体区域中的物体边缘，以生成该物体区域的边缘深度直方图；对边缘深度直方图进行聚类以获得聚类点；根据在所述深度图中该物体区域的最高点和单个物体的平均高度计算参考位置；以及根据在所获得的聚类点中的、最接近所述参考位置的目标聚类点确定该物体区域的顶部物体层的分割位置。6.如权利要求5所述的方法，其中所述根据在所获得的聚类点中的、最接近所述参考位置的目标聚类点确定该物体区域的顶部物体层的分割位置包括：生成所述深度图的深度直方图；在所述深度直方图中，获得所述目标聚类点附近的波谷点的位置作为该物体区域的顶部物体层的分割位置。7.如权利要求5所述的方法，其中在所述深度图中检测该物体区域中的物体边缘，以生成该物体区域的边缘深度直方图包括：在所述深度图中检测该物体区域中的物体边缘；对检测到的物体边缘进行膨胀以得到膨胀后的边缘二值化图；将所述膨胀边缘二值化图作为掩码图，根据所述深度图获得物体边缘所对应的深度,并计算出该物体区域的边缘深度直方图。8.如权利要求1所述的方法，其中所述识别每个物体区域的顶部物体层中包含的物体包括：a.获取顶...

【专利技术属性】
技术研发人员：熊怀欣，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP