线缆检测方法、机器人和存储装置制造方法及图纸

本申请涉及一种线缆检测方法、机器人和存储装置。所述方法包括：获取线缆的RGB图和对应的深度图；对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素；确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆；判断各线缆是否重叠；以及当检测出线缆重叠时，根据深度图确定检测出的各线缆之间的重叠关系。采用本方法除了能检测出零散放置的线缆以外，还可以对堆叠放置的线缆进行准确检测。

【技术实现步骤摘要】
线缆检测方法、机器人和存储装置
本申请涉及图像处理
，特别是涉及一种线缆检测方法、机器人和存储装置。
技术介绍
随着图像处理技术的发展，现在的机器人大部分都具备了图像处理能力。通过机器人检测线缆，并根据检测结果抓取线缆，节省了大量的人力资源。现有的线缆检测方法，通常是基于深度学习和传统机器学习的线缆检测。然而，传统的线缆检测方法仅适用于零散放置的线缆，而不适用于堆叠放置的线缆。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够适用于检测堆叠放置的线缆的线缆检测方法、线缆检测装置、机器人和具有存储功能的装置。在本申请的一方面，提供一种线缆检测方法，所述方法包括：获取线缆的RGB图和对应的深度图；对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；判断所述各线缆是否重叠；以及当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。在本申请的另一方面，提供一种线缆检测装置，所述装置包括：获取模块，用于获取线缆的RGB图和对应的深度图；分割模块，用于对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；确定模块，用于确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；判断模块，用于判断所述各线缆是否重叠；以及所述确定模块还用于当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。在本申请的另一方面，提供一种机器人，包括存储器、处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序并实现本申请各实施例所述的线缆检测方法的步骤。在本申请的另一方面，提供一种具有存储功能的装置，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请各实施例所述的线缆检测方法的步骤。上述线缆检测方法、线缆检测装置、机器人和具有存储功能的装置，通过对获取到的线缆的RGB图进行图像分割，并将RGB图中位置相邻、且像素特征相似的像素点合并为超像素。确定至少部分各超像素与相邻的超像素之间的目标相似度，目标相似度越高，表示超像素与相邻的超像素归属于同一条线缆的概率就越大。进而根据目标相似度检测出RGB图中的各线缆。判断检测出的各线缆是否重叠，当监测到检测出的线缆重叠时，则根据深度图检测出各线缆之间的重叠关系。这样，除了能检测出零散放置的线缆以外，还可以对堆叠放置的线缆进行准确检测。附图说明图1为一个实施例中线缆检测方法的应用场景图；图2为一个实施例中线缆检测方法的流程示意图；图3为另一个实施例中线缆检测方法的流程示意图；图4为一个实施例中根据目标相似度检测各线缆的步骤的流程示意图；图5为一个实施例中根据深度图确定线缆重叠关系的步骤的流程示意图；图6为一个实施例中线缆检测结果示意图；图7为一个实施例中线缆检测装置的结构框图；图8为一个实施例中机器人的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的线缆检测方法，可以应用于如图1所示的应用环境中。该应用环境包括机器人102和若干线缆104。机器人102获取线缆104的RGB图和对应的深度图；机器人102对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素；机器人102确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆104；机器人102判断各线缆104是否重叠；以及当检测出线缆104重叠时，机器人102根据深度图确定检测出的各线缆104之间的重叠关系。在一个实施例中，如图2所示，提供了一种线缆检测方法，以该方法应用于图1中的机器人102为例进行说明，包括以下步骤：S202，获取线缆的RGB图和对应的深度图。具体地，机器人可靠近需要检测的线缆，通过部署在机器人上的摄像机，获取线缆的RGB图和对应的深度图。在一些实施例中，摄像机也可不直接设置在机器人上，而是通过数据传输装置将获取的RGB图传送至机器人。在一个实施例中，RGB图与深度图对应(例如，在同一位置取景等)，深度图可与RGB图同时获取，也可分别获取。例如，可使用与机器人通信的RGB-D相机同时获取RGB图和对应的深度图。S204，对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素。其中，图像分割是将图像细分为多个图像子区域，即像素的集合的过程。超像素是由一系列位置相邻且像素特征相似的像素点组成的小区域。在一些例子中，像素特征可包括颜色、亮度和纹理等中的至少一种。具体地，图像分割包括超像素分割，机器人可对获取到RGB图进行超像素分割。机器人可获取各像素点的位置以及像素特征，进而机器人可将位置相邻、且像素特征相似的像素点进行合并，得到超像素。在一个实施例中，超像素分割可以通过Fast-SLIC(Fast-SimpleLinearIterativeClustering，快速简单的线性迭代聚类算法)算法实现，还可以通过其他基于CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备架构)版本的SLIC(SimpleLinearIterativeClustering，简单的线性迭代聚类算法)算法实现。本实施例对超像素分割的实现算法不做限定。S206，确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆。其中，至少部分超像素，是指一部分或者全部超像素。即，可以针对一部分超像素，确定其与相邻的超像素之间的目标相似度，也可以针对全部超像素，确定其与相邻的超像素之间的目标相似度。例如，分割后的超像素可分为属于线缆的超像素和属于环境的超像素，在一些实施例中，可只通过确定属于线缆的超像素与相邻的超像素之间的目标相似度来检测出RGB图中的各线缆。可以理解，在其他实施例中也可通过确定RGB图上的全部超像素与相邻的超像素之间的目标像素度来检测出线缆。在一些实施例中，目标相似度由视觉相似度和方向相似度中的至少一种决定。即，目标相似度可以由视觉相似度或方向相似度确定，也可以由视觉相似度和方向相似度共同确定。其中，视觉相似度为当前超像素与相邻的超像素在各自对应的区域内的本文档来自技高网...

【技术保护点】
1.一种线缆检测方法，其特征在于，所述方法包括：/n获取线缆的RGB图和对应的深度图；/n对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；/n确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；/n判断所述各线缆是否重叠；以及/n当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。/n

【技术特征摘要】
1.一种线缆检测方法，其特征在于，所述方法包括：
获取线缆的RGB图和对应的深度图；
对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；
确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；
判断所述各线缆是否重叠；以及
当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据各所述线缆之间的重叠关系，确定与未被压叠的所述线缆对应的抓取位置和抓取方向，根据所述抓取位置和抓取方向抓取未被压叠的所述线缆。


3.根据权利要求1所述的方法，其特征在于，所述将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素的步骤，包括：
确定预设的超像素数量和超像素形状；
确定所述RGB图中各所述像素点的位置和像素特征；以及
根据所述预设的超像素数量和超像素形状，将位置相邻且像素特征相似的所述像素点合并为超像素。


4.根据权利要求1所述的方法，其特征在于，所述确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆的步骤，包括：
提取所述RGB图中各线缆的端点；
将各所述线缆的端点对应的超像素作为对应线缆的检测起始点；
将所述检测起始点作为当前点，确定所述当前点与相邻的多个超像素的目标相似度；以及
将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点，并返回所述确定所述当前点与相邻的多个超像素的目标相似度的步骤，直至作为所述当前点的超像素与各相邻的超像素的目标相似度均小于预设目标相似度，从而检测出各所述线缆的所述端点对应的线缆。


5.根据权利要求4所述的方法，其特征在于，所述确定所述当前点与相邻的多个超像素的目标相似度的步骤，包括：
确定所述当前点与相邻的多个超像素之间的视觉相似度和方向相似度；以及
根据所述视觉相似度和所述方向相似度确定各所述当前点与相邻的多个超像素之间的目标相似度。


6.根据权利要求5所述的方法，其特征在于，确定所述当前点与相邻的多个超像素之间的方向相似度的步骤，包括：
提取预设数量的连续的先前点，所述先前点为已检测出的与所述当前点位于同一线缆的超像素，并根据各所述先前点的位置计算对应所述当前点的参考方向；
分别获取所述当...

【专利技术属性】
技术研发人员：朱光沸，
申请(专利权)人：上海非夕机器人科技有限公司，
类型：发明
国别省市：上海;31