从容器中拾取对象的方法、电子设备和系统技术方案

公开了一种通过机器人机械手(211)从容器(230)中拾取对象的方法(100)，并且该方法包括：获取包含表示对象(220)和容器(230)的灰度信息的像素的第一图像；获取包含表示对象(220)和容器(230)的3D空间信息的像素的第二图像；基于灰度信息来标识第一图像中的对象(220)的至少一个表面；基于所标识的第一图像中的对象(220)的至少一个表面和3D空间信息，来标识第二图像中的对象(220)的至少一个表面的像素；基于所标识的第二图像中的像素，控制机器人机械手(211)接近所标识的至少一个表面以拾取对象(220)。根据本公开的设备、系统或方法提供了一种用于使图像分析所需要的计算资源要求较低的改进的解决方案。另外，处理速度将大大提高，并且因此机器人机械手(211)的拾取动作快速且准确。

Methods, electronic devices and systems for picking up objects from containers

A method (100) for picking up objects from containers (230) by robotic manipulators (211) is disclosed, and the method includes: obtaining a first image of a pixel containing gray information representing objects (220) and containers (230); obtaining a second image of a pixel containing 3D spatial information representing objects (220) and containers (230); and identifying the arrival of an object (220) in the first image based on gray information. Less than one surface; identifying pixels on at least one surface of the object (220) in the second image based on at least one surface and 3D spatial information of the object (220) in the identified first image; and controlling the robot manipulator (211) to approach the identified at least one surface to pick up the object (220) based on the pixels in the identified second image. An improved solution for making the computational resources required for image analysis less demanding is provided in accordance with the apparatus, system or method of the present disclosure. In addition, the processing speed will be greatly improved, and the pickup action of the robot manipulator (211) is fast and accurate.

【技术实现步骤摘要】
【国外来华专利技术】从容器中拾取对象的方法、电子设备和系统
本文中公开的示例实施例总体上涉及通过机器人机械手从容器中拾取对象的方法，并且还涉及用于实现该方法的电子设备以及用于从容器中拾取对象的系统。
技术介绍
在物流业或其他行业中，机器人广泛用于从较大的容器中拾取对象。通常，诸如盒子等对象随机放置在容器中。容器通常在传送带上移动，并且当机器人机械手准备从容器中拾取盒子时，传送带将停止。因此，工业上需要能够从容器中快速拾取盒子，以便可以在更短的时间内清空容器。在清空容器之后，下一容器将被放置在适当位置以便机器人机械手清空。更快地清空一个容器中的盒子可以使得整体效率显著提高。目前，3D相机可以用于促进拾取过程。基于由3D相机捕获的3D照片，机器人机械手能够接近容器中的盒子的很多表面中对于机器人机械手从中拾取来说相对容易的一个表面。通常，机器人或系统可以将对象的顶表面视为机器人机械手从中拾取的更容易的对象表面，因为顶表面不太可能被其他对象阻挡。然而，从所捕获的3D照片计算表面分布以便确定要接近的表面需要大量计算资源。因此，3D照片的分析需要时间，这对物流业来说并不令人满意。
技术实现思路
本文中公开的示例实施例提出了一种通过机器人机械手从容器中拾取对象的方法。在一个方面，本文中公开的示例实施例提供了一种通过机器人机械手从容器中拾取对象的方法。该方法包括：获取包含表示对象和容器的灰度信息的像素的第一图像；获取包含表示对象和容器的3D空间信息的像素的第二图像；基于灰度信息来标识第一图像中的对象的至少一个表面；基于所标识的第一图像中的对象的至少一个表面和3D空间信息，来标识第二图像中的对象的至少一个表面的像素；以及基于所标识的第二图像中的像素，控制机器人机械手接近所标识的至少一个表面以拾取对象。在另一方面，本文中公开的示例实施例提供了一种电子设备。该电子设备包括处理单元和存储器，该存储器被耦合到处理单元并且存储用于由处理单元执行的指令。这些指令在由处理单元执行时使得该设备执行包括以下操作的动作：基于对象和容器的灰度信息，标识第一图像中的对象的至少一个表面，第一图像包含表示对象和容器的灰度信息的像素；基于所标识的第一图像中的对象的至少一个表面、以及对象和容器的3D空间信息，标识第二图像中的对象的至少一个表面的像素，第二图像包含表示对象和容器的3D空间信息的像素；以及基于所标识的第二图像中的像素，控制机器人机械手接近所标识的至少一个表面以拾取对象。在又一方面，本文中公开的示例实施例提供了一种用于从容器中拾取对象的系统。该系统包括：包括用于拾取对象的机器人机械手的机器人、相机和如上所述的电子设备。相机被配置为：获取包含表示对象和容器的灰度信息的像素的第一图像；并且获取包含表示对象和容器的3D空间信息的像素的第二图像。通过以下描述，应当理解，根据本公开的设备、系统或方法提供了一种用于使图像分析所需要的计算资源要求较低的改进的解决方案。通过考虑灰度信息和3D空间信息，处理速度将大大提高，并且因此机器人机械手的拾取动作快速且准确。附图说明通过以下参考附图的详细描述，本文中公开的示例实施例的上述和其他目的、特征和优点将变得更易于理解。在附图中，将在示例中以非限制性方式示出本文中公开的若干示例实施例，在附图中：图1示出了根据一个示例实施例的由机器人机械手从容器中拾取对象的方法的流程图；图2示出了根据另一示例实施例的用于机器人拾取容器中的对象的示例工作环境；以及图3-9分别示出了根据一个示例实施例的在每个处理阶段之后的图像。在整个附图中，相同或相应的附图标记表示相同或相应的部分。具体实施方式现在将参考若干示例实施例讨论本文中描述的主题。这些实施例被讨论仅用于使得本领域技术人员能够更好地理解并且因此实现本文中描述的主题的目的，而不是暗示对主题的范围的任何限制。术语“包括(comprises)”或“包含(includes)”及其变体应当被理解为表示“包括但不限于”的开放术语。术语“或”应当理解为“和/或”，除非上下文另外清楚地说明。术语“基于”应当被理解为“至少部分基于”。术语“可操作以”是指功能、动作、运动或状态可以通过由用户或外部机制引起的操作来实现。术语“一个实施例”和“实施例”应当被理解为“至少一个实施例”。术语“另一实施例”应当被理解为“至少一个其他实施例”。除非另有说明或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛使用并且包括直接和间接安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合。在下面的描述中，相同的附图标记和标号用于描述图1-10的若干视图中的相同、相似或相应的部分。下面可以包括明确的和隐含的其他定义。图1示出了根据一个示例实施例的由机器人机械手从容器中拾取对象的方法100的流程图。图2示出了用于机器人210拾取容器230中的对象220的示例工作环境200。图3至图9分别示出了在每个处理阶段之后的图像300-900。在下文中，将以图1的流程中所示的顺序来解释根据本公开的方法。对于方法100中的每个块和子块(如果有的话)，将相应地描述如图2-9中的任一个中所示的相应图像。图2示出了用于在实际工作环境中从容器230中拾取对象220的系统200。系统200包括具有用于拾取对象220的机器人机械手211的机器人210和可以位于机器人机械手211的末梢附近的相机(未示出)。相机可以用于获取包含对象220和容器230的必要信息的图像，这将在以下段落中参考方法100详细说明。此外，系统200包括通常位于机器人210中的某处的电子设备。电子设备包括处理单元和耦合到处理单元并且存储用于由处理单元执行的指令的存储器，这些指令在由处理单元执行时使得该设备执行方法100中的动作。容器230放置在传送带240上，并且机器人210固定到工作台250上。随着在传送带240上移动的容器230到达其中机器人210的机器人机械手211能够接近整个容器230的区域，传送带240将停止移动在其上的容器230。在图2的配置中，机器人机械手211可以进入容器230内的空间并且抓握任何对象220。这样的抓握动作可以通过本领域的任何现有手段来实现。例如，可以使用气动吸盘粘附到对象的表面。存在通常用于机器人机械手的其他抓握装置，并且它们通常要求在该空间中标识对象的特定表面以便于抓握动作。图2示出了在基本上垂直于对象220的一个顶表面的方向上，将机器人机械手211接近该顶表面而使该顶表面被粘附到该机器人机械手211。如果机器人机械手211试图从另一角度接近对象220或者试图在另一表面处接近对象220，则由于对象的形状或由容器230限制的受限空间而可能难以拾取对象220。应当理解，机器人机械手211如何接近对象220在很大程度上取决于对象220的形状和尺寸以及机器人机械手211的类型。例如，在容器中的对象是矩形盒子的情况下，可以有效地接近该盒子的六个表面之一。在其他情况下，接近对象的一个边缘可能是有效的。在实际运行传送带之前，用户可以定制如何通过什么类型的机器人机械手来拾取特定尺寸的对象。然而，为了成功地拾取对象，就在空间(容器)中的定位而言，标识对象的暴露表面总是有益的。例如，假定容器230相对于机器人210静止并且放置在机器人本文档来自技高网...

【技术保护点】
1.一种通过机器人机械手从容器中拾取对象的方法，包括：获取包含表示所述对象和所述容器的灰度信息的像素的第一图像；获取包含表示所述对象和所述容器的3D空间信息的像素的第二图像；基于所述灰度信息来标识所述第一图像中的所述对象的至少一个表面；基于所标识的、所述第一图像中的所述对象的至少一个表面和所述3D空间信息，来标识所述第二图像中的所述对象的所述至少一个表面的像素；以及基于所标识的、所述第二图像中的像素，控制所述机器人机械手接近所标识的至少一个表面以拾取所述对象。

【技术特征摘要】
【国外来华专利技术】1.一种通过机器人机械手从容器中拾取对象的方法，包括：获取包含表示所述对象和所述容器的灰度信息的像素的第一图像；获取包含表示所述对象和所述容器的3D空间信息的像素的第二图像；基于所述灰度信息来标识所述第一图像中的所述对象的至少一个表面；基于所标识的、所述第一图像中的所述对象的至少一个表面和所述3D空间信息，来标识所述第二图像中的所述对象的所述至少一个表面的像素；以及基于所标识的、所述第二图像中的像素，控制所述机器人机械手接近所标识的至少一个表面以拾取所述对象。2.根据权利要求1所述的方法，其中获取所述第二图像包括：通过3D相机捕获所述第二图像；以及确定所捕获的第二图像中的每个像素的3D点云数据的值。3.根据权利要求2所述的方法，其中每个像素的3D点云数据的值包括第一维度中的值、第二维度中的值和第三维度中的值。4.根据权利要求1所述的方法，其中标识所述第一图像中的所述对象的至少一个表面包括：基于所述灰度信息来提取所述第一图像中的所述对象的边缘；以及对所述边缘执行侵蚀过程，以标识所述第一图像中的所述对象的所述至少一个表面。5.根据权利要求4所述的方法，其中在执行所述侵蚀过程之前，标识所述第一图像中的所述对象的至少一个表面还包括：对所述边缘执行扩展过程。6.根据权利要求1所述的方法，其中标识所述对象的所述至少一个表面的像素包括：从所述第二图像中移除在所述对象外部的像素。7.根据权利要求1所述的方法，其中控制所述机器人机械手还包括：从所述至少一个表面中确定最靠近所述机器人机械手的顶表面；以及控制所述机器人机械手接近最靠近的表面以拾取所述对象。8.根据权利要求1至7中任一项所述的方法，其中所述对象是矩形盒子。9.一种电子设备，包括：处理单元；以及存储器，被耦合到所述处理单元并且存储用于由所述处理单元执行的指令，所述指令在由所述处理单元执行时使得所述设备执行包括以下操作的动作：基于对象和容器的灰度信息，标识第一图像中的所述对象的至少一个表面，所述第一图像包含表示所述对象和所述容器的灰度信息的像素；基于...

【专利技术属性】
技术研发人员：毛晓龙，吴彦来，严伟杰，鞠正，蒋伦，阎文舟，
申请(专利权)人：ABB瑞士股份有限公司，
类型：发明
国别省市：瑞士,CH