用于机器人应用的3D分割制造技术

一种机器人系统，包括：机器人，具有相关联的工作空间；视觉传感器，被构造成获得机器人场景的3D图像，机器人场景包括位于工作空间中的工件；以及控制系统，被通信地耦接到视觉传感器和机器人。控制系统被配置为执行程序指令，以通过将图像分割成第一图像部分和第二图像部分以及通过存储与第一图像部分相关联的图像数据来对图像进行过滤，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分。控制系统操作性地基于与第一图像部分相关联的图像数据来控制机器人的移动，以对工件执行作业。

3D segmentation for robot applications

【技术实现步骤摘要】
【国外来华专利技术】用于机器人应用的3D分割
本专利技术涉及工业机器人，更具体地，涉及用于机器人应用的3D视觉和3D数据的使用。
技术介绍
用于机器人应用的视觉系统处理图像数据，该图像数据与处置工件或者在工件上执行诸如制造过程的过程相关。一些现有的系统相对于某些应用具有各种缺点、缺陷和不足。例如，在一些系统中，用于机器人场景的图像的视觉图像数据集可能比其他场景所需要的更大，这可能需要使用比其他场景所需要的更昂贵的、更大的存储器和/或更快的处理器，或者可能降低执行机器人操作的速度。因此，仍然需要在这一
作出进一步贡献。
技术实现思路
本专利技术的实施例包括机器人系统。机器人系统包括机器人，其具有相关联的工作空间；视觉传感器，其被构造成获得机器人场景的3D图像，该机器人场景包括位于工作空间中的工件；以及控制系统，其被通信地耦合到视觉传感器和机器人。控制系统被配置为执行程序指令以通过将图像分割成第一图像部分和第二图像部分以及通过存储与第一图像部分相关联的图像数据来对图像进行过滤，第一图像部分基本上仅包含机器人场景内的感兴趣区，第二图像部分包含机器人场景的感兴趣区外部的剩余部分。控制系统操作性地基于与第一图像部分相关联的图像数据来控制机器人的移动来对工件执行作业。附图说明本文的描述参考附图，其中贯穿若干视图的相同的附图标记指代相同的部件，并且其中：图1示意性地示出了根据本专利技术的实施例的具有机器人以及提供工件的图像的视觉传感器的机器人系统的非限制性示例的一些方面。图2示意性地示出了根据本专利技术的实施例的作为机器人3D视觉系统的一个示例的视觉引导应用中的机器人系统的非限制性示例的一些方面。图3A示出了根据本专利技术的实施例的由视觉传感器获取的工件的图像和周围的几何形状的非限制性示例的一些方面。图3B示出了根据本专利技术的实施例的从对图3A的图像执行的3D图像分割过程所获得的图像部分的非限制性示例的一些方面。图4是示出根据本专利技术的实施例的用于操作机器人的方法的非限制性示例的一些方面的流程图。图5是示出根据本专利技术的实施例的用于操作机器人的方法的非限制性示例的一些方面的流程图。图6示出了具有机器人和3D视觉传感器的机器人系统，该3D视觉传感器提供机器人将对其执行作业的工件的图像。图7示出了作为机器人3D视觉系统的一个示例的视觉引导应用。图8A示出了由3D视觉传感器获取的图像和周围几何形状，由机器人在该图像的一部分上执行作业。图8B示出了对图8A中所示的图像进行分割的结果。图9示出了使用部件移动范围来分割图像以对数据进行过滤的流程图。图10示出了通过基于机器人工作空间准则(诸如机器人工作空间的包络，其限定具有或不具有工具的机器人的范围)过滤数据来分割图像的流程图。具体实施方式为了促进对本专利技术的原理的理解，现在将参考在图中示出的实施例，并且将使用具体的语言来描述本专利技术的原理。尽管如此，应当理解对本专利技术的某些实施例的说明和描述并不旨在限制本专利技术的范围。另外，所示出的和/或所描述的实施例的任何改变和/或修改都被认为在本专利技术的范围内。此外，如本专利技术所属领域技术人员通常会想到的，如本文所示出的和/或所描述的本专利技术的原理的任何其他应用被认为在本专利技术的范围内。参考附图，特别是图1和图2，示意性地示出了根据本专利技术的实施例的、用于机器人系统10的框图的非限制性示例的一些方面。机器人系统10包括3D图像传感器系统11、机器人12和控制系统13。机器人系统10被配置为使用工具16执行作业，例如执行对被设置在机器人工作空间15内或机器人工作空间15上的工件14(例如，制造的产品)的制造作业。在图2的图示中，工件14被设置在工作台17上，工作台17至少部分地被设置在工作空间15中。在一些实施例中，机器人系统10还被配置为或者备选地被配置为通过处置工件14而对工件14执行作业，而在一些实施例中，通过将工件14从一个位置和/或取向移动到另一个位置和/或取向，对工件14进行加工。视觉传感器11是被定位成以便观察工作空间15和工件14的机器人视觉传感器。视觉传感器11被配置为生成并且提供工作空间15以及机器人12将对其执行作业的工件14的图像。视觉传感器11是3D视觉传感器，即能够获取3D图像。在一种形式中，视觉传感器11是3D相机形式的单一图像传感器。在其他实施例中，视觉传感器11可以采取其他形式，并且可以是例如单一图像传感器或者一种或多种类型的、并置的或者跨期望的位置分布的多个图像传感器(诸如被动和/或主动图像传感器)，其可以采用各种技术中的一种或多种技术来渲染3D图像。这些技术可以包括例如采用运动立体、阴影恢复形状、结构化照明和/或投影纹理技术以及其他技术的单一或多个相机。在一种形式中，视觉传感器11位于机器人12上。在一个特定形式中，视觉传感器11位于机器人12的移动(动态)部分上。在其他实施例中，视觉传感器11可以位于机器人12的静态部分12上、机器人12的移动(动态)部分上，或者可以位于静态或动态的其他位置。在一种分布式形式中，视觉传感器11的部件传感器可以被设置在机器人12的静态和/或动态部分上或者在期望位置处的任何其他适当的结构上。在一种形式中，机器人12是多轴机器。在其他实施例中，机器人12可以是单轴机器。机器人12包括经由腕20而被耦接到臂19的端部执行器18。端部执行器18、臂19或枢轴20是可以在其上安装视觉传感器11的机器人12特征的非限制性示例。在一种形式中，工具16被安装到端部执行器18。机器人12操作性地将工具16定位在机器人12的可到达体积内(即在工作空间15内)的期望位置处，以便对工件14执行作业。在一种形式中，控制系统13包括控制器21和控制器22。在一种形式中，控制器21和控制器22是分立的处理单元。在其他实施例中，控制系统13可以反映单个控制器或者可以反映任何数目的控制器。控制器21被通信地耦接到视觉传感器11和控制器22。在一种形式中，控制器21是计算设备，例如图像处理器。在其他实施例中，控制器21可以采取其他形式。在一种形式中，除其他方面以外，控制器21被配置以执行程序指令以处理从视觉传感器11接收的图像数据，并且将经处理的图像数据提供给控制器22。在一些实施例中，控制器21可以被单独地或者与控制器22结合地配置为将图像数据(例如，3D图像深度数据和其他图像数据)从一个坐标系转换到另一个坐标系，例如从视觉传感器11坐标系转换到机器人12坐标系。控制器21还可以被配置为执行程序指令以执行与操作机器人12相关联的其他任务。控制器22被通信地耦接到机器人12和控制器21。在一种形式中，控制器22是机器人控制器。在其他实施例中，控制器22可以采取其他形式。在一种形式中，除其他方面以外，控制器22被配置为执行程序指令以基于3D图像数据来控制机器人22的操作和定位。在一些实施例中，控制器22可以被单独地或者与控制器21结合地配置为将图像数据(例如，3D图像深度数据和其他图像数据)从一个坐标系转换到另一个坐标系，例如从视觉传感器11转换到机器人12坐标系。在一些实施例中，控制器21还可以被配置为执行程序指令以执行其他图像相关的任务。控制系统13被配置为执行程序指令以执行本文所阐述的各种功能，例如诸如关于图4和图5所示出的和所描述的功能。应当理解本文档来自技高网...

【技术保护点】
一种机器人系统，包括：机器人，具有相关联的工作空间；视觉传感器，被构造成获得机器人场景的3D图像，所述机器人场景包括位于所述工作空间中的工件；以及控制系统，被通信地耦接到所述视觉传感器和所述机器人，其中所述控制系统被配置为执行程序指令，以通过将所述图像分割成第一图像部分和第二图像部分、以及通过存储与所述第一图像部分相关联的图像数据，来对所述图像进行过滤，所述第一图像部分基本上仅包含所述机器人场景内的感兴趣区，所述第二图像部分包含所述机器人场景的所述感兴趣区外部的剩余部分，其中所述控制系统操作性地以基于与所述第一图像部分相关联的所述图像数据来控制所述机器人的移动，以对所述工件执行作业。

【技术特征摘要】
【国外来华专利技术】2015.01.29 US 62/109,3371.一种机器人系统，包括：机器人，具有相关联的工作空间；视觉传感器，被构造成获得机器人场景的3D图像，所述机器人场景包括位于所述工作空间中的工件；以及控制系统，被通信地耦接到所述视觉传感器和所述机器人，其中所述控制系统被配置为执行程序指令，以通过将所述图像分割成第一图像部分和第二图像部分、以及通过存储与所述第一图像部分相关联的图像数据，来对所述图像进行过滤，所述第一图像部分基本上仅包含所述机器人场景内的感兴趣区，所述第二图像部分包含所述机器人场景的所述感兴趣区外部的剩余部分，其中所述控制系统操作性地以基于与所述第一图像部分相关联的所述图像数据来控制所述机器人的移动，以对所述工件执行作业。2.根据权利要求1所述的机器人系统，其中所述控制系统被配置为执行程序指令，以将所述视觉传感器校准到机器人坐标系。3.根据权利要求1所述的机器人系统，其中所述机器人场景的所述图像包括机器人场景图像数据；并且其中所述控制系统被配置为执行程序指令，以将所述机器人场景图像数据转换到机器人坐标系。4.根据权利要求3所述的机器人系统，其中所述控制系统被配置为执行所述程序指令，以在将所述机器人场景图像数据转换到所述机器人坐标系之后，对所述图像进行分割。5.根据权利要求1所述的机器人系统，其中所述感兴趣区是所述工件；并且其中所述第一图像部分基本上仅包括所述工件和工件位移范围。6.根据权利要求1所述的机器人系统，其中所述感兴趣区是所述工件；并且其中所述第一图像部分基本上仅包括所述工件。7.根据权利要求1所述的机器人系统，其中所述控制系统被配置为执行程序指令，以在所述工件周围创建空间带；其中所述感兴趣区是所述工件和所述空间带；并且其中所述第一图像部分基本上仅包括所述工作空间和所述空间带。8.根据权利要求1所述的机器人系统，其中所述感兴趣区是所述工件；并且其中所述第一图像部分基本上仅包括所述工作空间。9.根据权利要求1所述的机器人系统，其中所述控制系统被配置为执行程序指令，以在所述工作空间周围创建空间带；其中所述感兴趣区是所述工件、所述工作空间和所述空间带；...

【专利技术属性】
技术研发人员：R·博卡，T·A·福尔布里吉，
申请(专利权)人：ABB瑞士股份有限公司，
类型：发明
国别省市：瑞士,CH