通过利用视觉伺服的演示的机器人教导制造技术

一种用于基于利用来自相机的图像的人类演示来教导和控制机器人执行操作的方法。该方法包括演示阶段，其中相机检测人手抓取并移动工件以限定工件的机器人移动的粗略轨迹。在演示阶段期间收集的工件上的线特征或其它几何特征用于基于图像的视觉伺服(IBVS)接近，其改进工件的最终放置位置，其中IBVS控制在机器人的最终接近期间接管工件放置。使用移动对象检测来自动定位2D图像空间中的对象和手的位置，然后通过使用手关键点检测移除属于手的线特征来识别工件上的线特征。征来识别工件上的线特征。征来识别工件上的线特征。

【技术实现步骤摘要】
通过利用视觉伺服的演示的机器人教导


[0001]本专利技术涉及工业机器人编程领域，更具体地，涉及一种用于对机器人进行编程以执行工件拾取/移动/放置操作的方法，包括演示阶段，其中相机检测人手抓取并移动工件以限定粗略轨迹，并且在演示阶段期间收集的工件上的几何特征被用于工件的最终放置位置的基于图像的视觉伺服改进。

技术介绍

[0002]使用工业机器人重复地执行大范围的制造、组装和材料移动操作是众所周知的。然而，使用传统方法教导机器人执行甚至相当简单的操作
‑
诸如在传送机上以随机位置和定向拾取工件并且将工件移动到料箱或第二传送机
‑
是无知觉、耗时和/或昂贵的。
[0003]传统上，机器人被教导为由人类操作者使用示教盒来执行上述类型的拾取和放置操作。示教盒由操作者使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕局部Z轴旋转夹具”，直到机器人及其夹具处于正确的位置和方位以夹持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的示教盒命令被用于定义“移动”和“放置”操作。然而，经常发现使用示教盒对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作者。
[0004]另一种已知的教导机器人执行拾取和放置操作的技术是使用运动捕捉系统。运动捕捉系统由多个相机构成，这些相机排列在工作单元周围，以在操作者操纵工件时记录操作者和工件的位置和定向。操作者和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作者和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且难以且耗时地精确设置和配置以使得所记录的位置是准确的。
[0005]通过人类演示进行机器人教导也是已知的，但是可能缺乏精确放置工件所需的位置精度，而这对于诸如元件安装和组装的应用是需要的。
[0006]鉴于上述情况，需要一种改进的机器人教导技术，其对于人类操作者来说执行起来简单且直观，并且具有机器人安装和装配操作所需的精度。

技术实现思路

[0007]根据本公开的教导，公开了一种用于基于利用来自相机的图像的人类演示来教导和控制机器人执行操作的方法。该方法包括演示阶段，其中相机检测人手抓取并移动工件以限定工件的机器人移动的粗略轨迹。在演示阶段期间收集的工件上的线特征或其它几何特征用于基于图像的视觉伺服(IBVS)接近，其改进工件的最终放置位置，其中IBVS控制在机器人的最终接近期间接管工件放置。使用移动对象检测来自动定位2D图像空间中的对象和手的位置，然后通过使用手关键点检测移除属于手的线特征来识别工件上的线特征。
[0008]结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。
附图说明
[0009]图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹具的对应位置和定向的图示；
[0010]图2是根据本公开的实施例的用于使用人手和工件的相机图像教导机器人来执行拾取和放置操作的系统和步骤的图示；
[0011]图3是根据本公开的实施例的机器人使用工件的相机图像和先前通过人手演示教导的编程来执行拾取和放置操作的系统和步骤的图示；
[0012]图4是示出根据本公开的实施例的通过基于图像的视觉伺服的人类演示进行机器人教导的技术的基本概念的图示；
[0013]图5A是根据本公开的实施例的正由人类演示者将工件安装在组件中的图像，并且图5B是来自图5A的图像的裁剪版本，其示出已经被识别用于基于图像的视觉伺服的线特征；
[0014]图6是示出根据本公开的实施例的通过基于图像的视觉伺服的人类演示进行机器人教导的技术的细节的图示；以及
[0015]图7是根据本公开的实施例的通过利用基于图像的视觉伺服的人类演示进行机器人教导的方法的流程图，该方法包括演示阶段和机器人执行阶段。
具体实施方式
[0016]以下对本公开的实施例的讨论涉及通过利用基于图像的视觉伺服的人类演示来教导机器人，以下讨论本质上仅仅是示例性的，并且决不旨在限制所公开的设备和技术或者它们的应用或使用。
[0017]众所周知，使用工业机器人进行各种制造、装配和材料移动操作。一种已知类型的机器人操作有时被称为“拾取、移动和放置”，其中机器人从第一位置拾取部件或工件，移动部件并将其放置在第二位置。第一位置可以是传送带，其中随机定向的部件是流动的，例如刚刚从模具取出的部件。第二位置可以是导致不同操作的另一传送带，或者可以是装运料箱，但是在任一情况下，部件需要放置在特定位置处并且在第二位置处以特定姿态定向。
[0018]为了执行上述类型的拾取、移动和放置操作，通常使用相机来确定到来的部件的位置和定向，并且必须教导机器人使用指型夹具或磁性或吸盘型夹具以特定方式抓取部件。传统上，教导机器人如何根据部件的定向来抓取部件是由人类操作者使用示教盒来完成的。示教盒由操作者使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕局部Z轴旋转夹具”，直到机器人及其夹具处于正确的位置和定向以夹持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的示教盒命令被用于定义“移动”和“放置”操作。然而，经常发现使用示教盒对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作者。
[0019]另一种已知的教导机器人执行拾取、移动和放置操作的技术是使用运动捕捉系统。运动捕捉系统由多个相机组成，这些相机排列在工作单元周围，以在操作者操纵工件时记录操作者和工件的位置和定向。操作者和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作者和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且难以且耗时地精确设置和配置以使得所记录的位置是准确
的。
[0020]通过人类演示进行机器人教导也是已知的，其中一个或多个相机捕捉将工件从开始(拾取)位置移动到目的地(放置)位置的人手的图像。通过人类演示进行机器人教导的技术在2020年08月04日提交的、标题为通过人类演示进行机器人教导、序列号为16/843,185并与本申请共同转让的美国专利申请中公开，并且在此通过引用将其全部内容并入。上述申请在下文中被称为“'185申请”。
[0021]当在放置工件时不需要精细的精度时，'185申请的技术工作良好。然而，在精确放置应用中，例如将元件自动安装到组件中，手中工件的抓持姿态的不确定性会引起问题。因此，需要一种用于提高工件放置的精度的技术。本专利技术通过使用基于图像的视觉伺服(IBVS)来改进工件放置到组件中的目标位置来实现此目的，且通过自动识别属于工件的线特征来进一步增强IBVS接近。
[0022]图1是如'185申请中所公开的以及在本公开的实施例中使用的如何分析人手的图像以确定指型机器人夹具的对应位置和定向的图示。手110具有被限定为附接到其上的手坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：通过人手演示在工件上的操作；通过计算机分析所述手和所述工件的相机图像以创建演示数据；基于在所述演示数据中识别的手坐标框架，在每个图像帧间隔处将新点添加到轨迹；在每个图像帧间隔处识别所述演示数据中的所述工件上的几何特征；当完成所述操作的演示时，最终确定所述轨迹并捕捉所述几何特征的目标位置；通过机器人控制器执行程序，以使具有夹具的机器人使用所述轨迹在所述工件上执行所述操作；当确定在所述轨迹中已经到达最终接近位置时，开始基于图像的视觉伺服(IBVS)；以及由所述机器人控制器使用IBVS控制来操纵所述夹具，直到所述工件上的所述几何特征的当前位置与所述几何特征的所述目标位置匹配。2.根据权利要求1所述的方法，其中所述工件上的所述几何特征包括点、线、弧、椭圆、圆柱和不规则形状中的一个或多个。3.根据权利要求1所述的方法，其中，在所述相机图像的图像平面坐标中识别所述工件上的所述几何特征、所述几何特征的所述当前位置和所述目标位置。4.根据权利要求1所述的方法，其中，当确定所述工件、所述手或两者已经停止移动时，完成所述操作的演示。5.根据权利要求1所述的方法，其中，识别所述演示数据中的所述工件上的几何特征包括使用移动对象检测来裁剪每个图像帧，以仅包括所述图像帧中的自前一图像帧以来已经改变的部分。6.根据权利要求5所述的方法，其中，对二维(2D)颜色/强度数据和三维(3D)深度数据两者执行所述移动对象检测，并且所述图像帧被裁剪为包括在所述2D数据和所述3D数据两者中改变的像素。7.根据权利要求1所述的方法，其中，识别所述演示数据中的所述工件上的几何特征包括在识别所述工件上的几何特征之前移除所述人手的几何特征。8.根据权利要求7所述的方法，其中，移除所述人手的几何特征包括移除位于所述手的食指和小指之间的几何特征，以及移除位于所述手的所述食指或拇指的预定距离公差内的几何特征。9.根据权利要求1所述的方法，其中，基于在所述演示数据中识别的所述手的两个或更多个手指上的关键点来计算所述手坐标框架，其中，所述关键点包括指关节。10.根据权利要求1所述的方法，其中，使用IBVS来操纵所述夹具包括基于所述几何特征的所述当前位置和所述目标位置之间的图像平面坐标的差来生成机器人控制信号。11.根据权利要求1所述的方法，其中，演示所述操作包括经由机械特征的接合将所述工件安装在组件中，并且由所述机器人控制器进行的所述IBVS控制致使所述夹具经由所述机械特征的接合将所述工件安装在所述组件中。12.根据权利要求11所述的方法，还包括：连续地重复执行所述程序，以及通过所述控制器使用IBVS控制在所述工件和所述组件的新的实例上操纵所述夹具。13.一种用于通过人类演示对机器人进行编程以执行安装操作的方法，所述方法包括：
通过人手演示工件到组件中的安装操作；通过计算机分析所述手和所述工件的...

【专利技术属性】
技术研发人员：王凯濛，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：