根据人类演示的机器人程序生成方法技术

一种用于使用力和视觉传感器基于人类演示来教导机器人执行操作的方法。所述方法包括视觉传感器，其在诸如拾取、移动和放置之类的操作的教导期间检测人的手和可选地工件的位置和姿态。位于工件下方或工具上的力传感器用于检测力信息。来自视觉和力传感器的数据连同其它可选输入一起被用于教导被教导的操作的运动和状态改变逻辑。公开了用于确定诸如从接近到夹持的转换之类的状态改变逻辑的若干技术。还公开了用于改善运动编程以去除手的无关运动的技术。然后，根据手位置和定向数据以及状态转换生成机器人编程命令。状态转换生成机器人编程命令。状态转换生成机器人编程命令。

【技术实现步骤摘要】
根据人类演示的机器人程序生成方法


[0001]本专利技术涉及工业机器人编程领域，更具体地，涉及一种通过人类演示对机器人进行编程以执行工件拾取、移动和放置操作的方法，包括视觉和力传感器以跟踪人手和工件两者，其中所述方法使用传感器输入来教导运动和状态改变逻辑，并根据运动和状态改变生成机器人编程命令。

技术介绍

[0002]使用工业机器人重复地执行大范围的制造、装配和材料移动操作是众所周知的。然而，使用传统方法教导机器人执行诸如在传送带上以随机位置和定向拾取工件并将工件移动到运输容器之类的甚至相当简单的操作是不直观、耗时和/或昂贵的。
[0003]传统上，已经由人类操作者使用教导器来教导机器人执行上述类型的拾取和放置操作。教导器由操作者使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕本地Z轴旋转夹具
”‑
直到机器人及其夹具处于正确的位置和定向以夹持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的教导器命令被用于定义“移动”和“放置”操作。然而，经常发现使用教导器对机器人进行编程是不直观的、容易出错的且耗时的，尤其是对于非专业操作者而言。
[0004]另一种已知的教导机器人执行拾取和放置操作的技术是使用运动捕捉系统。运动捕捉系统由多个相机组成，这些相机排列在工作单元周围，以在操作者操纵工件时记录操作者和工件的位置和定向。操作者和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作者和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且难以且耗时地精确设置和配置以使得所记录的位置是准确的。
[0005]根据人类演示来教导机器人编程的其它现有系统表现出各种限制和缺点。一种这样的系统需要使用装有传感器的特殊手套来确定手和工件动作。其它系统视觉上跟踪手或工件，但是由于手被工件视觉上遮挡、不能解读手速度转换或其它原因，难以确定准确的夹具命令。
[0006]鉴于上述情况，需要一种改善的机器人教导技术，其对于人类操作者执行来说是简单且直观的，并且其可靠地捕获诸如抓取和松开之类的运动和动作。

技术实现思路

[0007]根据本公开的教导，描述和示出了一种用于使用力和视觉传感器基于人类演示教导机器人来执行操作的方法。所述方法包括视觉传感器，其在诸如拾取、移动和放置之类的操作的教导期间检测人类的手和可选地工件的位置和姿态。位于工件下方或工具上的力传感器用于检测力信息。来自视觉和力传感器的数据连同其它可选输入一起被用于教导被教导的操作的运动和状态改变逻辑。公开了用于确定诸如从接近到夹持的转换之类的状态改变逻辑的若干技术。还公开了用于改进运动编程以去除手的无关运动的技术。然后，根据手的位置和定向以及状态转换生成机器人编程命令。
[0008]结合附图，根据以下描述和所附权利要求，当前公开的系统和方法的附加特征将变得显而易见。
附图说明
[0009]图1是根据本公开的实施例的用于根据人类演示生成机器人程序的系统的图示；
[0010]图2是根据本公开的实施例的人类演示者的手的移动以及机器人运动和状态转换逻辑教导的对应元件的图示；
[0011]图3是示出根据本公开的实施例的机器人程序生成方法的逻辑教导部分中使用的状态和转换的状态图300；
[0012]图4是根据本公开的实施例的用于机器人程序生成中的逻辑教导的第一技术的图示，其中，使用人类演示者的手和对象之间的距离来触发状态转换；
[0013]图5是根据本公开的实施例的用于机器人程序生成中的逻辑教导的第二技术的图示，其中，使用人类演示者的第二只手的手势来触发状态转换；
[0014]图6是根据本公开的实施例的用于机器人程序生成中的逻辑教导的第三技术的图示，其中，使用由人类演示者的第二只手的按钮按压来触发状态转换；
[0015]图7是根据本公开的实施例的用于机器人程序生成中的逻辑教导的第四技术的图示，其中，使用人类演示者的口头命令来触发状态转换；
[0016]图8是根据本公开的实施例的用于机器人程序生成中的逻辑教导的第五技术的图示，其中，分析并使用力传感器输入来触发状态转换；
[0017]图9是根据本公开的实施例的用于机器人程序生成中的运动改进的两种技术的图示，其中，演示者的手的不想要的无关运动被从运动程序中除去；
[0018]图10是根据本公开的实施例的用于机器人程序生成中的夹持姿态改进的技术的图示，其中本地夹具轴线被定向成垂直于对象的检测表面；以及
[0019]图11是根据本公开的实施例的用于根据人类演示生成机器人运动程序的方法的流程图1100。
具体实施方式
[0020]以下针对通过人类演示的机器人程序生成的本公开的实施例的讨论本质上仅仅是示例性的，并且决不旨在限制所公开的设备和技术或者它们的应用或使用。
[0021]众所周知，使用工业机器人进行各种制造、装配和材料移动操作。一种这样的机器人操作被称为“拾取、移动和放置”，其中机器人从第一位置拾取零件或工件，移动零件并将其放置在第二位置。第一位置可以是传送带，在其中随机定向的零件是流动的，例如刚刚从模具取出的零件。第二位置可以是运输容器，在其中零件需要以特定位置和姿态放置。另一个示例涉及机器人拾取部件并在产品装配操作中将其安装。
[0022]为了执行上述类型的拾取、移动和放置操作，通常使用相机来确定要拾取的零件的位置和定向，并且必须教导机器人使用指定的夹具以特定的方式夹持零件，所述指定的夹具是诸如指型夹具、平行爪夹具或者磁性或吸盘夹具。传统上，教导机器人如何根据零件的定向来夹持零件是由人类操作者使用教导器来完成的。教导器由操作者使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕本地Z轴旋转夹具
”‑
直到机器人及其夹具处
于正确的位置和定向以夹持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的教导器命令被用于定义“移动”和“放置”操作。然而，经常发现使用教导器对机器人进行编程是不直观的、容易出错的和耗时的，尤其是对于非专业操作者而言。
[0023]另一种已知的教导机器人执行拾取、移动和放置操作的技术是运动捕捉系统的使用。运动捕捉系统由多个相机构成，这些相机排列在工作单元周围，以在操作者操纵工件时记录人类操作者和工件的位置和定向。操作者和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作者和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且难以且耗时地精确设置和配置以使得所记录的位置是准确的。
[0024]本公开通过提供一种技术克服了现有机器人教导方法的限制，该技术使用力和视觉传感器来记录关于人类演示者的手和工件的信息，其包括运动和状态转换逻辑，并且使用所记录的信息来生成具有拾取、移动和放置运动以及对应的抓取和松开命令的机器人程序。该技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于根据人类演示来创建机器人运动程序的方法，所述方法包括：通过人类演示者的手演示在工件上的操作；通过具有处理器和存储器的计算机来分析演示在所述工件上的所述操作的所述手的多个相机图像，以创建手运动数据；通过所述计算机来分析所述演示的多个相机图像、来自力传感器的信号、来自麦克风的信号和来自输入信号装置的信号中的一个或多个，以创建逻辑数据；以及基于所述手运动数据和所述逻辑数据生成所述机器人运动程序，所述程序包括使机器人操纵夹具以在所述工件上执行所述操作的指令。2.根据权利要求1所述的方法，其中，所述多个相机图像由单个二维(2D)或三维(3D)相机拍摄。3.根据权利要求1所述的方法，其中，分析演示所述操作的所述手的多个相机图像包括识别所述手上的多个点的三维(3D)坐标位置，所述多个点包括拇指和食指中的每一个的指尖、根部指节和第二指节。4.根据权利要求3所述的方法，其中，生成机器人运动程序包括：对于由所述多个相机图像中的一个相机图像描绘的多个时间步中的每一个时间步，基于所述手上的所述多个点的3D坐标位置计算手坐标框架，将所述手坐标框架转换为定义夹具的位置和定向的夹具坐标框架，以及使用在所述多个时间步处的所述夹具坐标框架生成所述机器人运动程序。5.根据权利要求1所述的方法，其中，创建所述逻辑数据包括：在所述操作期间检测状态转换，使用所述状态转换来使夹具激活和停用命令与所述手运动数据中的特定时间步同步，以及将所述夹具激活和停用命令包括在所述机器人运动程序中。6.根据权利要求5所述的方法，其中，检测状态转换包括分析所述手和所述工件的所述多个相机图像以确定手中心点和工件中心点之间的距离。7.根据权利要求6所述的方法，其中，拾取状态转换由所述手中心点和所述工件中心点之间的距离降到预定阈值以下来触发，从所述拾取状态的移动状态转换由所述手中心点从一个时间步到下一个时间步的运动来触发，并且从所述移动状态的放置状态转换由所述手中心点与所述工件中心点之间的所述距离超过所述预定阈值或新计算的阈值来触发。8.根据权利要求5所述的方法，其中，检测状态转换包括：分析所述人类演示者的第二只手的多个相机图像，以及当检测到所述第二只手的预定手势时触发状态转换。9.根据权利要求5所述的方法，其中，检测状态转换包括：从配置为登记所述人类演示者的第二只手的按钮按压的设备接收信号，以及当检测到所述按钮按压时触发状态转换。10.根据权利要求5所述的方法，其中，检测状态转换包括：从配置为检测来自所述人类演示者的口头命令的麦克风接收信号，以及当检测到预定口头命令时触发状态转换，包括针对词语拾取、移动和放置中的每一个的对应的状态转换。11.根据权利要求5所述的方法，其中，检测状态转换包括：从力传感器接收信号，所述力传感器配置为在所述操作期间检测所述工件上的力，以及基于来自所述力传感器的所述信号触发状态转换，包括检测到峰值，随后是来自所述力传感器的所述信号中的下降，以触发拾取状态转换或放置状态转换。12.根据权利要求1所述的方法，其中，创建所述手运动数据包括：在生成所述机器人运动程序之前改进所述手运动数据，包括对所述手运动数据执行最小二乘拟合以创建改进的
手运动数据，以及通过所述改进的手运动数据计算样条插值以生成所述机器人运动程序。13.根据权利要求1所述的方法，其中，创建所述手运动数据包括：在生成所述机器人运动程序之前改进所述手运动数据，包括用分段线性函数替换所述手运动数据，所述分段线性函数具有从起始点向上的垂直直线段，随后是通过所述手运动数据中的最高点的水平直线段，随后是向下至结束点的垂直直线段，以及，使用所述分段线性函数来生成所述机器人运动程序。14.根据权利要求1所述的方法，其中，创建所述手运动数据包括：在创建所述机器人运动程序之前改进所述手运动数据，包括用根据所述工件的表面的法线计算的夹具轴线来替换根据所述手运动数据确定的夹具轴线。15.根据权利要求1所述的方法，还包括：通过机器人控制器使用所述机器人运动程序来使所述机器人操纵所述夹具以在所述工件上执行所述操作。16.一种用于根据人类演示来创建机器人运动程序的方法，所述方法包括：定义操作的状态机模型，所述状态机...

【专利技术属性】
技术研发人员：王凯濛，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：