在根据演示的示教中的双手检测制造技术

一种用于在根据人类演示的机器人示教中进行双手检测的方法。将演示者的手和工件的相机图像提供给第一神经网络，该第一神经网络根据该图像确定人类演示者的左手和右手的身份，并且还提供所识别的手的裁剪子图像。使用其中左手和右手被预先识别的图像来训练第一神经网络。然后，将裁剪子图像提供给第二神经网络，第二神经网络根据图像检测左手和右手两者的姿态，其中，如果利用右手图像训练第二神经网络，则在手姿态检测之前和之后水平地翻转左手的子图像。手姿态数据被转换为机器人夹持器姿态数据，并用于通过人类演示来示教机器人执行操作。操作。操作。

【技术实现步骤摘要】
在根据演示的示教中的双手检测


[0001]本公开涉及工业机器人编程领域，并且更具体地，涉及用于根据相机图像确定人类演示者的左手和右手的身份，然后根据图像检测左手和右手两者的姿态的方法，其中手身份和姿态数据用于通过人类演示来示教或编程机器人执行操作。

技术介绍

[0002]使用工业机器人重复地执行各种各样的制造、组装和材料移动操作是众所周知的。然而，使用传统方法示教机器人执行即使相当简单的操作
‑
诸如拾取在传送机上处于随机位置和取向的工件并且将工件移动到容器
‑
也存在问题。
[0003]一种传统的机器人示教方法包括操作者使用示教器来指示机器人进行增量移动
‑‑
例如“在X方向上慢进”或“绕本地Z轴旋转夹持器"
‑‑
直到机器人及其夹持器处于正确的位置和取向以执行操作，然后存储操作数据，并且多次重复这个。另一种已知的示教机器人执行操作的技术是结合人类演示使用运动捕捉系统。因为已经发现使用示教器和运动捕捉系统的机器人编程是非直观的、耗时的和/或昂贵的，所以已经开发了用于根据使用相机图像的人类演示来进行机器人示教的技术。
[0004]在一些类型的操作中，例如组装包括许多零件的装置，人自然地使用两只手来执行操作任务。为了在这些情况下使机器人示教准确，需要可靠地检测人类演示者的左右手。一种用于确定人类演示者的左手和右手的身份的已知方法涉及提供人类的整个身体的相机图像，执行图像的拟人分析以识别左臂和右臂，并且然后基于手臂身份来识别左手和右手。然而，该技术需要与手姿态检测所需的图像分开的相机图像来识别手臂/手，并且还需要额外的计算步骤来进行身体骨骼分析。
[0005]可以用于识别人类演示者的左手和右手的其他技术涉及要求每只手保持相对于另一只手的相对位置，或者要求每只手保持在用于所有示教操作的位置边界内。然而，这些技术对人类演示者的自然手移动施加了无法维持的约束，并且如果违反约束则存在手的错误识别的风险。
[0006]鉴于上述情况，需要一种改进的技术，用于在根据人类演示的机器人示教中进行双手检测。

技术实现思路

[0007]根据本公开的教导，描述和说明了一种用于在根据人类演示的机器人示教中进行双手检测的方法。将演示者的手和工件的相机图像提供给第一神经网络，该第一神经网络根据该图像确定人类演示者的左手和右手的身份，并且还提供所识别的手的裁剪子图像。使用其中左手和右手被预先识别的图像来训练第一神经网络。然后，将裁剪子图像提供给第二神经网络，第二神经网络根据图像检测左手和右手两者的姿态，其中，如果利用右手图像训练第二神经网络，则在手姿态检测之前和之后水平地翻转左手的子图像。手姿态数据被转换为机器人夹持器姿态数据，并用于通过人类演示来示教机器人执行操作。
[0008]结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。
附图说明
[0009]图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹持器的对应位置和取向的示意图；
[0010]图2是根据本公开的实施例的如何分析人手的图像以确定磁性或吸盘类型机器人夹持器的对应位置和取向的示意图；
[0011]图3是根据本公开的实施例的用于根据人类演示者的双手的相机图像来标识手的位置和姿态的系统和步骤的示意图；
[0012]图4是根据本公开的实施例的用于训练在图3的系统中使用的手检测和识别神经网络的步骤的示意图；
[0013]图5是根据本公开的实施例的用于根据人类演示者的双手的相机图像来识别手位置和姿态的方法的流程图；
[0014]图6是根据本专利技术的实施例的用于使用人类演示者的手和对应工件两者的相机图像来示教机器人执行操作的方法的流程图；以及
[0015]图7是根据本公开的实施例的用于基于通过使用双手的人类演示的示教进行机器人操作的系统的示意图。
具体实施方式
[0016]以下针对在通过人类演示来示教机器人时的双手检测的本公开的实施例的讨论本质上仅仅是示例性的，并且决不旨在限制所公开的设备及技术或它们的应用或使用。
[0017]众所周知，使用工业机器人进行各种制造、组装和材料移动操作。一种已知类型的机器人操作有时被称为“拾取、移动和放置”，其中机器人从第一位置拾取零件或工件，移动零件并将其放置在第二位置。第一位置通常是传送带，其中随机取向的零件被流式运输，例如刚刚从模具取出的零件。第二位置可以是导致不同操作的另一传送器，或者可以是装运容器，但是在任一情况下，零件需要放置在特定位置处并且在第二位置处以特定姿态取向。其它机器人操作
‑
例如将多个零件组装到诸如计算机机箱的设备中
‑
类似地需要从一个或多个源拾取零件并将其放置在精确的位置和取向。
[0018]为了执行上述类型的操作，通常使用相机来确定来料零件的位置和取向，并且必须示教机器人使用指型夹持器或磁性或吸盘夹持器以特定方式抓持零件。传统上，示教机器人如何根据零件的取向来抓持零件是由人类操作者使用示教器来完成的。示教器由操作员使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕本地Z轴旋转夹持器”，直到机器人及其夹持器处于正确的位置和取向以抓持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的示教器命令被用于限定“移动”和“放置”操作。然而，尤其是对于非专业操作员来说，经常发现使用示教器对机器人进行编程是非直观的、容易出错的和耗时的。
[0019]另一种已知的示教机器人执行拾取、移动和放置操作的技术是使用运动捕捉系统。运动捕捉系统包括多个相机，这些相机排列在工作单元周围，以在操作员操纵工件时记
录操作员和工件的位置和取向。操作员和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作员和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且精确设置和配置以使得所记录的位置准确是困难且耗时的。
[0020]已经开发了克服上述现有机器人示教方法的限制的技术，包括使用单个相机来捕捉执行自然零件抓持和移动动作的人的图像的方法，其中分析人的手的图像及其相对于零件的位置以生成机器人编程命令。
[0021]图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹持器的对应位置和取向的示意图。手110具有被限定为附接到其上的手坐标系120。手110包括具有拇指指尖114的拇指112和具有食指指尖118的食指116。拇指112和食指116上的其他点也可以在相机图像中被识别，诸如拇指112和食指116的基部的位置以及拇指112和食指116的第一指节的位置等。
[0022]点122位于拇指112的基部和食指116的基部之间的中间，其中点122被限定为手坐标系120的原点。手坐标系120的取向可以使用适于与机器人夹持器取向相关的任何惯例来限定。例如，手坐标系120的Y轴可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像中的双手检测的方法，所述方法包括：提供包括人类的左手和右手的图像；使用在具有处理器和存储器的计算机上运行的第一神经网络来分析所述图像，以确定所述左手和所述右手的身份和在所述图像中的位置；创建左手子图像和右手子图像，其中，从所述图像裁剪所述子图像中的每一个；将所述子图像提供给在所述计算机上运行的第二神经网络，包括水平地翻转所述左手子图像或所述右手子图像；通过所述第二神经网络分析所述子图像以确定所述左手和所述右手上的多个关键点的三维(3D)坐标；以及由机器人示教程序使用所述关键点的所述3D坐标来限定夹持器姿态，包括水平翻转所述左手或所述右手上的所述关键点的所述坐标。2.根据权利要求1所述的方法，其中，所述图像由二维(2D)数字相机提供。3.根据权利要求1所述的方法，其中，所述第一神经网络被训练为在训练过程中区分所述左手和所述右手，在所述训练过程中，将其中左手和右手被预先识别的多个训练图像提供给所述第一神经网络。4.根据权利要求3所述的方法，其中，所述第一神经网络分析所述训练图像以识别左手和右手的区别特征，所述区别特征包括手指的曲率和相对位置。5.根据权利要求1所述的方法，其中，所述子图像中的每一个被裁剪为在预定的边界内包括所述左手或所述右手。6.根据权利要求1所述的方法，其中，水平地翻转所述左手子图像或所述右手子图像包括当使用右手的训练图像来训练所述第二神经网络时水平地翻转所述左手子图像，并且当使用左手的训练图像来训练所述第二神经网络时水平地翻转所述右手子图像。7.根据权利要求1所述的方法，其中，所述左手和所述右手上的所述多个关键点包括拇指指尖、拇指指节、四指指尖和四指指节。8.根据权利要求1所述的方法，其中，水平地翻转所述左手或所述右手上的所述关键点的所述坐标包括水平地翻转在由所述第二神经网络分析之前其子图像已被翻转的手上的所述关键点的所述坐标。9.根据权利要求8所述的方法，其中，水平翻转所述关键点的所述坐标包括水平翻转所述坐标跨越竖直平面以将所述坐标恢复到其在所述图像中的位置。10.根据权利要求1所述的方法，其中，所述图像还包括一个或多个工件，并且所述夹持器姿态以及工件位置和姿态被所述机器人示教程序用于创建用于机器人的工件拾取和放置指令。11.根据权利要求10所述的方法，其中，所述指令从所述计算机提供给机器人控制器，并且所述机器人控制器向所述机器人提供控制命令以执行工件操作。12.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：通过人类用双手演示对工件的操作；通过计算机分析演示对所述工件的所述操作的所述双手的相机图像，以创建包括根据所述双手的关键点的三维(3D)坐标计算的夹持器姿态的演示数据，其中所述关键点的所述3D坐标是通过第一神经网络和第二神经网络根据所...

【专利技术属性】
技术研发人员：王凯濛，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：