根据双手人类演示的双臂机器人教导制造技术

一种用于根据人类演示中的双手检测进行双臂机器人教导的方法。将演示者的手和工件的相机图像提供给第一神经网络，所述第一神经网络根据图像确定左和右手的身份，并且还提供所识别的手的裁剪的子图像。将裁剪的子图像提供给第二神经网络，所述第二神经网络根据图像检测左和右手的姿态。整个操作的双手姿态数据被转换为机器人夹具姿态数据，并用于教导两个机器人臂在工件上执行操作，其中，每个手的运动被分配给一个机器人臂。根据相机图像的边缘检测可以用于改进机器人运动，以便针对需要精度的诸如将零件插入到孔中的任务改善零件定位。的诸如将零件插入到孔中的任务改善零件定位。的诸如将零件插入到孔中的任务改善零件定位。

【技术实现步骤摘要】
根据双手人类演示的双臂机器人教导
相关申请的交叉引用
[0001]本申请是2020年9月11日提交的、标题为“在根据演示的教导中的双手检测”、序列号为17/018,674的美国专利技术专利申请的部分继续。


[0002]本公开涉及工业机器人编程领域，并且更具体地涉及一种用于根据相机图像的序列确定人类演示者的左和右手的身份和姿态的方法，从而产生手运动轨迹，所述手运动轨迹然后针对动作点精度和路径平滑度被改进，并且改进的运动轨迹用于通过人类演示对双臂机器人系统进行教导或编程以执行操作。

技术介绍

[0003]使用工业机器人重复地执行大范围的制造、装配和材料移动操作是众所周知的。然而，使用传统方法教导机器人执行甚至相当简单的操作
‑
诸如在传送机上以随机位置和定向拾取工件并且将工件移动到容器
‑
已经是有困难的。
[0004]一种传统的机器人教导方法包括操作者使用教导器来指示机器人进行增量移动
‑
例如“在X方向上慢进”或“围绕本地Z轴旋转夹具
”‑
直到机器人及其夹具处于正确的位置和定向以执行操作，然后存储操作数据，并将其重复多次。另一种已知的教导机器人执行操作的技术是结合人类演示使用运动捕捉系统。因为已经发现使用教导器和运动捕捉系统的机器人编程是非直观的、耗时的和/或昂贵的，所以已经开发了使用相机图像根据人类演示来进行机器人教导的技术。
[0005]在一些类型的操作，例如装配包括许多部件的设备中，人自然地使用两只手来执行操作任务。为了在这些情况下使机器人教导准确，需要可靠地检测人类演示者的左和右手。一种用于确定人类演示者的左和右手的身份的已知方法涉及提供人的整个身体的相机图像，执行图像的拟人分析以识别左和右臂，并且然后基于臂身份来识别左和右手。然而，这种技术需要与手姿态检测所需的图像分开的相机图像来识别臂/手，并且还需要用于身体骨架分析的附加计算步骤。
[0006]可以用于识别人类演示者的左和右手的其他技术涉及要求每只手保持相对于另一只手的相对位置，或者要求每只手保持在用于所有教导操作的位置边界内。然而，这些技术对人类演示者的自然手移动施加了无法维持的约束，并且如果违反约束则存在手的错误识别的风险。
[0007]此外，一些机器人零件移动或产品装配操作使用两个机器人臂，其中两个机器人臂同时执行两个不同的操作，或者两个机器人臂在诸如部件的拾取、放置和安装的任务上协作。双臂机器人教导遭受上述问题的困扰
‑
使用传统方法是困难的和耗时的。当教导两个机器人臂的运动时，这些问题实际上被加剧。
[0008]鉴于上述情况，需要一种用于在人类演示中使用双手检测的双臂机器人教导的有效且可靠的技术。

技术实现思路

[0009]根据本公开的教导，描述和示出了一种用于根据人类演示中的双手检测进行双臂机器人教导的方法。将演示者的手和工件的相机图像提供给第一神经网络，所述第一神经网络根据图像确定左和右手的身份，并且还提供识别的手的裁剪的子图像。将裁剪的子图像提供给第二神经网络，所述第二神经网络根据图像检测左和右手的姿态。整个操作的双手姿态数据被转换为机器人夹具姿态数据，并用于教导两个机器人臂在工件上执行操作，其中，每个手的运动被分配给一个机器人臂。根据相机图像的边缘检测可以用于改进机器人运动，以便针对需要精度的诸如将零件插入到孔中的任务改善零件定位。
[0010]结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。
附图说明
[0011]图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹具的对应位置和定向的图示；
[0012]图2是根据本公开的实施例的如何分析人手的图像以确定磁性或吸盘型机器人夹具的对应位置和定向的图示；
[0013]图3是根据本公开的实施例的用于根据人类演示者的双手的相机图像来识别手位置和姿态的系统和步骤的图示；
[0014]图4是根据本公开的实施例的用于训练在图3的系统中使用的手检测和识别神经网络的步骤的图示；
[0015]图5是根据本公开的实施例的用于根据人类演示者的双手的相机图像来识别手位置和姿态的方法的流程图；
[0016]图6是根据本公开的实施例的用于使用人类演示者的双手和对应工件的相机图像来教导机器人执行操作的方法的流程图；
[0017]图7是根据本公开的实施例的用于基于使用双手通过人类演示进行的教导的机器人操作的系统的图示；
[0018]图8是根据本公开的实施例的用于根据人类演示者的双手的相机图像识别手位置和姿态、改进双手运动并将双手运动用于双机器人臂教导的系统和步骤的框图图示；
[0019]图9是如图8的各个步骤中的一个所指示的用于使用基于视觉的边缘检测的精确对象定位，以提供双手运动的改进的开始和目标位置的多步骤技术的图示；
[0020]图10是3D曲线图集，其示出了如图8的多个步骤中的一个所示的用于平滑或简化手运动轨迹的两种不同技术；
[0021]图11是根据本公开的实施例的用于基于使用双手通过人类演示进行的教导的双臂机器人操作的系统的图示；以及
[0022]图12是根据本公开的实施例的用于根据人类演示中的双手检测进行双臂机器人教导的方法的流程图。
具体实施例
[0023]以下针对通过双手人类演示的双臂机器人教导的本公开的实施例的讨论本质上
仅仅是示例性的，并且决不旨在限制所公开的设备和技术或者它们的应用或使用。
[0024]使用工业机器人进行各种制造、装配和材料移动操作是众所周知的。一种已知类型的机器人操作有时被称为“拾取、移动和放置”，其中机器人从第一位置拾取零件或工件，移动零件并将其放置在第二位置。第一位置通常是传送带，在其中随机定向的零件是流动的，例如刚刚从模具取出的零件。第二位置可以是导致不同操作的另一传送带，或者可以是装运容器，但是在任一情况下，零件需要放置在特定位置处并且在第二位置处以特定姿态定向。其它机器人操作
‑
例如将多个部件装配到诸如计算机机箱之类的设备中
‑
类似地需要从一个或多个源拾取零件并将其放置处于精确的位置和定向。
[0025]为了执行上述类型的操作，通常使用相机来确定到来的零件的位置和定向，并且必须教导机器人使用指型夹具或磁性或吸盘夹具以特定方式抓取零件。传统上，教导机器人如何根据零件的定向来抓取零件是由人类操作者使用教导器来完成的。教导器由操作者使用，以指示机器人进行增量移动
‑
例如“在X方向慢进”或“绕本地Z轴旋转夹具
”‑
直到机器人及其夹具处于正确的位置和定向以抓取工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的教导器命令被用于定义“移动”和“放置”操作。然而，经常发现使用教导器对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作者。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于根据双手人类演示进行双臂机器人教导的方法，所述方法包括：从三维(3D)相机提供多个图像的序列，所述多个图像包括演示在一个或多个工件上的操作的人的左手和右手；使用在具有处理器和存储器的计算机上运行的第一神经网络来分析所述多个图像中的每个图像，以确定所述左手和所述右手的在该图像中的身份和位置；通过在所述计算机上运行的第二神经网络，分析多个左手和右手子图像，以确定所述左手和所述右手上的多个关键点的坐标；将来自所述3D相机的像素深度数据应用于所述多个关键点以产生所述多个图像中的每个图像的3D左和右手姿态数据；将所述多个图像的序列的所述3D左和右手姿态数据组合成定义所述操作的3D左和右手运动轨迹；改进所述3D左和右手运动轨迹，包括使用边缘检测执行对象定位、用简化版本替换所述运动轨迹或两者；以及通过机器人控制器使用改进的3D左和右手运动轨迹控制双臂机器人系统执行所述操作，其中，所述左手运动轨迹由一个机器人臂执行，而所述右手运动轨迹由另一个机器人臂执行。2.根据权利要求1所述的方法，其中，所述第一神经网络在训练过程中被训练以区分所述左手和所述右手，在所述训练过程中，在其中左和右手被预先标识的多个训练图像被提供给所述第一神经网络，并且所述第一神经网络分析所述多个训练图像以识别左手和右手的区别特性，其包括手指的曲率和相对位置。3.根据权利要求1所述的方法，其中，所述多个子图像中的每一个被裁剪为在预定边距内包括左或右手。4.根据权利要求1所述的方法，其中，所述第二神经网络被使用左手或右手的多个训练图像训练。5.根据权利要求4所述的方法，其中，通过所述第二神经网络分析包括当所述第二神经网络被使用右手的训练图像训练时，在所述分析之前和之后水平地翻转所述左手子图像，并且当所述第二神经网络被使用左手的训练图像训练时，在所述分析之前和之后水平地翻转所述右手子图像。6.根据权利要求1所述的方法，其中，所述左和右手上的所述多个关键点包括拇指指尖、拇指指关节、手指指尖和手指指关节。7.根据权利要求1所述的方法，其中，夹具姿态基于所述3D左和右手运动轨迹中的所述3D左和右手姿态数据来确定。8.根据权利要求1所述的方法，其中，对象定位包括将所述一个或多个工件在所述演示之前的视觉图像转换为第一边缘图像，将所述一个或多个工件在所述演示之后的视觉图像转换为第二边缘图像，从所述第一边缘图像减去所述第二边缘图像以创建差异边缘图像，以及使用在所述差异边缘图像中识别的特征来确定所述一个或多个工件的对应特征的位置和定向。9.根据权利要求8所述的方法，其中，所述一个或多个工件的所述对应特征的位置和定向在所述演示之前和之后都被确定，并且在所述演示之前的所述对应特征的位置和定向用
于补偿所述3D左和右手运动轨迹中的对象拾取点，并且在所述演示之后的所述对应特征的位置和定向用于补偿所述3D左和右手运动轨迹中的对象放置点。10.根据权利要求1所述的方法，其中，用简化版本替换所述运动轨迹包括：使用最小二乘内插以根据原始的路径点集来创建新的路径点集，并且使用样条内插以计算通过所述新的路径点集的平滑的运动轨迹；或者，用简化轨迹代替所述运动轨迹中的每一个，所述简化轨迹包括使用路径反转点和峰值路径点构造的水平和垂直线段。11.根据权利要求1所述的方法，其中，所述机器人控制器接收包括所述一个或多个工件的机器人工作空间的多个图像，并且使用所述改进的3D左和右手运动轨迹来控制所述双臂机器人系统执行所述操作。12.根据权利要求11所述的方法，其中，所述机器人控制器变换所述改进的3D左和右手运动轨迹，以使所述运动轨迹中的动作点与所述一个或多个工件在所述机器人工作空间的所述多个图像中的位置匹配，其中，所述动作点包括在其处夹具抓取、松开或按压所述一个或多个工件中的一个的点。13.一种用于通过双手人类演示对双臂机器人系统进行编程以执行操作的方法，所述方法包括：通过人使用双手演示在工件上的所述操作；通过计算机分析演示在所述工件上的所述操作的所述双手的多个相机图像，以创建包括夹具姿态的演示数据，所述夹具姿态是根据所述双手的关键点的三维(3D)坐标计算的，其中所述关键点的所述3D坐标通过第一神经网络和第二神经网络根据所述多个图像确定，所述第一神经网络用于识别所述多个图像中的左和右手，所述第二神经网络用于计算所识别的左和右手的子图像中的3D坐标；改进所述演示数据，包括使用边缘检测执行对象定位以补偿动作点、用简化版本替换所述演示数据或两者；基于所述演示数据生成使所述双臂机器人系统在所述工件上执行所述操作的机器人运动命令，其中，一个机器人臂执行由所述人的双手中的一个所演示的任务，并且另一个机器人...

【专利技术属性】
技术研发人员：王凯濛，加藤哲朗，
申请(专利权)人：发那科株式会社，
类型：发明
国别省市：