一种基于Leap Motion的灵巧手主从控制方法技术

本发明专利技术公开了一种基于Leap Motion的灵巧手主从控制方法，在五指伸展的状态下获取人手和灵巧手的五指指尖和指掌关节位置信息，由这些信息执行映射算法，计算出实现人手与灵巧手之间精确的运动映射所需要的变换矩阵；接下来通过Leap Motion视觉传感器实时获取人手五指指尖在参考坐标系下的笛卡尔空间坐标，通过变换矩阵变换到灵巧手的笛卡尔空间，实现重映射，重映射得到的空间坐标就是灵巧手对应五指指尖的目标位置，然后根据重映射得到的灵巧手指尖的目标位置，对灵巧手五指进行逆运动学解算，得到五指各关节的角度值，最后通过灵巧手的驱动机构驱动五指各关节运动对应的角度值，使灵巧手指尖运动到目标位置，完成基于人手运动映射的灵巧手抓持规划。

A master-slave control method of dexterous hand based on leap motion

【技术实现步骤摘要】
一种基于LeapMotion的灵巧手主从控制方法
本专利技术属于人机交互
，具体涉及一种基于LeapMotion的灵巧手主从控制方法。
技术介绍
灵巧手的抓持规划是灵巧手相关技术研究中的关键技术。由于灵巧手所处的工作环境具有高度复杂性、动态性和不可预测性，且灵巧手对于环境的感知也存在不可靠性，要求灵巧手实现完全自主的抓持规划是一项极具挑战性的课题。而主从控制则是通过人手直接控制灵巧手的一种抓持方案，该方案结合了人的经验智慧和灵巧手的智能，将人作为控制系统中的一个环节参与到灵巧手的控制中，利用人进行高层次的任务规划和命令设计，利用机器人完成任务执行工作，是目前较为成熟可行的方案。主从控制中的一个关键问题是人手运动采集，传统的运动采集系统如数据手套，除了佩戴不方便以外，更严重的缺点是传感器采集的信息误差很大，而采用Kinect相机作为运动采集系统虽然摆脱了穿戴手套的不方便问题，但仍然存在精度低且对于手部的动作细节信息不够等问题。主从控制中的一个关键问题是运动映射，即将人手的运动转换为灵巧手的运动。为了实现精确抓持，常采用基于笛卡尔空间的指尖位置映射。但由于人手和灵巧手在外形和结构尺寸上存在差异，导致二者指尖在笛卡尔空间的活动范围也存在差异，直接的运动映射无法实现精确的抓持规划，甚至出现目标位置不可解的情况。因此，需要采用更为精确、方便的人手运动采集系统，同时也需要对运动映射的过程加以改进，以实现精确的抓持规划。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于LeapMotion的灵巧手主从控制方法，通过该方法对灵巧手进行主从控制，可以实现精确的人手与灵巧手之间的运动映射，完成精确的灵巧手抓持规划。为达到上述目的，本专利技术构思如下：本专利技术在五指伸展的状态下获取人手和灵巧手的五指指尖和指掌关节位置信息，由这些信息执行映射算法，计算出实现人手与灵巧手之间精确的运动映射所需要的变换矩阵；接下来通过LeapMotion视觉传感器实时获取人手五指指尖在参考坐标系下的笛卡尔空间坐标，通过变换矩阵变换到灵巧手的笛卡尔空间，实现重映射，重映射得到的空间坐标就是灵巧手对应五指指尖的目标位置，然后根据重映射得到的灵巧手指尖的目标位置，对灵巧手五指进行逆运动学解算，得到五指各关节的角度值，最后通过灵巧手的驱动机构驱动五指各关节运动对应的角度值，使灵巧手指尖运动到目标位置，完成基于人手运动映射的灵巧手抓持规划。根据上述构思，本专利技术采用如下技术方案：一种基于LeapMotion的灵巧手主从控制方法，包括以下步骤：步骤1：获取人手和InMoov灵巧手的相关点坐标；步骤2：执行映射算法，得到从人手空间到灵巧手空间映射的变换矩阵T(M)；步骤3：重映射：通过LeapMotion实时采集人手五指指尖相对于参考坐标系的笛卡尔空间坐标upds，根据步骤2映射算法得到的变换矩阵T(M)，将upds变换到灵巧手的笛卡尔空间，变换后的笛卡尔空间坐标为即为灵巧手指尖的目标位置；步骤4：根据步骤3得到的灵巧手指尖的目标位置信息，对灵巧手五指进行逆运动学解算，得到五指各关节角度值θ，通过灵巧手的驱动机构驱动五指各关节运动对应的角度值，使灵巧手指尖运动到目标位置，完成基于人手运动映射的灵巧手抓持规划。所述步骤1的具体过程如下：步骤1.1：建立人手的参考坐标系；步骤1.2：建立灵巧手的参考坐标系；步骤1.3：使人手处于五指伸展状态，通过LeapMotion获取人手五指的指尖和指掌关节相对于参考坐标系的笛卡尔空间坐标，分别为upds和upmc；步骤1.4：使灵巧手处于五指伸展的状态，获取灵巧手指尖和指掌关节相对于灵巧手参考坐标系的笛卡尔空间坐标，分别为rpds和rpmc。所述步骤2中，所述映射算法具体流程为：步骤2.1：计算变换矩阵T(M)：从人手到灵巧手的运动映射包括笛卡尔空间的平移变换、旋转变换和线性比例缩放关系变换，定义运动映射参数矩阵：M＝[STxTyTzRxRyRz]参数矩阵M的初始值为M0＝[1000000]，在算法第一次迭代执行时使用，根据M中各参数具体值，计算从人手笛卡尔空间到灵巧手笛卡尔空间的变换矩阵T(M)：T(M)＝Tscale(S)Ttrans(Tx,Ty,Tz)Trot(Rx,Ry,Rz)其中Tscale(S)为在x，y，z方向进行线性缩放的齐次变换矩阵，Ttrans(Tx,Ty,Tz)为进行平移变换的齐次变换矩阵，Trot(Rx,Ry,Rz)为进行旋转变换的齐次变换矩阵；步骤2.2：坐标变换：根据步骤2.1得到的变换矩阵T(M)，将人手笛卡尔空间的指尖和指掌关节坐标变换到灵巧手笛卡尔空间中，变换操作如下：其中，和分别为变换后的指尖和指掌关节坐标；步骤2.3：计算误差向量e：根据步骤1和步骤2.2得到的信息，计算灵巧手指尖和指掌关节的笛卡尔空间坐标与变换后人手指尖和指掌关节的笛卡尔空间坐标之间的误差向量e：步骤2.4：计算逆雅可比矩阵根据步骤2.2得到的对参数矩阵M求偏导，得到相对参数矩阵M中各元素变化的雅可比矩阵J，由于J非方阵，其不存在逆矩阵，因此取J的伪逆矩阵步骤2.5：计算参数矩阵M；步骤2.6：回到步骤2.1，计算变换矩阵T(M)，进行下一次迭代，映射算法的迭代终止条件是误差向量e为零向量。与现有技术相比，本专利技术方法具有以下有益效果：1.本专利技术采用LeapMotion视觉传感器作为人手运动采集系统来获取人手的运动信息，能够精确捕捉人手五指的运动状态和各关节的空间坐标，基于视觉的控制方式也更加方便高效。2.本专利技术采用的映射算法能够准确计算出人手和灵巧手之间的运动映射的变换矩阵，通过此变换矩阵可以使人手指尖的运动范围与灵巧手之间的运动范围重合，完成精确的基于人手运动映射的灵巧手抓持规划。附图说明图1是本专利技术一种基于LeapMotion的灵巧手主从控制方法流程图。图2是本专利技术采用的映射算法流程图。图3是人手模型图。图4是InMoov灵巧手模型图。图5是人手骨骼图。具体实施方式下面结合附图对本专利技术的具体实施例进行进一步地描述。本实施例需要采集指尖和指掌关节的笛卡尔空间坐标，其具体位置如图5所示。本实施例采用图4所示的InMoov灵巧手进行主从控制，映射算法和主从控制都在MatlabSimulink环境下实现，首先需要在Simulink环境下建立InMoov灵巧手仿真模型，并通过MatLeap接口实现LeapMotion与Matlab之间的通信。如图1所示，一种基于LeapMotion的灵巧手主从控制方法，包括以下步骤：步骤1：获取人手和InMoov灵巧手的相关点坐标。步骤1.1：建立人手的参考坐标系，如图3所示，人手坐标系建立在手腕处，为右手坐标本文档来自技高网...

【技术保护点】
1.一种基于Leap Motion的灵巧手主从控制方法，其特征在于，包括以下步骤：/n步骤1：获取人手和InMoov灵巧手的相关点坐标；/n步骤2：执行映射算法，得到从人手空间到灵巧手空间映射的变换矩阵T(M)；/n步骤3：重映射：通过Leap Motion实时采集人手五指指尖相对于参考坐标系的笛卡尔空间坐标

【技术特征摘要】
1.一种基于LeapMotion的灵巧手主从控制方法，其特征在于，包括以下步骤：
步骤1：获取人手和InMoov灵巧手的相关点坐标；
步骤2：执行映射算法，得到从人手空间到灵巧手空间映射的变换矩阵T(M)；
步骤3：重映射：通过LeapMotion实时采集人手五指指尖相对于参考坐标系的笛卡尔空间坐标upds，根据步骤2映射算法得到的变换矩阵T(M)，将upds变换到灵巧手的笛卡尔空间，变换后的笛卡尔空间坐标为即为灵巧手指尖的目标位置；
步骤4：根据步骤3得到的灵巧手指尖的目标位置信息，对灵巧手五指进行逆运动学解算，得到五指各关节角度值θ，通过灵巧手的驱动机构驱动五指各关节运动对应的角度值，使灵巧手指尖运动到目标位置，完成基于人手运动映射的灵巧手抓持规划。


2.根据权利要求1所述的基于LeapMotion的灵巧手主从控制方法，其特征在于，所述步骤1的具体过程如下：
步骤1.1：建立人手的参考坐标系；
步骤1.2：建立灵巧手的参考坐标系；
步骤1.3：使人手处于五指伸展状态，通过LeapMotion获取人手五指的指尖和指掌关节相对于参考坐标系的笛卡尔空间坐标，分别为upds和upmc；
步骤1.4：使灵巧手处于五指伸展的状态，获取灵巧手指尖和指掌关节相对于灵巧手参考坐标系的笛卡尔空间坐标，分别为rpds和rpmc。


3.根据权利要求1所述的基于LeapMotion的灵巧手主从控制方法，其特征在于，所述步骤2中，所述映射算法具体流程为：
步骤2.1：计算变换矩阵T...

【专利技术属性】
技术研发人员：徐昱琳，徐弘，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31