手势识别方法、装置及Leap Motion体感控制系统制造方法及图纸

本发明专利技术涉及一种手势识别方法及装置，以及一种Leap Motion体感控制系统。上述手势识别方法包括：S1：将用于控制三维物体的多个手势操作存储至手势库；S2：实时采集手部的运动数据，对采集到的数据进行特征提取；S3：根据提取出的特征参数判断手部的运动是否属于平移类型操作，若属于平移类型操作，进入步骤S5，若不属于平移类型操作，进入步骤S4；S4：通过预设算法确定手部的运动所属的操作类型；S5：根据操作类型在手势库中查询相应类型的操作，根据特征参数在相应类型的操作中确定目标操作。通过上述技术方案，可以构建适用于Leap Motion的三维模型操作手势库，以及相应的手势识别方法，并提高手势识别的准确率，保证三维操作中模型变换的连贯性和稳定性。

【技术实现步骤摘要】
手势识别方法、装置及LeapMotion体感控制系统
本专利技术涉及手势识别
，具体而言，涉及一种手势识别方法、一种手势识别装置以及一种LeapMotion体感控制系统。
技术介绍
三维物体操作一般包括对三维模型六个自由度(6DOF)的控制：三个分别沿着x、y、z轴方向的平移和三个分别绕x、y、z轴的旋转，它是三维设计和创作类应用的基础功能，如CAD，Maya，模拟制作陶器的移动应用Pottery等，也是许多游戏中不可缺少的体验要素。在之前很长一段时间，人们都是通过鼠标和键盘来操作这些变换，但输入工具的存在影响了人们创造力的发挥，人们很容易将注意力集中于工具的使用和数值的调整上，而不是创作或体验本身。近几年，智能手机和平板的普及使触屏类手势交互成为研究热点。这些对于图片、文字等二维内容的操作是恨直观的。但在三维模型的操作上，由于比模型对象少了一个维度，操作起来并不直观。不少学者把研究重点放在如何约束三维的变换信息到二维的输入上，或如何扩展二维的输入使之更好地操作三维变换，但这些都不如用自由手操作自然和直观。所以用自由手势动作来实现对三维模型的操作是最符合以用户为中心的人机交互理念的。手势追踪是手势交互不可缺少的关键技术，也是这种交互能否推广应用的瓶颈问题之一。特别是对于三维模型的控制上，需要实时反馈，模型跟随操作而变换，对实时性和稳定性要求较高。之前的自由手势研究大致分两种，一种是基于视觉的，一种是基于数据手套的，前者容易受光线、肤色、干扰物体影响，对手部细节动作的实时重建很困难，后者对于设备的要求比较高。近两年，也有人把Kinect体感技术用于动态手势识别中，但Kinect主要追踪的是中远距(0.5m-4m)的全身动作，对于手部的动作，细节信息不够。而LeapMotion的出现，弥补了Kinect的精度问题，它是一个检测手势运动的传感器，动作跟踪精确到0.01mm，精准度是Kincet的100倍。而且设备小，成本低，扩展性强，易于内置到笔记本等其他设备上。LeapMotion的手势主要是指令类，用于UI输入等，并未有一个完整的，包含6DOF以及缩放操作的用于三维模型变换的手势库，以及适用于三维模型操作的自由手势识别方法。
技术实现思路
本专利技术所要解决的技术问题是，如何构建适用于LeapMotion的三维模型操作手势库，以及相应的手势识别方法，并提高手势识别的准确率，保证三维操作中模型变换的连贯性和稳定性。为此目的，本专利技术提出了一种手势识别方法，包括：S1：将用于控制三维物体的多个手势操作存储至手势库；S2：实时采集手部的运动数据，对采集到的数据进行特征提取；S3：根据提取出的特征参数判断所述手部的运动是否属于平移类型操作，若属于平移类型操作，进入步骤S5，若不属于平移类型操作，进入步骤S4；S4：通过预设算法确定所述手部的运动所属的操作类型；S5：根据所述操作类型，在所述手势库中查询相应类型的操作，根据所述特征参数在所述相应类型的操作中确定目标操作。优选地，所述手势库包含单手和/或双手手势操作，且所述单手和/或双手手势操作包括沿三个轴中任一轴的平移操作，绕所述三个轴中任一轴的旋转操作，以及绕所述三个轴中任一轴的缩放操作，其中，所述三个轴中的任意两个轴互相垂直。优选地，所述步骤S2还包括：S21，以帧数据的形式输入采集到的数据。优选地，所述步骤S2包括：S22：对输入的帧数据进行特征提取，得到特征参数STx、STy、STz、Nx、Ny、Nz、Dx、Dy、Dz、DTx、DTy、DTz、rt、pt，其中，STx、STy、STz分别为当前帧与上一帧间，所述手部沿x轴、y轴、z轴平移的距离差；Nx、Ny、Nz分别为所述手部在当前帧中沿x轴、y轴、z轴的法向向量；Dx、Dy、Dz分别为当前帧中所述手部的掌心到指尖的方向向量沿x轴、y轴、z轴的向量；DTx、DTy、DTz分别为当前帧与上一帧间，所述手部的掌心到指尖的方向向量沿x轴、y轴、z轴的向量差，其中，所述手部的所有指尖指向同一方向，所述x轴、y轴、z轴中的任意两个轴互相垂直；rt为当前帧与上一帧间欧拉角的横滚角的差值；pt为当前帧与上一帧间欧拉角的俯仰角的差值。优选地，所述步骤S3包括：判断Ny<A且100(rt2+pt2)<B是否成立，其中，A和B分别为第一预设常数和第二预设常数；若成立，则判定所述手部的运动属于平移类型操作，进入所述步骤S5，若不成立，则判定所述手部的运动不属于平移类型操作，进入所述步骤S4。优选地，所述步骤S4包括：通过支持向量机算法，选用高斯核函数作为内积和函数判断所述手部的运动所属的操作类型。优选地，在所述步骤S3之前还包括：对所述特征参数进行帧间平滑处理。优选地，在所述步骤S3之前还包括：对所述特征参数进行有效性过滤。优选地，还包括：S6，过滤所述目标操作中的重复执行操作，并执行过滤后的操作。优选地，所述步骤S2包括：通过LeapMotion体感控制器实时采集所述手部的运动数据。本专利技术还提出了一种手势识别系统，包括：存储单元，用于将用于控制三维物体的多个手势操作存储至手势库；采集单元，用于实时采集手部的运动数据，对采集到的数据进行特征提取；判断单元，用于根据提取出的特征参数判断所述手部的运动是否属于平移类型操作；计算单元，用于在所述判断单元判定所述手部的运动不属于平移类型操作时，通过预设算法确定所述手部的运动所属的操作类型；查询单元，用于根据所述操作类型，在所述手势库中查询相应类型的操作，根据所述特征参数在所述相应类型的操作中确定目标操作。本专利技术还提出了一种LeapMotion体感控制器，包括上述手势识别系统。通过采用本专利技术所公开的技术方案，能够构建适用于LeapMotion的三维模型操作手势库，以及相应的手势识别方法，并提高手势识别的准确率，保证三维操作中模型变换的连贯性和稳定性。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了根据本专利技术一个实施例的手势识别方法的流程图；图2示出了根据本专利技术一个实施例的手势识别装置的框图；图3示出了根据本专利技术一个实施例的手势库中手势操作的示意图；图4示出了根据本专利技术一个实施例的进行手势识别的示意图。具体实施方式下面将结合附图对本专利技术的实施例进行详细描述。图1示出了根据本专利技术一个实施例的手势识别方法的流程图。如图1所示，根据本专利技术一个实施例的手势识别方法包括：S1：将用于控制三维物体的多个手势操作存储至手势库；S2：实时采集手部的运动数据，对采集到的数据进行特征提取；S3：根据提取出的特征参数判断手部的运动是否属于平移类型操作，若属于平移类型操作，进入步骤S5，若不属于平移类型操作，进入步骤S4；S4：通过预设算法确定手部的运动所属的操作类型；S5：根据操作类型，在手势库中查询相应类型的操作，根据特征参数在相应类型的操作中确定目标操作。通过对手部运动进行逐次识别，可以在手部运动为较易分析的平移运动时，直接在手势库中查询出其相应的操作，而在手部运动属于非平移操作时，比如旋转或缩放操作时，能够对手部运动的特征参数进行具体运算，从而以从简单到复杂的分析方式确定手部运动在手势库中所对应的操作，提高了手势识本文档来自技高网...

【技术保护点】
一种手势识别方法，其特征在于，包括：S1：将用于控制三维物体的多个手势操作存储至手势库；S2：实时采集手部的运动数据，对采集到的数据进行特征提取；S3：根据提取出的特征参数判断所述手部的运动是否属于平移类型操作，若属于平移类型操作，进入步骤S5，若不属于平移类型操作，进入步骤S4；S4：通过预设算法确定所述手部的运动所属的操作类型；S5：根据所述操作类型，在所述手势库中查询相应类型的操作，根据所述特征参数在所述相应类型的操作中确定目标操作。

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：S1：将用于控制三维物体的多个手势操作存储至手势库；S2：实时采集手部的运动数据，对采集到的数据进行特征提取；S3：根据提取出的特征参数判断所述手部的运动是否属于平移类型操作，若属于平移类型操作，进入步骤S5，若不属于平移类型操作，进入步骤S4；S4：通过预设算法确定所述手部的运动所属的操作类型；S5：根据所述操作类型，在所述手势库中查询相应类型的操作，根据所述特征参数在所述相应类型的操作中确定目标操作。2.根据权利要求1所述的手势识别方法，其特征在于，所述手势库包含单手和/或双手手势操作，且所述单手和/或双手手势操作包括沿三个轴中任一轴的平移操作，绕所述三个轴中任一轴的旋转操作，以及绕所述三个轴中任一轴的缩放操作，其中，所述三个轴中的任意两个轴互相垂直。3.根据权利要求1所述手势识别方法，其特征在于，所述步骤S2还包括：S21，以帧数据的形式输入采集到的数据。4.根据权利要求3所述手势识别方法，其特征在于，所述步骤S2包括：S22：对输入的帧数据进行特征提取，得到特征参数STx、STy、STz、Nx、Ny、Nz、Dx、Dy、Dz、DTx、DTy、DTz、rt、pt，其中，STx、STy、STz分别为当前帧与上一帧间，所述手部沿x轴、y轴、z轴平移的距离差；Nx、Ny、Nz分别为所述手部在当前帧中沿x轴、y轴、z轴的法向向量；Dx、Dy、Dz分别为当前帧中所述手部的掌心到指尖的方向向量沿x轴、y轴、z轴的向量；DTx、DTy、DTz分别为当前帧与上一帧间，所述手部的掌心到指尖的方向向量沿x轴、y轴、z轴的向量差，其中，所述手部的所有指尖指向同一方向，所述x轴、y轴、z轴中的任意两个轴互相垂直；rt为当前帧与上一帧间欧拉角的横滚角的差值；pt为当前帧与上一帧间欧拉角的俯仰角的差值...

【专利技术属性】
技术研发人员：徐昆，潘佳佳，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11