手势分割方法及装置制造方法及图纸

本申请提供了手势分割方法及装置，涉及教育教学技术领域，其中，该手势分割方法包括：首先，提取用户手势的特征点，然后，根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割，通过上述手势分割方法，能够准确描述用户手势动作的各个状态，并运用有限自动状态机对其进行分割，使得课堂教学中的教学手势得以明确分割。

Gesture segmentation method and device

The invention provides a method and device for hand gesture segmentation, which relates to the technical field of education, teaching, the gesture segmentation method comprises the following steps: firstly, extracting feature points, then the user gesture, according to the displacement of adjacent frame hand feature points description of hand motion, and use to achieve the gesture segmentation division limit automatic state machine the hand motion segmentation method through the gesture, to accurately describe the status of various user gestures, and use the finite state machine of the automatic segmentation, makes teaching gesture to clear segmentation.

【技术实现步骤摘要】
手势分割方法及装置
本专利技术涉及教育教学
，尤其涉及手势分割方法及装置。
技术介绍
随着3D摄像头的问世以及3D摄像头识别精度的不断提高，手势在人机交互中的应用研究越来越受到重视。基于深度图像信息的手势识别技术能通过获取手部的相关信息，并运用几何方法提取手势特征并分类，从而实现复杂环境下基于手势的人机交互。在当今的多媒体教学中，教师需要通过鼠标和键盘来控制多媒体设备以辅助课堂教学，这种情况下，教师被束缚在讲桌前，因此，不能更好的与学生进行互动，这样，教师在课堂教学中不能灵活发挥作用，课堂教学也很无趣。在实际的课堂教学中，很多教学手势中并没有大幅度的肢体动作，而是一些精确到手指的动作，手势分割的研究较少，主要采用特定动作来确定手势的开始和结束，例如，以握拳表示手势开始，手掌张开表示手势结束。但是这种分割方法在环境复杂的状况下实时识别性差，同时会夹杂很多无效动作。并且，仅靠单一动作来分割手势的话，非常容易出错，分割效率低下。总之，实时识别动态手势时，手势分割动作没有明显的开始和结束标志，大量无效动作夹杂在其中，并对手势分割率等产生较大影响。综上，目前关于在课堂教学中无法明确分割教学手势的问题，尚无有效的解决办法。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供了手势分割方法及装置，通过有限自动状态机等的运用，提高了对用户手势的分割效率。第一方面，本专利技术实施例提供了手势分割方法，包括：提取用户手势的特征点；根据相邻帧手部特征点的位移描述手部运动状态，且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，方法还包括：从特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(Xf,j，Yf,j，Zf,j)，第f-1帧关节点j的第二坐标为(Xf-1,j，Yf-1,j，Zf-1,j)；计算第一坐标和第二坐标之间的位移Lf,j，当位移Lf,j小于预先设定的阈值时，判定手部静止，当位移Lf,j大于或者等于预先设定的阈值时，判定手部移动。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，手势分割方法还包括：在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，且，令Pi表示第i帧掌心关节点的三维坐标；根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P1-P0,P2-P1,...Pf-1-Pf-2,Pf-Pf-1}。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，手势分割方法还包括：采用八链码对手势特征向量进行二次编码；求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，Vi为矢量序列中的第i个矢量，Ej为八链码八个基准方向之一，θ为两个矢量的夹角；计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，手势分割方法还包括：分别获取拇指关节点和其余四指关节点的三维坐标序列；计算每一帧拇指关节点与其余四指关节点的距离，记作其中，Df,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，Tj表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。第二方面，本专利技术实施例提供了手势分割装置，包括：特征点获取模块用来提取用户手势的特征点；手势分割模块用来根据相邻帧手部特征点的位移描述手部运动状态，且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，还包括：关节点坐标获取模块用来从特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(Xf,j，Yf,j，Zf,j)，第f-1帧关节点j的第二坐标为(Xf-1,j，Yf-1,j，Zf-1,j)；关节点位移计算模块用来计算第一坐标和第二坐标之间的位移Lf,j，手部状态判定模块用来当位移Lf,j小于预先设定的阈值时，判定手部静止，当位移Lf,j大于或者等于预先设定的阈值时，判定手部移动。结合第二方面的第一种可能的实施方式，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，手势分割装置还包括：三维坐标获取模块用来在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，且，令Pi表示第i帧掌心关节点的三维坐标；手势特征向量组成模块用来根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P1-P0,P2-P1,...Pf-1-Pf-2,Pf-Pf-1}。结合第二方面的第二种可能的实施方式，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，手势分割装置还包括：二次编码模块用来采用八链码对手势特征向量进行二次编码；夹角计算模块用来求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，Vi为矢量序列中的第i个矢量，Ej为八链码八个基准方向之一，θ为两个矢量的夹角；矢量归一化模块用来计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。结合第二方面的第三种可能的实施方式，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，手势分割装置还包括：三维坐标序列获取模块用来分别获取拇指关节点和其余四指关节点的三维坐标序列；距离计量模块用来计算每一帧拇指关节点与其余四指关节点的距离，记作其中，Df,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，Tj表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。本专利技术实施例提供的手势分割方法及装置，其中，上述手势分割方法包括：首先，提取用户手势的特征点，然后，根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割，进而对课堂教学中的教学手势进行了明确分割。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例所提供的手势分割方法的流程图；图2示出了本专利技术实施例所提供的手势分割装置的连接图；图3示出本文档来自技高网...

【技术保护点】
手势分割方法，其特征在于，包括：提取用户手势的特征点；根据相邻帧手部所述特征点的位移描述手部运动状态，且，运用有限自动状态机对所述手部运动状态进行划分以实现手势分割。

【技术特征摘要】
1.手势分割方法，其特征在于，包括：提取用户手势的特征点；根据相邻帧手部所述特征点的位移描述手部运动状态，且，运用有限自动状态机对所述手部运动状态进行划分以实现手势分割。2.根据权利要求1所述的手势分割方法，其特征在于，所述方法还包括：从所述特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(Xf,j，Yf,j，Zf,j)，第f-1帧关节点j的第二坐标为(Xf-1,j，Yf-1,j，Zf-1,j)；计算所述第一坐标和所述第二坐标之间的位移Lf,j，当所述位移Lf,j小于预先设定的阈值时，判定手部静止，当所述位移Lf,j大于或者等于预先设定的阈值时，判定手部移动。3.根据权利要求2所述的手势分割方法，其特征在于，所述方法还包括：在所述特征点中提取掌心关节点的运动轨迹，从所述运动轨迹中获取掌心关节点的三维坐标，且，令Pi表示第i帧掌心关节点的三维坐标；根据所述三维坐标求取掌心关节点在空间中的移动轨迹矢量，将所述移动轨迹矢量作为挥手类手势特征向量P，P＝{P1-P0,P2-P1,...Pf-1-Pf-2,Pf-Pf-1}。4.根据权利要求3所述的手势分割方法，其特征在于，所述方法还包括：采用八链码对所述手势特征向量进行二次编码；求取所述手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，Vi为矢量序列中的第i个矢量，Ej为八链码八个基准方向之一，θ为两个矢量的夹角；计算所述夹角的最小值，用所述最小值的方向矢量对所述方向矢量进行归一化，使所有矢量均归一到八个基准方向上。5.根据权利要求4所述的手势分割方法，其特征在于，所述方法还包括：分别获取拇指关节点和其余四指关节点的三维坐标序列；计算每一帧拇指关节点与其余四指关节点的距离，记作其中，Df,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，Tj表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。6.手势分割装置，其特征在于，包括：特征点获取模块，用于提取用户手势的特征点；手势分割模块，用于根据相邻帧手部所...

【专利技术属性】
技术研发人员：何秀玲，陈增照，吴珂，方静，张超，王聪，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北,42