一种基于三维深度数据的动态手势识别方法技术

本发明专利技术公开了一种基于三维深度数据的动态手势识别方法，能够提高动态手势识别的识别效果。包括如下步骤：利用体感控制器Leap Motion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及运动方向特征向量。采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。利用时间金字塔模型提取包含测试手势序列局部时间信息的特征向量。将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。

A dynamic gesture recognition method based on 3D depth data

The invention discloses a dynamic gesture recognition method based on three-dimensional depth data, which can improve the recognition effect of dynamic gesture recognition. It includes the following steps: using Leap Motion to get the dynamic gesture sequence to be recognized, obtaining the position coordinates of each skeletal joint point in each valid frame of the dynamic gesture sequence to be recognized, and extracting the hand deformation feature vector and the motion direction feature vector frame by frame. The mixed Gauss model is used to solve the Fisher vector coding form of hand shape change feature vectors. The temporal Pyramid model is used to extract the feature vectors including the local time information of the test gesture sequence. The feature vectors containing the local time information of the gesture sequence to be recognized are classified by SVM. The known feature vectors with local time information are matched in the existing dynamic gesture database, and the corresponding dynamic gestures are used as the recognition results.

【技术实现步骤摘要】
一种基于三维深度数据的动态手势识别方法
本专利技术涉及人机交互
，具体涉及一种基于三维深度数据的动态手势识别方法。
技术介绍
目前，在人机交互领域，动态手势识别是近年来大热的人机交互方式。动态手势识别技术发展迅速。现有技术中利用深度摄像头采集视频骨骼流，获取所需骨骼节点的三维位置，将手部的骨骼节点三维位置以六维向量的方式存储，通过六维向量和帧率得到速度六维向量，将速度六维向量与预先设定好的特殊方向单位向量进行点乘，选择内积结果最大的对应的特殊方向单位向量作为特征值存储，获得待识别手势相应的特征值时间序列，然后将该特征值时间序列传入已训练好的耦合隐马尔科夫模型中，与标准手势的特征值时间序列进行匹配，得到待识别手势最接近的标准手势，将其作为识别结果。此方案主要利用手势运动的方向作为手势的特征，根据该特征对手势进行识别。而本申请提案则是利用手部各骨骼关节点的相对位置和角度，提取出能够描述手部外形变化和手部运动方向的特征向量，并引入时间金字塔模型，描述动态手势的局部时间信息。基于此利用线性分类器对动态手势进行分类和识别。现有的技术方案是利用手部的骨骼关节点信息提取用于识别不同动态手势的特征向量，但是其将手部的骨骼节点三维位置以六维向量的方式存储，并通过六维向量和帧率得到速度六维向量，对存储的六维速度向量列表进行特征提取，获得待识别手势相应的特征值时间序列，该技术方案提取的特征主要描述了动态手势的方向信息，这对在手势完成过程中，手部运动方向变化较小，而手部外观形状变化较大的动态手势的识别结果较差。同时该方案的特征时间序列描述的是动态手势的全局时间信息，由于没有对动态手势序列的局部时间信息进行描述，这将限制方案对相似的动态手势的识别能力。因此，如何综合手部运动方向变化和手部外形变化，并结合动态手势序列的局部时间信息对手势进行识别，从而提高动态手势识别的识别效果是亟待解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于三维深度数据的动态手势识别方法，能够综合手部运动方向变化特征和手部外形变化特征，并结合动态手势序列的局部时间信息对手势进行识别，从而提高动态手势识别的识别效果。本专利技术的技术方案提供的一种基于三维深度数据的动态手势识别方法，包括如下步骤：利用体感控制器LeapMotion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量。采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。利用时间金字塔模型将测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量。将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。优选地，提取获得手形变化特征向量，具体为：获取待识别动态手势序列中的有效帧。取各有效帧中各个骨骼关节点的位置坐标，并基于此逐帧提取获得手形变化特征向量。手型变化特征向量由指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量组成。指尖距离向量为各个指尖到手掌中心的距离FDi,i＝1，…，5表示5个指尖，大小为5维。相邻指尖距离向量为相邻指尖的距离AFDi，大小为4维。指尖角度向量为各个指尖在由手掌法向量确定的手掌平面上的投影与手掌中心形成的向量与手部方向向量之间形成的夹角FAi，大小为5维。指尖高度向量，计算各指尖到手掌平面的距离FEi，大小为5维。将指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量连结，得到大小为19维的手形变化特征向量Fs＝{FDi，AFDi，FAi，FEi}。优选地，采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。利用历史手形变化特征向量训练一个混合高斯模型。混合高斯模型的聚类数目为设定数值。对混合高斯模型的模型参数均值和方差分别求导，得到手形变化特征向量的Fisher向量编码形式Fsf。优选地，获取待识别动态手势序列中的有效帧，包括计算手势序列中相邻帧手部对应关节点速度变化，并计算各个骨骼关节点的速度变化之和，得到相应的速度变化曲线。采取分段多项式拟合的方式对速度曲线进行拟合，得到平滑的速度曲线。取平滑的速度曲线中速度的极小值点，作为手势的初步分割点。当相邻两初步分割点之间有效帧数大于设定阈值时，保留该两初步分割点作为有效帧分割点；若相邻两初步分割点之间有效帧数小于设定阈值，则分别以两个初步分割点作为起始点，选取与下一初步分割点的之间的有效帧数大于设定阈值的起始点作为有效帧分割点，若两起始点与下一初步分割点的之间的有效帧数均大于设定阈值，则取与下一初步分割点的之间的有效帧数小的起始点作为有效帧分割点。相邻两有效帧分割点之间的部分为有效帧。优选地，提取获得运动方向特征向量，具体为：获取待识别动态手势序列中的有效帧。取各有效帧中手掌中心关节的位置坐标，计算相隔两帧手掌中心位置变化的方向向量，并用球坐标的形式表示。将球坐标的θ和空间分别分成6份和8份，得到48份的3D空间。将每个动态手势序列中的每一个掌心位置变化方向向量投票至唯一的3D空间中，得到48维的运动方向特征向量FD。优选地，将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，包括：利用历史动态手势序列，计算包含历史动态手势序列局部时间信息的特征向，训练一个G(G-1)/2类的线性SVM分类器，其中G为动态手势的种类数。将包含待识别手势序列局部时间信息的特征向量放入训练后的线性SVM分类器进行分类。有益效果：本专利技术实施例所提供的基于三维深度数据的动态手势识别方法，利用深度传感器提供的手部骨骼信息，提取既能描述动态手势完成过程中手部运动方向变化的特征信息，又能描述手部外形变化的特征信息。除此之外，利用时间金字塔模型将动态手势序列分层，分层后的各个子层序列充分的描述了动态手势的局部时间信息。通过这种识别方法提升动态手势识别的准确率。附图说明图1为本专利技术实施例所提供的一种基于三维深度数据的动态手势识别方法流程图；图2为本专利技术实施例中的LeapMotion深度传感器提供的手部骨骼结构图；图3为本专利技术实施例中的动态手势数据库示意图；图4为本专利技术实施例中的平滑手势运动速度变化曲线；图5为本专利技术实施例中的平滑曲线局部效果图；图6为本专利技术实施例中的动态手势初步分割点；图7为本专利技术实施例中的动态手势有效帧分割点；图8为本专利技术实施例中的动态手势局部效果图；图9为本专利技术实施例中的时间金字塔模型分层原理。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。本专利技术提供了一种基于三维深度数据的动态手势识别方法，其流程如图1所示，包括如下步骤：S1、利用体感控制器LeapMotion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量。LeapMotion提供的手部骨骼结构如图2所示。在正式开始实验任务之前，任务的进程和操作方法都会对被试者进行说明本文档来自技高网...

【技术保护点】
1.一种基于三维深度数据的动态手势识别方法，其特征在于，包括：利用体感控制器Leap Motion获得待识别动态手势序列，获取所述待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量；采用混合高斯模型求解所述手形变化特征向量的Fisher向量编码形式；利用时间金字塔模型将所述测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量；将所述包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。

【技术特征摘要】
1.一种基于三维深度数据的动态手势识别方法，其特征在于，包括：利用体感控制器LeapMotion获得待识别动态手势序列，获取所述待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量；采用混合高斯模型求解所述手形变化特征向量的Fisher向量编码形式；利用时间金字塔模型将所述测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量；将所述包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。2.如权利要求1所述的方法，其特征在于，所述提取获得手形变化特征向量，具体为：获取所述待识别动态手势序列中的有效帧；取各有效帧中各个骨骼关节点的位置坐标，并基于此逐帧提取获得手形变化特征向量；所述手型变化特征向量由指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量组成；所述指尖距离向量为各个指尖到手掌中心的距离FDi,i＝1，…，5表示5个指尖，大小为5维；所述相邻指尖距离向量为相邻指尖的距离AFDi，大小为4维；所述指尖角度向量为各个指尖在由手掌法向量确定的手掌平面上的投影与手掌中心形成的向量与手部方向向量之间形成的夹角FAi，大小为5维；所述指尖高度向量，计算各指尖到手掌平面的距离FEi，大小为5维；将指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量连结，得到大小为19维的所述手形变化特征向量Fs＝{FDi，AFDi，FAi，FEi}。3.如权利要求2所述的方法，其特征在于，所述采用混合高斯模型求解所述手形变化特征向量的Fisher向量编码形式；利用历史手形变化特征向量训练一个混合高斯...

【专利技术属性】
技术研发人员：刘越，赵丹，王涌天，李广传，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11