一种三维手势识别方法及装置制造方法及图纸

本发明专利技术公开了一种三维手势识别方法及装置，该方法包括：(1)采集静态手势，并根据建立的手部空间坐标系进行手部位置表示；(2)以静态手势的骨节方向信息作为手势识别的观测值特征序列，并对不同角度和位置下的静态手势对应的手势识别观测值特征序列预处理；(3)采用GMM‑HMM模型对静态手势对应的观测序列进行识别；(4)根据等待模型对动态手势进行识别；(5)在用户使用时收集用户个体的手势数据，并利用该数据对GMM‑HMM模型进行迁移训练，形成针对于每个用户的模型。本发明专利技术所述的归一化的方法是在特征序列的基础上来的，它能够在保留完整数据的情况下很方便且准确的实现归一化，使得识别准确率升高。

A 3D gesture recognition method and device

【技术实现步骤摘要】
一种三维手势识别方法及装置
本专利技术涉及手势识别技术，具体涉及一种三维手势识别方法及装置。
技术介绍
随着虚拟现实及增强现实的发展，新的三维界面形式登上历史舞台，手势交互由于其比面部表情和眼动更易于捕捉和识别，又比全身姿势更易于实施(特别是在狭小空间中)的特点成为了更适用于虚拟环境自然用户界面的交互方式。此外在智能产品、汽车、家居等领域，手势交互的作用也逐渐凸显出来。目前尚没有成熟且具备高度可扩展性的手势交互应用开发工具，而由于手势识别所需的机器学习等专业知识成为了很多开发人员无法逾越的技术壁垒，这就导致了手势交互应用乃至于手势交互发展的滞后。由于不同人的手掌的尺寸有着相当大的差异，基于坐标点数据的特征序列仍存在着一定的不足，这是由于基于点坐标的归一化方法无法有效的对数据进行归一化处理，这就导致了识别结果的不稳定。动态识别相较于静态识别而言增加了时间变量这一维度，即观测数据包含多个时间节点的手势观测序列信息，由于带有时间的数据序列不符合GMM-HMM模型的输入数据要求，因而必须要对数据序列进行降维。在现有的识别算法之中，研究者多采用将三维位置信息换算为手指间的夹角、不同指尖的距离、某部位的位移等低维度数据方式来对数据进行降维，并将每个时间点下的一维参数作为手势识别观测序列值的单个数据节点。虽然上述方法实现了数据的降维，但对于动态手势识别来说仍然存在着一定的问题：首先上述的降维方式对原始数据进行了二次处理，这势必会导致部分数据的丢失而影响识别结果。其次，由于不同用户做手势的速度和不同时刻设备捕捉手部数据的帧率均有着较大的差异，因而需要对时间序列进行归一化，这就使得必须在运行时保存并处理前100帧左右的数据，从而极大的增加了程序运行时的资源消耗和计算时长。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术提供一种三维手势识别方法，该方法可以解决识别准确率低、运算速度慢的问题，本专利技术还提供一种三维手势识别装置。技术方案：本专利技术所述的一种三维手势识别方法，包括以下步骤：(1)采集静态手势，并根据建立的手部空间坐标系进行手部位置表示；(2)以静态手势的骨节方向信息作为手势识别的观测值特征序列，并对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，得到各个静态手势对应的观测序列；(3)确定隐马尔可夫模型的隐含状态数和混合高斯模型的分模型数后，采用GMM-HMM模型对静态手势对应的观测序列进行识别；(4)根据等待模型对动态手势进行识别；(5)在用户使用时收集用户个体的手势数据，并利用该数据对原GMM-HMM模型进行迁移训练，形成针对于每个用户的模型。进一步地，包括：所述步骤(1)中，手部空间坐标系以手掌掌心方向向量为X轴、手指指向向量为Y轴以及同时与二者垂直的方向向量为Z轴，所在的直线为坐标轴。进一步地，包括：所述步骤(2)中，手势识别的观测值特征序列为拇指三个骨节从掌心到手指的方向向量、食指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量、中指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量、无名指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量和小指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量，共15个方向向量。进一步地，包括：所述步骤(2)中，对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，具体包括：以建立的所述空间直角坐标系为基准，计算所述手部空间坐标系旋转至所在空间中的世界坐标系时的四元数；将静态手势对应的观测序列按照所述四元数进行旋转，完成归一化。进一步地，包括：所述步骤(3)中，采用GMM-HMM模型对静态手势进行识别的过程包括：(31)利用外部设备每隔M秒收集一组静态手势数据序列，共收集该静态手势下在空间内转动和移动后的手势数据序列N组，其中M≥1，N≥20；(32)通过Baum-Welch算法迭代训练对应的GMM-HMM模型，直至模型收敛；(33)计算N组手势数据序列的前向算法输出值，若当前帧手势数据序列前向算法输出值大于设定阈值θ，即为识别到该手势，否则，未识别到手势。进一步地，包括：所述阈值θ∈[α1pav,α2pav]，其中，pav为最后一次训练中计算出的N组训练数据前向算法的输出值的均值，α1＝75％，α2＝90％，所述最后一次训练由设置好最大训练次数和前后两次训练值输出差值的阈值共同决定，在以下两种情况中的一种情况率先发生时即停止迭代：a训练次数达到100次；b当前一次训练输出的P值与上一次训练输出P值的差值的绝对值小于0.001。进一步地，包括：所述步骤(4)中，等待模型是将构成动态手势的若干个静态手势节点的对应信息进行存储，并在一定的动态手势识别过程的等待时间内依次检测整个动态手势的静态手势节点所代表的手势的出现。进一步地，包括：所述根据等待模型对动态静态手势进行识别，具体包括：(41)设置静态手势的阈值σ，利用前向算法检测首个静态手势节点所代表的静态手势是否出现，若检测到首个静态手势节点所代表的静态手势则开启下一个节点手势的检测；(42)在预设的动态手势识别过程的等待时间内，若依次检测到设置的所有静态手势节点所代表的手势个数的出现，则判定为检测到该动态手势，否则，若超出时间限制仍未检测到所有静态手势节点所代表的手势，则将该手势的检测重置，重新开始首个静态节点手势的检测；(43)直至将设置的若干个静态手势节点全部检测。进一步地，包括：所述设置静态手势的阈值σ∈[λ1lav,λ2lav]，其中，lav最后一次训练中计算出的N组训练数据前向算法的输出值的均值，λ1＝55％，λ2＝70％，所述最后一次训练由设置好最大训练次数和前后两次训练值输出差值的阈值共同决定，在以下两种情况中的一种情况率先发生时即停止迭代：a训练次数达到100次；b当前一次训练输出的P值与上一次训练输出P值的差值的绝对值小于0.001。一种三维手势识别装置，包括：静态手势采集单元、特征序列归一化单元、静态手势识别单元、动态手势识别单元和用户个体自适应单元；所述静态手势采集单元，用于采集静态手势，并根据建立的手部空间坐标系进行手部位置表示；所述特征序列归一化单元，用于以静态手势的骨节方向信息作为手势识别的观测值特征序列，并对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，得到各个静态手势对应的观测序列；所述静态手势识别单元，用于确定隐马尔可夫模型的隐含状态数和混合高斯模型的分模型数后，采用GMM-HMM模型对静态手势进行识别；所述动态手势识别单元，用于根据等待模型对动态手势进行识别；所述用户个体自适应单元，用于根据用户个体特征调整GMM-HMM模型参数，形成适用于该用户的识别模型。有益效本文档来自技高网...

【技术保护点】
1.一种三维手势识别方法，其特征在于，包括以下步骤：/n(1)采集静态手势，并根据建立的手部空间坐标系进行手部位置表示；/n(2)以静态手势的骨节方向信息作为手势识别的观测值特征序列，并对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，得到各个静态手势对应的观测序列；/n(3)确定隐马尔可夫模型的隐含状态数和混合高斯模型的分模型数后，采用GMM-HMM模型对静态手势对应的观测序列进行识别；/n(4)根据等待模型对动态手势进行识别；/n(5)在用户使用时收集用户个体的手势数据，并利用该数据对所述GMM-HMM模型进行迁移训练，形成针对于每个用户的模型。/n

【技术特征摘要】
1.一种三维手势识别方法，其特征在于，包括以下步骤：
(1)采集静态手势，并根据建立的手部空间坐标系进行手部位置表示；
(2)以静态手势的骨节方向信息作为手势识别的观测值特征序列，并对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，得到各个静态手势对应的观测序列；
(3)确定隐马尔可夫模型的隐含状态数和混合高斯模型的分模型数后，采用GMM-HMM模型对静态手势对应的观测序列进行识别；
(4)根据等待模型对动态手势进行识别；
(5)在用户使用时收集用户个体的手势数据，并利用该数据对所述GMM-HMM模型进行迁移训练，形成针对于每个用户的模型。


2.根据权利要求1所述的三维手势识别方法，其特征在于，所述步骤(1)中，手部空间坐标系以手掌掌心方向向量为X轴、手指指向向量为Y轴以及同时与二者垂直的方向向量为Z轴，所在的直线为坐标轴。


3.根据权利要求1所述的三维手势识别方法，其特征在于，所述步骤(2)中，手势识别的观测值特征序列为拇指三个骨节从掌心到手指的方向向量、食指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量、中指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量、无名指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量和小指除去最靠近掌心一段骨节的三个骨节从掌心到手指的方向向量，共15个方向向量。


4.根据权利要求1所述的三维手势识别方法，其特征在于，所述步骤(2)中，对不同角度和位置下的静态手势对应的手势识别观测值特征序列进行空间旋转坐标上的归一化，具体包括：
以建立的所述空间直角坐标系为基准，计算所述手部空间坐标系旋转至所在空间中的世界坐标系时的四元数；将静态手势对应的观测序列按照所述四元数进行旋转，完成归一化。


5.根据权利要求1所述的三维手势识别方法，其特征在于，所述步骤(3)中，采用GMM-HMM模型对静态手势进行识别的过程包括：
(31)利用外部设备每隔M秒收集一组静态手势数据序列，共收集该静态手势下在空间内转动和移动后的手势数据序列N组，其中M≥1，N≥20；
(32)通过Baum-Welch算法迭代训练对应的GMM-HMM模型，直至模型收敛；
(33)计算N组手势数据序列的前向算法输出值，若当前帧手势数据序列前向算法输出值大于设定阈值θ，即为识别到该手势，否则，未识别到手势。


6.根据权利要求5所述的三维手势识别方法，其特征在于，所述阈值θ∈[α1pav,α2pav]，其中，pav为最后一次训练中计算出的N组训练数据前向算法的输出值的均值，α1＝75％，...

【专利技术属性】
技术研发人员：薛澄岐，贾乐松，周小舟，肖玮烨，苗馨月，邢向向，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32