一种基于隐马尔科夫模型的动态手势切分识别方法技术

本发明专利技术涉及一种基于隐马尔科夫模型的动态手势切分识别方法，包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别；本发明专利技术可以有效实时的检测出连续动态手势的起始点和终止点，进一步提高了手势别人的实时性，符合人们正常手势交流的习惯，使手势交流更加自然流畅，并且本发明专利技术结合加权处理，有效切分复杂手势序列，减少冗余数据，进一步识别提取出动态手势中能量较大的有效手势，提高了手势切分后手势识别的识别率，从而进一步提高手势识别精度和效率，并且能有效的解决实时场景下，连续动态手势的时空差异性问题和手势开始到结束间的手势切分问题。

A dynamic hand gesture segmentation and recognition method based on Hidden Markov model

The invention relates to a dynamic gesture recognition method based on Hidden Markov model, including the training of Cin Markoff model (HMM) and continuous dynamic gesture segmentation and recognition; the invention can effectively detect the starting point of the real-time continuous dynamic gesture and end point, and further improve the real-time gesture of others, people with normal gestures communication habits, gestures make communication more natural and smooth, and the invention combines weighted processing, effective segmentation complex gesture sequence, reduce redundant data, further recognition to extract the effective gestures of energy in the large dynamic gesture recognition, gesture recognition rate improved gesture segmentation, so as to further improve the gesture recognition accuracy and efficiency, and can effectively solve the real-time, continuous spatio-temporal difference of dynamic gestures and gestures of the beginning to the end of the gesture Segmentation problem.

【技术实现步骤摘要】
一种基于隐马尔科夫模型的动态手势切分识别方法
本专利技术涉及人工智能及模式识别
，尤其是一种基于隐马尔科夫模型的动态手势切分识别方法。
技术介绍
随着手机触摸操作和人体跟踪识别的发展，人们体会到了手势交互方式具有以人为中心的自然性，简洁性，和直接性等优势，基于人手智能输入的交互界面正在成为新的技术趋势，尤其是随着沉浸式虚拟现实新设备的兴起，各种交互方案被用来提高沉浸式体验，其中以手势交互最为简洁、直接、自然。手势识别作为一种人机交互手段，已广泛应用于增强现实，虚拟现实，体感游戏等场景，对于这些应用场景，操作手势是随机嵌入在连续动作流当中的，目前许多基于视觉的手势识别系统都假设输入的各个动作间存在停顿或已经切分好的独立手势，而在实时场景下的应用研究相对较少，在实际应用条件下难以在复杂手势流中定位具有操作意义手势的开始和结束关键点；并且同一种手势由于执行速度不同和动作幅度不同而不可避免地带有时空差异性，对识别的准确率和鲁棒性会造成很大影响，造成了自动切分困难，实时性差，以及手势识别率不高的问题。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于隐马尔科夫模型的动态手势切分识别方法。本专利技术的技术方案为：一种基于隐马尔科夫模型的动态手势切分识别方法，包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别；S1)、训练隐马尔科夫模型(HMM)S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据，其中，每个手势的手部姿态数据包括M个子训练样本，每个训练样本包括t个时刻，每个时刻包含n个特征数据，每个子训练样本的数据表示为S＝(s1,1,s1,2,...s1,t；s2,1,s2,2,...s2,t；...；sn,1,sn,2,...sn,t)，其中，si,j表示该样本j时刻第i个特征的数据；S102)、对每个子训练样本S进行差分预处理，得到同一特征数据相邻两时刻数据之间的差距di,j，同一手势相邻两时刻之间的差距di,j＝si,j+1-si,j，差分预处理后的子训练样本的数据为D＝(d1,1,d1,2,...d1,t-1；d2,1,d2,2,...d2,t-1；...；dn,1,dn,2,...dn,t-1)；S103)、针对每个子训练样本的数据计算得到其总能量W，其表达式为：其中，wi表示子训练样本D第i维特征的能量，W表示该子训练样本D的总能量，其第i维特征数据的能量为：S104)、对子训练样本的数据进行S加权处理，根据计算得到相应子训练样本数据每一维特征数据的权值qi，其中，qi表示子训练样本数据D的第i维特征的权值，将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,t相乘，从而实现对子训练样本数据进行S加权处理，；S105)、采用kmeans聚类算法对加权后的子训练样本数据S进行离散化处理，将子训练样本数据S表示为S＝(s1,s2,...st)，其中，Sj＝(s1,j,s2,j,...sn,j)表示j时刻的手部姿态数据，预设m个类别，随机初始化m个聚类中心，m个类别的聚类中心分别记为Cz(z＝1,2,...m)，通过计算每一时刻手部姿态数据的类别，其中Gj表示j时刻的手部姿态数据的类别，然后对每一个类别Gj，重新计算其聚类中心式中|cz|表示第z个类别中样本的个数，若其聚类中心Cz不变，则其收敛，离散化过程结束，并将每个时刻的手部姿态数据用其相应的类别表示；S106)、分别将离散化处理后的每个手势的M个子训练样本数据S输入到隐马尔科夫模型(HMM)中，结合模型的前向-后向算法(Baum-Welch)训练得到每个手势的HMM参数λ，从而得到K个手势相关的训练好的隐马尔科夫模型(HMM)；S2)、连续动态手势切分与识别S201)、数据采集，通过数据手套获取需要测试的连续的动作手势数据作为测试数据；S202)、手势识别，按照步骤S102)对测试数据进行差分处理，并按照步骤S103)计算差分处理后的测试数据的能量累加和，若某一时间段能量累加和变化激增，则该时间段的手势为有效手势，对该段有效的连续手势进行切分并提取该段有效手势；S203)、加权处理，按照步骤S104对步骤S202)中提取的有效手势进行加权处理；S204)、离散化处理，并根据步骤S105)中的聚类中心Cz，将该有效手势归类到距离相应聚类中心Cz最近的类别，并用相应的类别号表示该有效手势；S205)、将加权处理与离散化处理后的有效手势分别输入到K个手势对应的训练好的隐马尔科夫模型(HMM)中，计算该有效手势在不同手势对应的隐马尔科夫模型(HMM)下的概率值，并将概率值最大的隐马尔科夫模型(HMM)对用的手势作为识别结果。所述的手部姿态数据包括手指弯曲数据、手掌的方位数据；所述的手指弯曲数据可以为通过弯曲传感器采集的弯曲度数据，也可以为通过惯性传感器采集的手指弯曲方向的旋转数据；所述的手掌的方位数据可以是通过惯性传感器采集的方位数据，也可以是通过光学定位获取的方位数据；本专利技术的有益效果为：可以有效实时的检测出连续动态手势的起始点和终止点，进一步提高了手势别人的实时性，符合人们正常手势交流的习惯，使手势交流更加自然流畅，并且本专利技术结合加权处理，有效切分复杂手势序列，减少冗余数据，进一步识别提取出动态手势中能量较大的有效手势，提高了手势切分后手势识别的识别率，从而进一步提高手势识别精度和效率，并且能有效的解决实时场景下，连续动态手势的时空差异性问题和手势开始到结束间的手势切分问题。附图说明图1为本专利技术的流程图；图2为本实施例的能量累加的示意图；具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：如图1所示，一种基于隐马尔科夫模型的动态手势切分识别方法，包括隐马尔科夫模型(HMM)的训练和连续动态手势切分与识别；S1)、训练隐马尔科夫模型(HMM)S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据，其中，每个手势的手部姿态数据包括M个子训练样本，每个子训练样本包括t个时刻，每个时刻包含n个特征数据，每个子训练样本的数据表示为S＝(s1,1,s1,2,...s1,t；s2,1,s2,2,...s2,t；...；sn,1,sn,2,...sn,t)，其中，si,j表示该样本j时刻第i个特征的数据；S102)、对每个子训练样本S进行差分预处理，得到同一特征数据相邻两时刻数据之间的差距di,j，同一手势相邻两时刻之间的差距di,j＝si,j+1-si,j，差分预处理后的子训练样本的数据为D＝(d1,1,d1,2,...d1,t-1；d2,1,d2,2,...d2,t-1；...；dn,1,dn,2,...dn,t-1)；S103)、针对每个子训练样本的数据计算得到其总能量W，其表达式为：其中，wi表示子训练样本D第i维特征的能量，W表示该子训练样本D的总能量，其第i维特征数据的能量为：S104)、对子训练样本的数据进行S加权处理，根据计算得到相应子训练样本数据每一维特征数据的权值qi，其中，qi表示训练样本数据D的第i维特征的权值，将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,t相乘，从而实现对子训练样本数据进行S加权处理，；S105)、采用kmeans聚类算法对加权本文档来自技高网...

【技术保护点】
一种基于隐马尔科夫模型的动态手势切分识别方法，包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别；S1)、训练隐马尔科夫模型(HMM)S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据，其中，每个手势的手部姿态数据包括M个子训练样本，每个子训练样本包括t个时刻，每个时刻包含n个特征数据，每个子训练样本的数据表示为S＝(s1,1,s1,2,...s1,t；s2,1,s2,2,...s2,t；...；sn,1,sn,2,...sn,t)，其中，si,j表示该样本j时刻第i个特征的数据；S102)、对每个子训练样本S进行差分预处理，得到同一特征数据相邻两时刻数据之间的差距di,j，同一手势相邻两时刻之间的差距di,j＝si,j+1‑si,j，差分预处理后的子训练样本的数据为D＝(d1,1,d1,2,...d1,t‑1；d2,1,d2,2,...d2,t‑1；...；dn,1,dn,2,...dn,t‑1)；S103)、针对每个子训练样本的数据计算得到其总能量W，其表达式为：

【技术特征摘要】
1.一种基于隐马尔科夫模型的动态手势切分识别方法，包括训练隐马尔科夫模型(HMM)和连续动态手势切分与识别；S1)、训练隐马尔科夫模型(HMM)S101)、通过数据手套获取K个手势的手部姿态数据作为训练样本数据，其中，每个手势的手部姿态数据包括M个子训练样本，每个子训练样本包括t个时刻，每个时刻包含n个特征数据，每个子训练样本的数据表示为S＝(s1,1,s1,2,...s1,t；s2,1,s2,2,...s2,t；...；sn,1,sn,2,...sn,t)，其中，si,j表示该样本j时刻第i个特征的数据；S102)、对每个子训练样本S进行差分预处理，得到同一特征数据相邻两时刻数据之间的差距di,j，同一手势相邻两时刻之间的差距di,j＝si,j+1-si,j，差分预处理后的子训练样本的数据为D＝(d1,1,d1,2,...d1,t-1；d2,1,d2,2,...d2,t-1；...；dn,1,dn,2,...dn,t-1)；S103)、针对每个子训练样本的数据计算得到其总能量W，其表达式为：其中，wi表示子训练样本D第i维特征的能量，W表示该子训练样本D的总能量，其第i维特征数据的能量为：S104)、对子训练样本的数据进行S加权处理，根据计算得到相应子训练样本数据每一维特征数据的权值qi，其中，qi表示子训练样本数据D的第i维特征的权值，将该子训练样本数据每一维特征的权值qi与其不同时刻的对应维特征数据si,t相乘，从而实现对子训练样本数据进行S加权处理，；S105)、采用kmeans聚类算法对加权后的子训练样本数据S进行离散化处理，将子训练样本数据S表示为S＝(s1,s2,...st)，其中，Sj＝(s1,j,s2,j,...sn,j)表示j时刻的手部姿态数据，预设m个类别，随机初始化m个聚类中心，m个类别的聚类中心分别记为Cz(z＝1,2,...m)，通过计算每一时刻手部姿态数据的类别，其中Gj表示j时刻的手部姿态数据的类别，然后对每一个类别Gj，重...

【专利技术属性】
技术研发人员：代雨锟，黄昌正，周言明，韦伟，钟嘉茹，
申请(专利权)人：广州幻境科技有限公司，
类型：发明
国别省市：广东,44