一种基于隐马尔可夫模型的动态手势识别系统及方法技术方案

本发明专利技术公开了一种基于使用隐马尔可夫模型的视觉实时动态手势识别系统，所述视觉实时手势识别系统包括手势特征提取模块、分类器训练模块、识别模块，本方案中通过提出一种新动态手势特征提取方式以及特征处理方式，使用隐马尔可夫模型构造动态手势分类器，结合手部形状特征和手部运动特征对分类器进行训练，最后，训练好的分类器可以用于实时识别训练样本集合以外的新手势，能够低运算复杂度识别动态手势从而能够实际应用。

A Dynamic Gesture Recognition System and Method Based on Hidden Markov Model

The invention discloses a visual real-time dynamic gesture recognition system based on hidden Markov model. The visual real-time gesture recognition system includes gesture feature extraction module, classifier training module and recognition module. In this scheme, a new dynamic gesture feature extraction method and feature processing method are proposed. Hidden Markov model is used to construct dynamic gesture classifier, which combines hand shape features and hand motion features to train the classifier. Finally, the trained classifier can be used to recognize new gestures outside the training sample set in real time, and can recognize dynamic gestures with low computational complexity, so it can be applied in practice.

【技术实现步骤摘要】
一种基于隐马尔可夫模型的动态手势识别系统及方法
：本专利技术属于人机交互及模式识别
，主要涉及一个融合手形和运动特征的隐马尔可夫模型动态手势识别系统及方法。
技术介绍
：随着信息技术的快速发展，人与各种计算机系统的交互活动已经变得不可避免。因此人机交互技术受到了越来越多的重视。其中，动态手势为人机交互提供了一种更便捷、更自然的方式，以代替鼠标、键盘等传统的交互设备。通过手指和手掌的物理运动，动态手势既可以表达重要的信息，也可以与外部环境进行交互。根据手势数据输入方式的不同，可以将动态手势识别系统划分为基于数据手套的系统和基于视觉的系统。在基于数据手套的识别系统中，用户需要戴着设有特殊传感器的数据手套，因此应用场景会有一定的局限性。在基于视觉的识别系统中，通常只需要设置一个或多个摄像头，用户使用起来会更方便、更自然。在动态手势中，既包括手部形状的变化，也包括手部的空间运动。因此，只有同时对手部形状和手部运动建模，才能更准确地表示动态手势。但是现有的自动化动态手势识别方法一般仅仅使用手部运动特征区分不同的动态手势，因此不能用于表达更丰富的手势指令；现有技术中的结合手部形状特征和手部运动特征的识别方式，对于如何确定并提取动态手势的特征值没有较好的方式，由于没有较好的动态手势特征值设定方式以及提取量化算法从而对识别手部形状特征的实现方式效果较差，存在较大的手部形状识别误差，同时结合手部形状特征和手部运动特征的识别复杂度较高，往往不能应用于实时识别领域。针对现有技术没有一种能有效表达动态手势的特征值设定方式以及现有技术中获取手势形状以及手部运动特征的特征值识别复杂度较高的问题,本专利技术提出一种针对的是基于视觉的实时动态手势识别，提出一种融合手形和运动特征的隐马尔可夫模型动态手势识别系统及方法，解决现有技术中没有清晰的表达运动手势特征以及结合手部形状特征和手部运动特征的识别复杂度较高问题，同时能够从手势视频的每帧图像中分割出高质量的手部区域，从而准确的识别手部形状特征。能够满足如下要求：从手势视频的每帧图像中分割出高质量的手部区域；表示手部形状和手部运动的特征具有较低的计算复杂度；保证系统具有较高的识别准确率和效率。
技术实现思路
：本专利技术提供了一个基于使用隐马尔可夫模型的视觉实时动态手势识别系统及方法，该系统具有识别率高、运算速度快、鲁棒性强的特点。作为动态手势特征的简单形状描述子和运动方向编码的计算复杂度都是线性的，因此系统可以应用于实时的动态手势识别中。本专利技术的一个主要目的在于提供一种基于视觉的实时动态手势识别系统，所述手势识别系统包括手部区域提取模块、手部区域跟踪模块、手势特征提取模块、分类器训练模块、识别模块；(1)手部区域提取模块：用于基于图像边缘和肤色模型的手部区域提取方法，改进了从分辨率较低的图像中分割出来的手部区域质量，首先使用基于手部肤色直方图的方法提取出每帧图像中的手部区域，得到手部区域二值图像Gh,然后提取出每帧图像的边缘，得到边缘图像Ge，综合利用图像边缘信息和手部肤色信息得到细化的手部区域；(2)手部区域跟踪模块：用于使用到跨平台计算机视觉库OpenCV中的CAMShift跟踪算法进行手部区域跟踪；(3)手势特征提取模块：用于使用简单形状描述子表示手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，使用手部运动方向(orientation)的编码序列表示手部运动轨迹，构建一个动态的方向编码序列；(4)分类器训练模块：用于使用隐马尔可夫模型(HiddenMarkovModel，HMM)构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(5)识别模块：用于当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果。根据本专利技术的另一个方面，提供一种基于视觉的实时动态手势识别方法，所述手势识别方法包括以下步骤：(1)手部区域提取：基于图像边缘和肤色模型的手部区域提取方法，改进了从分辨率较低的图像中分割出来的手部区域质量，首先使用基于手部肤色直方图的方法提取出每帧图像中的手部区域，得到手部区域二值图像Gh,然后提取出每帧图像的边缘，得到边缘图像Ge，综合利用图像边缘信息和手部肤色信息得到细化的手部区域；(2)手部区域跟踪：使用到跨平台计算机视觉库OpenCV中的CAMShift跟踪算法进行手部区域跟踪；(3)手势特征提取：使用简单形状描述子表示手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，使用手部运动方向(orientation)的编码序列表示手部运动轨迹，构建一个动态的方向编码序列；(4)分类器训练：使用隐马尔可夫模型(HiddenMarkovModel，HMM)构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(5)手势识别：当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果。采用本专利技术提供的基于视觉的实时动态手势识别系统和方法，提高了从手势视频的每帧图像中分割出手部区域的质量，同时结合手部形状和手部运动建模进行手势识别，填补了现有技术没有一种能够准确标识动态手势的特征提取缺陷，以及提出了一种较低运算复杂度的识别算法，丰富了手势识别应用方式，有效的减少了结合手部形状特征和手部运动特征的识别计算复杂度，从而能够进行应用于实时识别应用。附图说明：图1融合手形和运动特征的隐马尔可夫模型动态手势识别系统的整体框架图2手部区域提取模块的整体流程图图3手部轮廓的凸包和主轴示意图图4简单形状描述子离散化过程示意图图5手部运动方向计算示意图图6手部运动方向离散化示意图图7本专利技术系统实施方式的结构示意图具体实施方式：在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关、本领域普通技术人员已知的部件和处理的表示和描述。参见如图1所公开的融合手形和运动特征的隐马尔可夫模型动态手势识别系统的整体框架，首先，本专利技术的系统使用一种新的手部区域提取算法从手势视频的每帧图像中分割出手部区域。然后，系统使用组合简单形状描述子表示每帧图像的手部形状，并使用手部运动方向的编码序列表示手部运动轨迹。接下来，系统使用隐马尔可夫模型构造动态手势分类器，结合手部形状特征和手部运动特征对分类器进行训练。最后，训练好的分类器可以用于实时识别训练样本集合以外的新手势。系统主要分为以下五个模块：(1)手部区域提取模块手部区域提取是动态手势识别的第一步，其目标是将手部区域从本文档来自技高网...

【技术保护点】
1.一种基于使用隐马尔可夫模型(Hidden Markov Model，HMM)的视觉实时动态手势识别系统，；(1)手部特征提取模块：用于对包含手势的每帧视频图像进行手势特征提取，计算手势特征序列；该手势特征序列是利用简单形状描述子表示的手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratio of principal axes)和圆方差(circular variance)，手势特征序列同时包含使用手部运动方向(orientation)的编码序列构建的表示手部运动轨迹动态的方向编码序列，并对所述描述子以及方向编码序列进行离散化，得到最终的离散化特征向量序列，将所得到的最终的离散化特征向量序列输入到识别模块进行手势识别；(2)分类器训练模块：用于使用HMM构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(3)识别模块：用于对手部区域提取模块输入的离散化特征向量序列进行模型匹配，当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果，并输出手势识别结果。...

【技术特征摘要】
1.一种基于使用隐马尔可夫模型(HiddenMarkovModel，HMM)的视觉实时动态手势识别系统，；(1)手部特征提取模块：用于对包含手势的每帧视频图像进行手势特征提取，计算手势特征序列；该手势特征序列是利用简单形状描述子表示的手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，手势特征序列同时包含使用手部运动方向(orientation)的编码序列构建的表示手部运动轨迹动态的方向编码序列，并对所述描述子以及方向编码序列进行离散化，得到最终的离散化特征向量序列，将所得到的最终的离散化特征向量序列输入到识别模块进行手势识别；(2)分类器训练模块：用于使用HMM构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(3)识别模块：用于对手部区域提取模块输入的离散化特征向量序列进行模型匹配，当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果，并输出手势识别结果。2.根据权利要求1所述的视觉实时动态手势识别系统，其特征在于手部区域提取模块所生成的手势特征序列为f＝[conv,prax,cvar,x,y]T，其中conv，prax和cvar分别是手部轮廓的凸性质、主轴长度比例以及圆方差，(x,y)是手部轮廓的形心坐标；对该手势特征序列进行离散化，得到最终的离散化特征向量序列其中conv′i，prax′i和cvar′i分别为离散化后手势片段Si对应的3个简单形状描述子，θ′i是手势片段Si中的手部运动方向编码，Si是根据时间顺序将手势视频划分为数量为Ns片段，第i个片段记为Si。3.根据权利要求2所述的视觉实时动态手势识别系统，其特征在于分类器训练模块：对于一个类别的动态手势，使用属于该类别的手势视频样本训练一个从左向右型(left-to-right)的HMM，HMM的观察序列是经过离散化操作后的手势特征向量序列，训练过程的输入是如下观察序列：其中是从第i个手势片段Si获得的离散特征向量；使用Baum-Welch算法用于训练HMM手势模型，模型的参数被迭代调整，以最大化条件概率即已知模型参数λ的条件下，生成观察序列的概率，设手势类别的总数为Ng，在训练结束后，手势数据库中存放着Ng个从左向右型的HMM：其中λi表示第i个手势类别对应的模型参数,1≤i≤Ng。4.根据权利要求3所述的视觉实时动态手势识别系统，所述识别模块具体实施：在手势识别阶段，当输入一个未知类别的动态手势视频后，首先执行特征提取和特征离散化操作，得到HMM的观察序列对于训练好的手势数据库中第i个手势模型λi，计算条件概率即已知λi的条件下，生成观察序列的概率，待识别动态手势所属的类别计算如下：表示手势数据库中与待识别手势最匹配的模型，并以其下标i作为识别结果。5.根据权利要求2所述的视觉实时动态手势识别系统，所述对该手势特征序列进行离散化，具体离散化计算方式为：Step(a)将轮廓描述子值域分割为有限数量的区间，从1开始对每个区间进行编号。记区间数量为Ninter，则conv、prax和cvar原始值所属的区间编号计算如下：其中convmax和convmin分别为conv原始值域的最大值和最小值；其中praxmax和praxmin分别为prax原始值域的最大值和最小值；其中cvarmax和cvarmin分别为cvar原始值域的最大值和最小值；θ′i的计算方式为：(xt,yt)和(xt+i,yt+i)分别表示手部在t时刻和t+i时刻在图像帧中的位置，θt表示手部在t时刻的运动方向，θt的值域区间[0,360°]被划分为8个子区间，每个子区间的跨度为45°，并从1开始对每个子区间进行编号，首先选择第i个手势片段Si的第一帧和最后一帧计算手部运动方向，并将其角度值离散化为区间[0,360°]中的8个子区间编码值，得到手势片段Si中的手部运动方向编码θ′i，整个动态手势的运动轨迹可以表示为如下运动方向的编码序列：其中Ns为手势片段的总数；经过简单形状描述子和手部运动方向的离散化操作后，第i个手势片段Si可以用如下特征向量表示：其中conv′i，prax′i和cvar′i分别为离散化后手势片段Si对应的3个简单形状描述子，θ′i是手势片段Si中的手部运动方向编码。整个动态手势可以表示为一个离散的特征向量序列：其中Ns是手势片段的总数。6.一种基于使用隐马尔可夫模型(Hidd...

【专利技术属性】
技术研发人员：余梓骏，匡仁炳，徐钊，
申请(专利权)人：合肥岚钊岚传媒有限公司，
类型：发明
国别省市：安徽,34