基于视觉的手势视频图像识别系统和方法技术方案

本发明专利技术公开了一种基于视觉的手势视频图像识别系统和方法，所述手势识别系统包括手部区域提取模块、手部区域跟踪模块、手势特征提取模块、分类器训练模块、识别模块；本方案中通过提出一种新的基于图像边缘和手部肤色的手部区域提取算法从手势视频的每帧图像中分割出手部区域、以及新的动态手势特征提取方式以及特征处理方式，使用隐马尔可夫模型构造动态手势分类器，结合手部形状特征和手部运动特征对分类器进行训练，最后，训练好的分类器可以用于实时识别训练样本集合以外的新手势，能够低运算复杂度识别动态手势从而能够实际应用。

Vision based gesture video image recognition system and method

The invention discloses a vision-based gesture video image recognition system and a recognition system. The gesture recognition system comprises a hand region extraction module, a hand region tracking module, a gesture feature extraction module, a classifier training module, and a recognition module. In the scheme, a new image-based edge and a hand skin are proposed. The hand region extraction algorithm uses hidden Markov model to construct a dynamic hand gesture classifier. The classifier is trained by combining hand shape features and hand motion features. Finally, the classifier is trained. The trained classifier can be used for real-time recognition of new gestures outside the training sample set, and can recognize dynamic gestures with low computational complexity, so it can be applied in practice.

【技术实现步骤摘要】
基于视觉的手势视频图像识别系统和方法
：本专利技术属于人机交互及模式识别
，主要涉及基于视觉的手势视频图像识别系统和方法。
技术介绍
：随着信息技术的快速发展，人与各种计算机系统的交互活动已经变得不可避免。因此人机交互技术受到了越来越多的重视。其中，动态手势为人机交互提供了一种更便捷、更自然的方式，以代替鼠标、键盘等传统的交互设备。通过手指和手掌的物理运动，动态手势既可以表达重要的信息，也可以与外部环境进行交互。根据手势数据输入方式的不同，可以将动态手势识别系统划分为基于数据手套的系统和基于视觉的系统。在基于数据手套的识别系统中，用户需要戴着设有特殊传感器的数据手套，因此应用场景会有一定的局限性。在基于视觉的识别系统中，通常只需要设置一个或多个摄像头，用户使用起来会更方便、更自然。在动态手势中，既包括手部形状的变化，也包括手部的空间运动。因此，只有同时对手部形状和手部运动建模，才能更准确地表示动态手势。但是现有的自动化动态手势识别方法一般仅仅使用手部运动特征区分不同的动态手势，因此不能用于表达更丰富的手势指令；而现有技术中的结合手部形状特征和手部运动特征的识别方式，对于如何确定并提取动态手势的特征值没有较好的方式，由于没有较好的动态手势特征值设定方式以及提取量化算法从而对识别手部形状特征的实现方式效果较差，存在较大的手部形状识别误差，同时结合手部形状特征和手部运动特征的识别复杂度较高，往往不能应用于实时识别领域。现有技术中对视频图像中的手势区域提取，由于光照、背景反光和图像中其他物体的影响，现有技术中的提取方式提取出来的手部区域可能包含大量的噪声，导致机器难以正确识别手势。本专利技术针对的是基于视觉的实时动态手势识别，提出一种基于视觉的手势视频图像识别系统和方法，解决现有技术中结合手部形状特征和手部运动特征的识别复杂度较高问题，同时能够从手势视频的每帧图像中分割出高质量的手部区域，从而准确的识别手部形状特征。能够满足如下要求：从手势视频的每帧图像中分割出高质量的手部区域；表示手部形状和手部运动的特征具有较低的计算复杂度；保证系统具有较高的识别准确率和效率。
技术实现思路
：本专利技术提供了一个基于视觉的手势视频图像识别系统和方法，该系统具有识别率高、运算速度快、鲁棒性强的特点。作为动态手势特征的简单形状描述子和运动方向编码的计算复杂度都是线性的，因此系统可以应用于实时的动态手势识别中。本专利技术的一个主要目的在于提供一种基于视觉的实时动态手势识别系统，所述手势识别系统包括手部区域提取模块、手部区域跟踪模块、手势特征提取模块、分类器训练模块、识别模块；(1)手部区域提取模块：用于基于图像边缘和肤色模型的手部区域提取方法，改进了从分辨率较低的图像中分割出来的手部区域质量，首先使用基于手部肤色直方图的方法提取出每帧图像中的手部区域，得到手部区域二值图像Gh,然后提取出每帧图像的边缘，得到边缘图像Ge，综合利用图像边缘信息和手部肤色信息得到细化的手部区域；(2)手部区域跟踪模块：用于使用到跨平台计算机视觉库OpenCV中的CAMShift跟踪算法进行手部区域跟踪；(3)手势特征提取模块：用于使用简单形状描述子表示手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，使用手部运动方向(orientation)的编码序列表示手部运动轨迹，构建一个动态的方向编码序列；(4)分类器训练模块：用于使用隐马尔可夫模型(HiddenMarkovModel，HMM)构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(5)识别模块：用于当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果。根据本专利技术的另一个方面，提供一种基于视觉的实时动态手势识别方法，所述手势识别方法包括以下步骤：(1)手部区域提取：基于图像边缘和肤色模型的手部区域提取方法，改进了从分辨率较低的图像中分割出来的手部区域质量，首先使用基于手部肤色直方图的方法提取出每帧图像中的手部区域，得到手部区域二值图像Gh,然后提取出每帧图像的边缘，得到边缘图像Ge，综合利用图像边缘信息和手部肤色信息得到细化的手部区域；(2)手部区域跟踪：使用到跨平台计算机视觉库OpenCV中的CAMShift跟踪算法进行手部区域跟踪；(3)手势特征提取：使用简单形状描述子表示手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，使用手部运动方向(orientation)的编码序列表示手部运动轨迹，构建一个动态的方向编码序列；(4)分类器训练：使用隐马尔可夫模型(HiddenMarkovModel，HMM)构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；(5)手势识别：当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的匹配程度，并从中选择最匹配模型代表的动态手势类别作为识别结果。采用本专利技术提供的基于视觉的实时动态手势识别系统和方法，提高了从手势视频的每帧图像中分割出手部区域的质量，同时结合手部形状和手部运动建模进行手势识别，填补了现有技术没有一种能够准确标识动态手势的特征提取缺陷，以及提出了一种较低运算复杂度的识别算法，丰富了手势识别应用方式，并且有效的减少了结合手部形状特征和手部运动特征的识别计算复杂度，从而能够进行应用于实时识别应用。附图说明：图1融合手形和运动特征的隐马尔可夫模型动态手势识别系统的整体框架图2手部区域提取模块的整体流程图图3手部轮廓的凸包和主轴示意图图4简单形状描述子离散化过程示意图图5手部运动方向计算示意图图6手部运动方向离散化示意图图7本专利技术系统实施方式的结构示意图具体实施方式：在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关、本领域普通技术人员已知的部件和处理的表示和描述。参见如图1所公开的融合手形和运动特征的隐马尔可夫模型动态手势识别系统的整体框架，首先，本专利技术的系统使用一种新的手部区域提取算法从手势视频的每帧图像中分割出手部区域。然后，系统使用组合简单形状描述子表示每帧图像的手部形状，并使用手部运动方向的编码序列表示手部运动轨迹。接下来，系统使用隐马尔可夫模型构造动态手势分类器，结合手部形状特征和手部运动特征对分类器进行训练。最后，训练好的分类器可以用于实时识别训练样本集合以外的新手势。系统主要分为以下五个模块：(1)手部区域提取模块手部区域提取是动态手势识别的第一步，其目标是将手部区域从动态手势视频的每帧图像中分割出来。本专利技术提出了一种基于图像边缘和肤本文档来自技高网...

【技术保护点】
1.一种基于视觉的手势视频图像识别系统，手势视频图像识别系统包括手势边缘图像提取模块、手势肤色直方图提取模块、图像综合处理模块；所述手势边缘图像提取模块，用于对视频图像中的手使用Canny边缘检测算子提取出手部图像的边缘，进一步使用拉普拉斯轮廓提取方法提取出手部轮廓，得到手势边缘图Ge；所述手势肤色直方图提取模块，使用基于手部肤色方图的手部区域二值化方法，提取手部区域的肤色直方图，在得到肤色直方图后使用图像平滑去噪方法消除手部区域图像中的椒盐噪声，并使用形态学处理技术填充手部区域中细小的孔洞和狭窄的缝隙，从而改进提取出来的手部区域的肤色直方图中的手部区域的质量，得到手势肤色直方图Gh；所述图像综合处理模块，对手势边缘图Ge以及手势肤色直方图Gh进行综合处理，得到更准确的细化手部区域图。

【技术特征摘要】
1.一种基于视觉的手势视频图像识别系统，手势视频图像识别系统包括手势边缘图像提取模块、手势肤色直方图提取模块、图像综合处理模块；所述手势边缘图像提取模块，用于对视频图像中的手使用Canny边缘检测算子提取出手部图像的边缘，进一步使用拉普拉斯轮廓提取方法提取出手部轮廓，得到手势边缘图Ge；所述手势肤色直方图提取模块，使用基于手部肤色方图的手部区域二值化方法，提取手部区域的肤色直方图，在得到肤色直方图后使用图像平滑去噪方法消除手部区域图像中的椒盐噪声，并使用形态学处理技术填充手部区域中细小的孔洞和狭窄的缝隙，从而改进提取出来的手部区域的肤色直方图中的手部区域的质量，得到手势肤色直方图Gh；所述图像综合处理模块，对手势边缘图Ge以及手势肤色直方图Gh进行综合处理，得到更准确的细化手部区域图。2.根据权利要求1所述的基于视觉的手势视频图像识别系统，其特征在于所述图像综合处理模块对手势边缘图Ge以及手势肤色直方图Gh进行综合处理，得到更准确的细化手部区域图，具体为：Step(a)从第1行开始遍历原始图像的所有行，记当前行下标为：i,1≤i≤height，对原始图像的每一行执行Step(b)—Step(c)的操作，其中原始图像大小为height×width；Step(b)对原始图像第i行，从左到右遍历该行所有像素位置，记当前列下标为：j,1≤j≤width，检查边缘图像Ge在像素(i,j)处是否存在边缘，并将边缘点坐标按遍历顺序存放在数组EdgePoint中，设第i行包含的边缘点数量为Ki；Step(c)对原始图像第i行，数组EdgePoint中的Ki个边缘点定义了Ki-1个区间，对于第k,1≤k≤Ki-1个区间，判断整个区间是否属于手部区域，首先根据手部区域二值图像Gh计算第k个区间中属于手部区域的像素数量Ni，并计算这些像素占区间像素总数的百分比Pi；当Pi大于预设的阈值TP时，判断第k个区间属于手部区域，并将区间中的所有像素都标记为手部区域像素，遍历所有的Ki-1个区间，执行相同的操作；Step(d)对原始图像的每一列，相同执行Step(b)—Step(c)的操作，结合横向和纵向细化处理结果，得到最终的细化手部区域。3.根据权利要求2所述的基于视觉的手势视频图像识别系统，所述手势视频图像识别系统还包括手势特征提取模块、分类器训练模块、识别模块；手势特征提取模块：用于对上述的细化手部区域图进行特征值序列化处理，具体为使用简单形状描述子表示手部形状，描述子包括手部轮廓的凸性质(convexity)、主轴长度比例(ratioofprincipalaxes)和圆方差(circularvariance)，同时对使用手部运动方向(orientation)的编码序列表示手部运动轨迹，构建一个动态的方向编码序列；分类器训练模块：用于使用隐马尔可夫模型(HiddenMarkovModel，HMM)构造动态手势的分类器，每个动态手势类别都由一个HMM建模，分类器训练模块的输出结果是一个动态手势数据库，其中包含了一系列训练好的HMM，每个HMM都对应一个动态手势类别；识别模块：用于当输入一个未知类别的新手势时，手势识别系统分别计算该新手势与动态手势数据库中每个HMM之间的...

【专利技术属性】
技术研发人员：余梓骏，匡仁炳，徐钊，
申请(专利权)人：合肥岚钊岚传媒有限公司，
类型：发明
国别省市：安徽,34