一种基于极限学习机的手势识别方法技术

本发明专利技术公开了一种基于极限学习机的手势识别方法，包括如下步骤：用普通摄像头采集RGB图像，用红外摄像头采集红外图像；采用阈值分割的方法确定红外图像中属于人体的像素点区域，然后结合RGB图像得到人体RGB图像，根据人体RGB图像，通过肤色模型得到图像中的肤色区域，然后利用阀值法判别肤色区域的形状复杂度，得到手势二值图像；提取手势区域的HOG特征和Hu矩作为特征向量；最后将极限学习机运用于手势特征向量的分类中，完成手势识别任务。本发明专利技术通过结合HOG特征和Hu矩特征，提高手势识别准确率。同时运用极限学习机有效提手势识别的训练速度识别速度，使手势识别系统具有快速、准确率高、泛化性高等优点。

【技术实现步骤摘要】
一种基于极限学习机的手势识别方法
本专利技术涉及图像识别领域，具体涉及一种基于极限学习机的手势识别方法。
技术介绍
如今，人机交互的主要方式仍然还是鼠标和键盘。但是这些需要操作一定设备的交互方式，对交互而言并不方便流畅，同时也制约着交互的速度。而随着科学技术的日益进步和发展，计算机的性能在不断提高，其对人们生活的影响也在逐渐扩发和加深。高性能的计算机急需更自然顺畅的人机交互方式，同时也为实现这些人家交互方式提供了必要的条件。计算机的发展推动着人机交互技术的不断革新。而手势识别作为其中一个重要领域，更是吸引着众多学者的研究。目前的手势识别方式一般分为两类：基于数据手套和基于计算机视觉两类。现在基于数据手套的手势识别方式虽然已经能够做到较高的识别率，但是其复杂的操作、昂贵的设备使其无法在实际应用普及。此外需要佩戴的设备这一点也使得基于数据手套的手势识别方法没有基于计算机视觉的手势识别方法方便。虽然目前不少学者提出了基于计算机视觉的手势识别方法，但目前方法的研究仍存在诸多问题，如现有的基于计算机视觉的手势识别方法大多只是利用了普通摄像头采集RGB图像，由于采集数据的种类单一，没有更多的有用信息提供给系统进行判别，因此算法难以将手势跟背景完全分离。此外，目前的基于计算机视觉的手势识别方法在手势特征提取方面通常只采用一种特征描述手势，导致系统存在一定的误判率。再者如今用于手势分类的智能算法一般需要花大量的时间进行算法的训练，才能较好的保证分类的准确率。而在算法执行的过程中一般还需要花费大量的计算机资源进行计算，不利于系统的实时工作。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种基于极限学习机的手势识别方法。本专利技术采用如下技术方案：一种基于极限学习机的手势识别方法，包括如下步骤：用普通摄像头采集RGB图像，用红外摄像头采集红外图像；采用阈值分割的方法确定红外图像中属于人体的像素点区域，然后结合RGB图像得到人体RGB图像，根据人体RGB图像，通过肤色模型得到图像中的肤色区域，然后利用阀值法判别肤色区域的形状复杂度，得到手势二值图像；提取手势区域的HOG特征和Hu矩作为特征向量；最后将极限学习机运用于手势特征向量的分类中，完成手势识别任务。所述肤色模型采用如下公式进行线性灰度变换：f″(x,y)＝0.8×f′(x,y)。所述提取手势区域的HOG特征和Hu矩作为特征向量，具体为：根据手势二值图像提取手势的Hu矩特征，结合手势二值图像和RGB图像，提取手势的HOG特征，并结合Hu矩特征组成手势的特征向量。计算HOG特征时，将手势区域分成16个子区域，将每个子区域像素的梯度方向分成10个区间进行加权的直方图统计，将16个直方图分别进行归一化操作并串联起来，作为手势的HOG特征。所述将极限学习机运用于手势特征向量的分类中，完成手势识别任务，具体为：利用样本的手势特征向量训练极限学习机，训练阶段包括随机初始化参数、计算隐含层数据和计算输出权重；用已训练的极限学习机对手势特征向量分类，分类阶段包括计算隐含层输出和输出分类结果。所述极限学习机的隐含层激活函数为sigmoid函数，隐含层节点数为200。本专利技术的有益效果：本专利技术通过结合HOG特征和Hu矩特征，提高手势识别准确率。同时运用极限学习机有效提手势识别的训练速度识别速度，使手势识别系统具有快速、准确率高、泛化性高等优点。附图说明图1为一种基于极限学习机的手势识别方法的总体流程图；图2为一种基于极限学习机的手势识别方法的手势分割流程图；图3为一种基于极限学习机的手势识别方法的特征提取流程图；图4为一种基于极限学习机的手势识别方法的手势分类流程图。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例如图1所示，一种基于极限学习机的手势识别方法，其流程依次为图像采集阶段、手势分割阶段、特征提取阶段以及手势分类阶段。图像采集阶段：用普通摄像头采集RBG图像，用红外摄像头采集红外图像；所述摄像头和红外摄像头都应安装于人体正前方，且距离人体大约0.6m的地方。摄像头和红外摄像头之间的距离大约在2cm左右。手势分割阶段：如图2所示，手势分割阶段包括如下步骤：(1)红外图像采用阈值分割的方法确定图像中属于人体的像素点区域，并结合RGB图像得到手势RGB图像，具体公式为：其中f(x,y)为RGB图像中位于坐标(x,y)的RGB像素值；f′(x,y)为人体RGB图像中位于坐标(x,y)的RGB像素值；h(x,y)为红外图像中位于坐标(x,y)的灰度值；hmin为阈值法的灰度最小值；hmax为阈值法的灰度最大值。(2)根据人体RGB图像，通过肤色模型得到图像中的肤色区域，具体如下：i)进行线性灰度变换。具体公式如下：f″(x,y)＝0.8×f′(x,y)其中f′(x,y)为人体RGB图像中位于坐标(x,y)的RGB像素值；f″(x,y)为灰度变换后的人体RGB图像中位于坐标(x,y)的RGB像素值。ii)将灰度变换后的人体RGB图像转换到YCbCr空间中，具体公式如下：y(x,y)＝0.299×r(x,y)+0.587×g(x,y)+0.114×b(x,y)cr(x,y)＝(r(x,y)-y(x,y))×0.713cb(x,y)＝(b(x,y)-y(x,y))×0.564其中r(x,y)，g(x,y)，b(x,y)分别为灰度变换后的人体RGB图像中位于坐标(x,y)红、绿、蓝三个分量；y(x,y)为灰度变换后的人体RGB图像中位于坐标(x,y)的灰度值；cr(x,y)为YCbCr空间中位于坐标(x,y)的cr分量；cb(x,y)为YCbCr空间中位于坐标(x,y)的cb分量。iii)采用阈值法分割出肤色区域，具体公式如下：其中bi(x,y)为肤色区域二值图像中位于坐标(x,y)的值；cr(x,y)为YCbCr空间中位于坐标(x,y)的cr分量；cb(x,y)为YCbCr空间中位于坐标(x,y)的cb分量；crmin、crmax、cbmin、cbmax分别为阈值法cr分量最小值、最大值、cb分量最小值、最大值。然后利用阈值法判别肤色区域的形状复杂度，得到手势二值图像。复杂度小于0.3连通域标为手势区域，其值置为1；反之标为非手势区域，其值置为0。复杂度计算公式如下：其中C为连通域的复杂度；P为连通域的边长；A为连通域的面积。(3)特征提取阶段，如图3所示，包括如下步骤：a)根据手势二值图像提取手势的七个矩不变量，组成Hu矩特征。其形式如下：其中为第i个矩不变量。b)结合手势二值图像和RGB图像，提取手势的HOG特征，并结合Hu矩特征组成手势的特征向量。具体做法如下：i)将RGB图像转化为灰度图，进行灰度压缩后分别与[-1,0,1]和[-1,0,1]T两个梯度算子卷积，得到图像Gx和Gy。灰度压缩公式如下：I′(x,y)＝I(x,y)0.5其中I′(x,y)为灰度压缩后位于图像(x,y)的灰度值；I(x，y)为灰度压缩前位于图像(x,y)的灰度值。ii)计算梯度大小和梯度方向。具体公式如下：其中G(x,y)、α(x,y)分别为位于图像(x,y)的梯度大小和梯度方向；Gx(x,y)、Gy(x,y)分别为图像Gx和Gy在(x,y)的值。本文档来自技高网...

【技术保护点】
一种基于极限学习机的手势识别方法，其特征在于，包括如下步骤：用普通摄像头采集RGB图像，用红外摄像头采集红外图像；采用阈值分割的方法确定红外图像中属于人体的像素点区域，然后结合RGB图像得到人体RGB图像，根据人体RGB图像，通过肤色模型得到图像中的肤色区域，然后利用阀值法判别肤色区域的形状复杂度，得到手势二值图像；提取手势区域的HOG特征和Hu矩作为特征向量；最后将极限学习机运用于手势特征向量的分类中，完成手势识别任务。

【技术特征摘要】
1.一种基于极限学习机的手势识别方法，其特征在于，包括如下步骤：用普通摄像头采集RGB图像，用红外摄像头采集红外图像；采用阈值分割的方法确定红外图像中属于人体的像素点区域，然后结合RGB图像得到人体RGB图像，根据人体RGB图像，通过肤色模型得到图像中的肤色区域，然后利用阀值法判别肤色区域的形状复杂度，得到手势二值图像；提取手势区域的HOG特征和Hu矩作为特征向量；最后将极限学习机运用于手势特征向量的分类中，完成手势识别任务。2.根据权利要求1所述的手势识别方法，其特征在于，所述肤色模型采用如下公式进行线性灰度变换：f″(x,y)＝0.8×f′(x,y)。3.根据权利要求1所述的手势识别方法，其特征在于，所述提取手势区域的HOG特征和Hu矩作为特征向量，具体为：根据手势二值图像提取手势的Hu矩特征，结合手势二值...

【专利技术属性】
技术研发人员：周智恒，劳志辉，许冰媛，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44