一种基于视觉的静态手势识别方法技术

本发明专利技术涉及一种基于视觉的静态手势识别方法，包括训练阶段和测试阶段：训练阶段中对训练图像进行预处理，然后提取训练图像的LBP特征和CSS角点特征，融合提取到的特征，对基于压缩感知理论设计的分类器进行训练。测试阶段，对拍摄到的手势图像进行预处理，再提取出测试图像的LBP特征和CSS角点特征，融合这两种特征，利用已经训练好的分类器进行分类识别。本发明专利技术通过融合两种特征，并且采用压缩感知理论设计分类器，能够弥补单特征的不足，提高手势的识别率。

【技术实现步骤摘要】
一种基于视觉的静态手势识别方法
本专利技术涉及一种基于视觉的静态手势识别方法，属于人机交互

技术介绍
随着计算机技术的迅速发展，人机交互技术已经成为了各国研究者研究的热点。传统的人机交互方式主要是基于键盘、鼠标等设备，这种方式非常不方便，越来越不能满足人们的需求。由于手势具有生动、形象、直观等特点，使得它在人机交互领域有着至关重要的作用。手势识别一般分为基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别一般是在人的手上佩戴一些传感设备，对人手运动的速度，加速度等物理量进行信号分析，从而获得手势的信息。这种方式比较有利于获得手势的运动信息，识别率比较高，实时性也比较好，但是，由于需要穿戴传感设备，使得这种交互方式变得不方便也不自由，而且这些传感设备也比较昂贵。相比较而言，基于视觉的手势识别不需要价格昂贵的传感设备，只是利用摄像头拍摄到手势的图像数据，然后对图像数据进行处理分析。这种方式自然，方便，不需要佩戴专用设备，为人机交互提供了一种直观的交流方式，但是它的识别率还比较低，实时性也不好，比较容易受到光照，背景等的干扰。因此对于这种方式还有待于研究者的进一步研究。目前，基于视觉的手势识别的过程一般是：采集手势图像，对图像进行预处理，特征提取，识别分类。其中，对识别结果影响比较大的是特征提取和分类器的设计。比较常用的特征有SIFT(Scale-InvariantFeatureTransform,尺度不变特征转换)、HOG(HistogramofGradient,梯度方向直方图)，LBP(LocalBinaryPattern，局部二值模式)，角点特征等。但是单一的特征往往不能很好地描述图像，从而分类的结果也不尽如人意。2013年3月，张汗灵、李红英、周敏在湖南大学学报(自然科学版)上发表的文章《融合多特征和压缩感知的手势识别》，该文章提出了一种融合手势的Zernike矩和HOG特征，利用CS(CompressiveSensing,压缩感知)算法进行分类的手势识别方法，但是，这两种特征都不能很好地描述出手势的局部纹理特征，并且在融合这两种特征的时候赋予了它们相同的权值，从而没有体现出哪种特征对识别的结果影响较大。2014年6月，杨磊发表了硕士学位论文《融合多特征和压缩感知的手势识别》，在该论文中首先利用基于YCbCr颜色空间的阈值自适应方法和Hu矩手型比较算法进行分割得到手势区域，然后提取手势的SURF(Speed-UpRobustFeatures,加速鲁棒特征)和Hu矩特征，融合这两种特征利用CS算法进行分类。但是，Hu矩只用到低阶矩，不能很好地描述图像的细节。中国专利文献CN104299004A公开了一种基于多特征融合和指尖检测的手势识别方法。包括训练过程和识别过程：训练过程中，针对复杂的手势，选择合理的手势特征，并利用多特征融合的特征提取算法，对手势进行支持向量机训练，形成训练模型。识别过程中，针对输入的视频图像序列，首先进行手势检测，再进行多特征提取和融合并输入到支持向量机中得到识别结果；同时，对手势进行基于缺陷的指尖检测，通过缺陷筛选器，定位到手指各指尖的位置，然后，将两次识别和检测结果进行综合，得到最终的手势识别结果。但是，该专利中存在以下缺陷：其融合的多特征包括Hu矩特征，缺陷特征和六个比例特征本质上都属于一种特征就是手势的形状特征，提取形状特征对预处理时手势的分割要求比较高；该专利中利用支持向量机进行训练和识别，支持向量机的计算复杂度比较高。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于视觉的静态手势识别方法；本专利技术融合了两种常见的特征—LBP和CSS角点特征，并且采用CS算法设计分类器。LBP是一种图像局部纹理特征的描述符，CSS是从图像的全局角度检测图像的局部角点特征，通过融合这两种特征，可以弥补它们各自的缺陷，提高分类效果，通过在JochenTriesh手势数据库上进行的实验，证明该种手势识别方法能够提高手势的识别率、准确率。术语解释CSS，CurvatureScaleSpace的缩写，是指曲率尺度空间；本专利技术的技术方案为：一种基于视觉的静态手势识别方法，具体步骤包括：A、训练阶段(1)采集训练手势图像样本；(2)对步骤(1)采集到的训练手势图像进行预处理；(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；B、测试阶段(6)采集测试手势图像样本；(7)对步骤(6)采集到的测试手势图像进行预处理；(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类。根据本专利技术优选的，步骤(2)、步骤(7)所述预处理，具体包括：a、将彩色图像变换为灰度图像；b、利用基于阈值的二值化方法对步骤a得到的灰度图像进行处理，得到手势的二值图像；c、对步骤b得到的手势的二值图像进行形态学处理，得到手势区域平滑的二值图像；d、采用边缘检测算法得到手势的轮廓边缘。根据本专利技术优选的，步骤(3)、步骤(8)所述提取手势图像的LBP特征向量，具体包括：e、设定所述手势图像中的一个像素点为中心像素点，则以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBPP-R的求取公式如式(Ⅰ)所示：式(Ⅰ)中，gc表示中心像素点的灰度值，gi表示中心像素点的第i个邻域像素点的灰度值；s(gi-gc)表示第i个邻域像素点的LBP编码，即若gi≥gc则该第i个邻域像素点的LBP编码为1，若gi<gc则该第i个邻域像素点的LBP编码为0；R为1个或2个像素，P为8个或16个像素；步骤e中，比较常用的有LBP4-1、LBP8-1、LBP8-2、LBP16-2，随着P和R越来越大，LBP值会急剧增大，导致效率低下。该计算过程就是以中心像素点的灰度值为阈值，将周围相邻的P个像素点的灰度值与其进行比较，若某个像素点的灰度值大于或等于中心像素点的灰度值，则将该像素点的位置标为1，否则标为0。于是，周围相邻的P个像素点产生Pbit的无符号的二进制数，这个二进制数作为LBP编码，将其转化为十进制数，即得到以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBPP-R。按照上述方法每个像素点都可以得到一个LBP编码和LBP值，由LBP值组成了一幅LBP图像。f、判断步骤e获取的LBP编码是否为均匀的LBP编码，将步骤e获取的LBP编码首尾相连，如果至多有两次0和1之间的转换，则该LBP编码为均匀LBP编码，将均匀LBP编码图像的统计直方图作为手势图像的LBP特征。根据本专利技术优选的，R为1个像素，P为8个像素。根据本专利技术优选的，步骤(4)、步骤(9)所述提取手势图像的CSS角点特征，具体包括：g、找到步骤(2)、步骤(7)预处理后的手势图像的轮廓上的T形交叉点，标记为T形角点，设定手势图像的轮廓函数为本文档来自技高网...

【技术保护点】
一种基于视觉的静态手势识别方法，其特征在于，具体步骤包括：A、训练阶段(1)采集训练手势图像样本；(2)对步骤(1)采集到的训练手势图像进行预处理；(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；B、测试阶段(6)采集测试手势图像样本；(7)对步骤(6)采集到的测试手势图像进行预处理；(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类。

【技术特征摘要】
1.一种基于视觉的静态手势识别方法，其特征在于，具体步骤包括：A、训练阶段(1)采集训练手势图像样本；(2)对步骤(1)采集到的训练手势图像进行预处理；(3)提取步骤(2)预处理后的训练手势灰度图像的LBP特征；(4)提取步骤(2)预处理后的训练手势轮廓图像的CSS角点特征；(5)融合步骤(3)得到的训练手势图像的LBP特征及步骤(4)得到的训练手势图像的CSS角点特征，训练基于压缩感知理论的分类器；B、测试阶段(6)采集测试手势图像样本；(7)对步骤(6)采集到的测试手势图像进行预处理；(8)提取步骤(7)预处理后的测试手势灰度图像的LBP特征；(9)提取步骤(7)预处理后的测试手势轮廓图像的CSS角点特征；(10)融合步骤(8)得到的测试手势图像的LBP特征及步骤(9)得到的测试手势图像的CSS角点特征，利用步骤(5)训练好的分类器进行分类；步骤(4)、步骤(9)提取手势图像的CSS角点特征，具体包括：g、找到步骤(2)、步骤(7)预处理后的手势图像的轮廓上的T形交叉点，标记为T形角点，设定手势图像的轮廓函数为Г(μ)＝(x(μ),y(μ))，将轮廓上的点用弧长参数μ表达，x(μ)是轮廓上点的横坐标，y(μ)是轮廓上点的纵坐标；将Г(μ)在不同尺度的高斯函数g(μ，σ)下滤波得到不同尺度下的轮廓函数Гσ(μ)＝(X(μ,σ),Y(μ,σ))，X(μ,σ)＝x(μ)*g(μ，σ)，Y(μ,σ)＝y(μ)*g(μ，σ)，σ是尺度参数，*为卷积运算符；计算在一个较低的尺度σ下的轮廓函数Гσ(μ)的曲率κ(μ，σ)，所述较低的尺度σ的取值范围为3.0-4.0，如式(Ⅱ)所示：式(Ⅱ)中，h、将步骤g得到的局部曲率极大点作为候选角点，利用式(III)确定候选角点的局部自适应阈值T(μ1)，式(III)中，μ1是候选角点在曲线上的位置，表示候选角点的邻域区域内的平均曲率，L1和L2是邻域区域的大小，i表示邻域区域内的点，κ(i)表示邻域区域内的点的曲率，C为一个系数，C的取值范围为1<C<2，将局部自适应阈值与候选角点的曲率进行比较，如果该候选角点的曲率小于其局部自适应阈值，则将该候选角点剔除；i、利用自适应支持区域检测候选角点的角度，如果候选角点的角度取值范围为170°-190°，则将其剔除。2.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，步骤(2)、步骤(7)所述预处理，具体包括：a、将彩色图像变换为灰度图像；b、利用基于阈值的二值化方法对步骤a得到的灰度图像进行处理，得到手势的二值图像；c、对步骤b得到的手势的二值图像进行形态学处理，得到手势区域平滑的二值图像；d、采用边缘检测算法得到手势的轮廓边缘。3.根据权利要求1所述的一种基于视觉的静态手势识别方法，其特征在于，步骤(3)、步骤(8)提取手势图像的LBP特征向量，具体包括：e、设定所述手势图像中的一个像素点为中心像素点，则以中心像素点为圆心、半径为R的P个邻域像素点上的LBP值LBPP-R的求取公式如式(Ⅰ)所示：式(Ⅰ)中，gc表示中心像素点的灰度值，gi表示中心像素点的第i个邻域像素点的灰度值；s(gi-gc)表示第i个邻域像素点的LBP编码，即若gi≥gc则该第i个邻域像素点的LBP编码为1，若g...

【专利技术属性】
技术研发人员：杨明强，庄会伟，贲晛烨，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37