一种误识手势检测和纠错方法技术

本发明专利技术提供了一种误识手势检测和纠错方法，属于手势识别领域。所述误识手势检测和纠错方法将任意一张手势的图片i输入到卷积神经网络进行识别得到类别号m，然后提取该图片i在卷积神经网络中的第5层卷积层的特征，计算第6通道和第58通道上的三维曲面峰值，通过对三维曲面峰值的判断实现对误识手势检测和纠错。本发明专利技术方法与传统的方法相比准确率提高了20％左右。

A Method of Misunderstanding Gesture Detection and Error Correction

The invention provides a method for detecting and correcting mistaken gestures, which belongs to the field of gesture recognition. The method of detecting and correcting the wrong hand gesture input the image I of any gesture into the convolution neural network to recognize the class number m, then extract the features of the image I in the convolution layer of the convolution neural network, calculate the three-dimensional surface peaks on channels 6 and 58, and realize the detection and correction of the wrong hand gesture by judging the peak value of the three-dimensional surface. Compared with the traditional method, the accuracy of the method is improved by about 20%.

【技术实现步骤摘要】
一种误识手势检测和纠错方法
本专利技术属于手势识别领域，具体涉及一种误识手势检测和纠错方法。
技术介绍
静态手势识别是指从单一的手势图像或者从视频流的某一帧图像中，检测出手势的区域，并且判断出该手势所表达的信息的一种图像识别方法。静态手势识别是动态手势识别的重要组成部分，静态手势识别的研究成果可以应用在动态手势识别中。机器学习的方法是静态手势识别中一种常见的应用手段。Papamarkos等人对手势的几何形态进行了研究，采用神经网络的方法查找出手指的区域，通过手指的区域定位手势的质心，实验表明该方法具有良好的识别效果。Georganas等人对手势进行分割和二值化处理后，采用Haar-like方法提取手势的特征，并结合AdaBost算法对特征进行训练，该方法简单有效，具有良好的实时性。Muller等人采用贝叶斯方法识别手势，该方法可识别出手势的多种形态。Wangenheim等人对比了各种基于机器学习的手势识别技术，最后表明基于支持向量机的特征训练方法对手势的识别率较高。Ja1ab等人采用小波变换提取手势的特征，并结合神经网络方法进行训练，对六种手势取得了较好的识别效果。浙江大学的王修阵等人通过建立手势特征库，对手势采用自适应遗传算法与特征库进行匹配实现手势识别。东北大学的覃文军等人将傅立叶描述子和BP神经网络结合起来，实现了手势的识别。浙江工业大学的姚明海等人采用PCA方法对手势进行在线识别，通过在线的不断更新，能够对手势实现较高的识别率。基于几何特征的手势识别方法也是手势识别中的常用算法。Priyal等人采用矩特征来识别手势的几何形态，并对特征进行归一化，该方法对手势的扭曲具有一定的鲁棒性。Akhte等人提取手势的轮廓并将其映射到三维向量空间中进行识别，该方法可以识别十种手势。同济大学的王晓年等把二值化的手势图像分割成多个区域，计算出每个区域内目标的分布来识别手势。湖南大学的张汗灵等采用梯度方向直方图方法描述手势的局部边缘信息，并采用Zernike矩描述手势的整体信息，实验证明该方法对光照和尺度缩放具有鲁棒性。总体来说，静态手势识别方法依赖于手势鲁棒特征的选取以及机器学习中模型参数的训练，而鲁棒的手势特征对训练模型的泛化能力又具有举足轻重的地位，但在实际应用中，由于手势具有千差万别的变化形态，使得手势识别的准确率受到了影响。动态手势的识别方法与静态手势不同，动态手势的识别需要获取目标运动的速度、角度和方向等信息(可参考文献“闯跃龙,陈岭,陈根才.基于层次化BoF模型和Spectral—HIK过滤的手势识别算法[J].浙江大学学报:工学版,2013(9):1531-1536”)。基于隐马尔科夫模型(HMM)的手势识别方法是动态手势识别的常用方法。Michaelis等利用HMM模型对手势的动态轨迹进行了识别。Stergiopoulou等人将神经网络方法和HMM方法结合使用，可以提高动态手势的识别效果，并且该方法具有光照鲁棒性。Shrivastava将手势图像映射到Lab色彩空间下，提取手势的矩特征和运动方向特征，之后基于隐马尔科夫模型对手势进行识别，具有较好的识别效果。中国科学院的王西颖等将模糊神经网络与隐马尔科夫模型相结合，该方法对动态手势的识别效果较好。动态时间规整算法(DTW,DynamicTimeWarping)也是动态手势识别中的常用算法。上海交通大学的刘江华等人采用光流法识别手势的运动方向，并用主成分分析法进行降维，最后结合DTW方法来识别手势。在其它的动态手势识别方法中，Signoriello等人在动态手势识别中融入静态手势识别的技术，可以实现简单的人机交互。东南大学的包加桐等人将surf特征用于动态手势的识别中，识别速度较快，但是该方法容易受到应用场景的影响。祝远新等人对基于表观特征的动态手势进行建模及识别。动态的手势识别，在每一帧图像对运动手势的手型的分析与识别中，离不开静态手势识别的研究成果，因而静态手势识别是动态手势识别的重要组成部分，可以融合静态手势识别的方法来提高其准确率。在智能高速发展的今天，智能纠错算法已应用到生活的很多领域，例如，吉林大学的王愚(可参考文献“王愚,基于图像特征提取的开关安装智能纠错系统的设计与实现[D].吉林大学,2016”)提出基于图像特征提取的开关安装智能纠错，通过工业摄像机对开关面板进行拍照，提取图像特征，通过与事先设置好的模板图像的数据进行匹配，以此来判断开关按键的安装是否正确。叶旸(可参考文献“叶旸,张雪凡,刘源,王臣,黄庆.可穿戴式智能音乐纠错系统[J].电子测量技术,2017,40(08):240-245”)设计了一种可穿戴式智能音乐纠错系统，能够及时地提醒音乐练习者的演奏错误。该系统能实时采集演奏者弹奏的乐音信息，由短时平均能量法找出乐音端点后对端点间信号做FFT和次谐波求和提取基频作为频域特征，将两乐音端点间时间差作为时域特征，通过与标准乐音对比找出演奏过程中的错误所在，系统及时提醒演奏者并将错误记录。中国科技大学郑文曦(可参考文献“郑文曦,包西林,郭辰,姚倩,吴敏.自动拼写校对的算法设计和系统实现[J].科技和产业,2013,13(02):144-148”)提出通过统计CLEC(ChineseLearnerEnglishCorpus)中的单词信息而建立了一个基于CLEC的语言模型，以该算法对检查出为错误的单词给出纠错建议，提出英语单词的自动拼写纠错算法。Suhm(可参考文献“B.Suhm,B.Myers,A.Waibel.MultimodalErrorCorrectionforSpeechUserInterfaces[J].ACMtransactionsoncomputer-humaninteraction(TOCHI),2001,8(1):60-98”)提出多模式纠错方法，使用户无需键盘输入即可有效纠正识别错误。通过使用上下文信息来校正输入的识别算法。Samir(可参考文献“A.Samir,M.Aboul-Ela.ErrorDetectionandCorrectionApproachforArabicSignLanguageRecognition[C].ComputerEngineering&Systems(ICCES),IEEE,2012:117-123.[43]K.Katsuragawa,A.Kamal,E.Lank.EffectofMotion-GestureRecognizerErrorPatternonUserWorkloadandBehavior[C].Proceedingsofthe22ndInternationalConferenceonIntelligentUserInterfaces.ACM,2017:439-449”)提出了一种基于自然语言处理规则的后处理模块，用于检测和纠正识别系统产生的预期误差。提出了一种语义导向的方法，可以纠正语义层面的错误以及词法错误，尤其对于领域特定的手语识别错误检测和纠正更为准确。然后在这些研究中，目前还没有成果是用来对识别出错的手势进行纠错处理的。
技术实现思路
本专利技术的目的在于解决上述现有技术中存在的难题，提供一种误识手势检测和纠错方法，提高手势识别的准确率。本专利技术是通过本文档来自技高网...

【技术保护点】
1.一种误识手势检测和纠错方法，其特征在于：所述方法将任意一张手势的图片i输入到卷积神经网络进行识别得到类别号m，然后提取该图片i在卷积神经网络中的第5层卷积层的特征，计算第6通道和第58通道上的三维曲面峰值，通过对三维曲面峰值的判断实现对误识手势检测和纠错。

【技术特征摘要】
1.一种误识手势检测和纠错方法，其特征在于：所述方法将任意一张手势的图片i输入到卷积神经网络进行识别得到类别号m，然后提取该图片i在卷积神经网络中的第5层卷积层的特征，计算第6通道和第58通道上的三维曲面峰值，通过对三维曲面峰值的判断实现对误识手势检测和纠错。2.根据权利要求1所述的误识手势检测和纠错方法，其特征在于：所述方法包括：(1)将任意一张手势的图片i输入到训练好的卷积神经网络中，输出卷积神经网络识别出的类别号m；(2)提取图片i在第5层卷积层的特征值；(3)计算图片i在第6通道上和第58通道上的三维曲面峰值w(i,6)，w(i,58)；(4)利用所述三维曲面峰值w(i,6)、w(i,58)实现对误识手势检测和纠错。3.根据权利要求2所述的误识手势检测和纠错方法，其特征在于：所述步骤(2)中的第5层卷积层是卷积神经网络caffenet的第5层；采用python接口获得图片i在第5层卷积层的特征值。4.根据权利要求2所述的误识手势检测和纠错方法，其特征在于：所述步骤(3)的操作包括：利用下式计算图片i在第6通道上和第58通道上的三维曲面峰值：W(i,j)＝max(max(Zi,j))，i∈m,j∈256(2)其中，Zi,j是采用下式计算得到的：Z＝griddata(x,y,z,X,Y,'v4')(1)其中z＝f(x,y)，...

【专利技术属性】
技术研发人员：冯志全，孙凯云，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37