一种手势识别方法及其应用技术

本发明专利技术提供了一种手势识别方法及其应用，属于智能教学领域。该手势识别方法包括：(1)，输入Kinect捕捉的深度图，进行样本序列预处理，获得合成的动态手势训练样本；(2)将合成的动态手势训练样本输入到训练好的深度学习模型中进行识别：训练好的深度学习模型根据分类输出每种分类的识别概率，找到其中最高的识别概率，其对应的分类就是识别的结果。利用本发明专利技术方法提高了手势的识别率以及鲁棒性，让老师能够用平常讲课过程中用到的自然手势来给学生上课,而不必重点记忆交互的方法,将有限的精力完全用于教学当中。

A gesture recognition method and its application

【技术实现步骤摘要】
一种手势识别方法及其应用
本专利技术属于智能教学领域，具体涉及一种手势识别方法及其应用。
技术介绍
随着电子技术的发展,电子音像设备的产生,教室的形态经历了从传统教室,到电子教室,多媒体教室,以及到如今的智能教室.越来越多的电子设备在教室中的应用,使得教师在教学过程中需要不断的提高对这些多媒体设备的操控技能,即使目前最广泛也是比较先进的电子白板,也需要老师去进行接触式的交互,才能达操控的目的.这样就使得教师对于交互本身的关注过多,有限的精力不能完全用于教学。基于交互手势的智能教学系统的核心是手势识别算法，目前比较常用的手势识别算法需要人工设计特征提取和分类器,识别结果的鲁棒性、推广性,以及对于多类型手势的识别率很难满足智能手势教学界面的要求。例如,Dardas等(请参考文献“DardasNH,GeorganasND.Real-timehandgesturedetectionandrecognitionusingbag-of-featuresandsupportvectormachinetechniques.InstrumentationandMeasurement,IEEETransactionson,2011,60(11):3592-3607”)通过对图像进行尺度不变性特征变换和矢量化特征提取,然后用特征包和多类支持向量机(请参考文献“WESTONJ,WATKINSC.Supportvectormachinesformulti-classpatternrecognition:ProceedingsoftheseventhEuropeansymposiumonartificialneuralnetworks,1999[C].Bruges:[s.n.],1999,4(6):219-224”)对手势进行识别,该方法可以得到较好的手势识别效果.但是由于SIFT算法[7]的计算复杂度高导致识别速度较慢,实时性差,Kuremoto等(请参考文献“KuremotoT,KinoshitaY,FengL,etal.Agesturerecognitionsystemwithretina-V1modelandone-passdynamicprogramming.Neurocomputing,2013,116:291-300”)提出了一种基于动态规划(DP)的手势识别方法.首先用hsv-rgb滤波器对肤色区域进行分割,然后用retina-v1模型在8邻域内对手势进行简单的运动估计,最后用DP算法进行手势识别.Haitham等(请参考文献“HaithamH,Abdul-KareemS.Statichandgesturerecognitionusingneuralnetworks.ArtificialIntelligenceReview,2012:1-35”)提出一种利用神经网络进行手势识别的方法,该方法通过边缘检测提取样本几何矩特征和轮廓特征,然后利用神经网络对手势进行识别,该方法对于动态手势识别率较好,卷积神经网络可以有效识别动态手势.Li等(请参考文献“LiYT,WachsJP.HEGM:Ahierarchicalelasticgraphmatchingforhandgesturerecognition.PatternRecognition,2014,47(1):80-88”)提出了一种利用分层弹性图匹配(HEGM)的手势识别方法,用Boosting算法来确定一个给定的图形的层次结构,利用梯度方向直方图(HOG)提取视觉特征.Padam等(请参考文献“PadamPriyalS,BoraPK.ArobuststatichandgesturerecognitionsystemusinggeometrybasednormalizationsandKrawtchoukmoments.PatternRecognition,2013,46(8):2202-2219”)提出一种基于几何标准化和Krawtchouk矩特征的静态手势识别算法,根据手势测量方法把手从手和前臂区域中提取出来,再用Krawtchouk矩特征和最小距离分类器把手势轮廓进行归一化,该方法对小的训练样本集能够进行很好的识别。这些手势识别方法都有一个很明显的缺陷就是:学习能力不足、效率不高,且手势识别的正确率有一定的局限性,不具有一般性.深度学习的概念(请参考Hinton,G.E.andSalakhutdinov,R.R.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,Pages:504-507；Hinton,G.E.,Osindero,S.andTeh,Y.Afastlearningalgorithmfordeepbeliefnets[C].NeuralComputation,2006,Pages:1527-1554；Hinton,G.E.:Learningmultiplelayersofrepresentation[C].TrendsinCognitiveSciences.2007,Pages:428–434；Ackley,D.H.,Hinton,G.E.,Sejnowski,T.J.:AlearningalgorithmforBoltzmannmachines.CognitiveScience,1985.(9),Pages:147-169)是GeoffreyHinton等人提出来的,主要通过多层(通常有6-9层)网络来模拟人的大脑的学习过程,将特征提取和分类合并到一个学习模型中,减少了人工/人为在设计特征中的工作,即可自动提取特征、如“自动编码”。Caffe(ConvolutionaArchitectureforFastFeatureEmbedding)(请参考文献“J.Donahue,Y.Jia,O.Vinyals,J.Hoffman,N.Zhang,E.Tzeng,andT.Darrell.Decaf:Adeepconvolutionalactivationfeatureforgenericvisualrecognition.ICML,2014”)是目前在图像领域应用最为广泛的深度学习平台。
技术实现思路
本专利技术的目的在于解决上述现有技术中存在的难题，提供一种手势识别方法及其应用，针对交互式教学界面中的6种动态手势,提高识别率以及鲁棒性,使整个交互式教学界面更好的为智能教学系统服务。本专利技术是通过以下技术方案实现的：一种手势识别方法，包括：(1)，输入Kinect捕捉的深度图，进行样本序列预处理，获得合成的动态手势训练样本；(2)将合成的动态手势训练样本输入到训练好的深度学习模型中进行识别：训练好的深度学习模型根据分类输出每种分类的识别概率，找到其中最高的识别概率，其对应的分类就是识别的结果。所述步骤(1)是这样实现的：(11)Kinect捕捉深度信息以及人体骨骼信息,并根据深度信息以及人手的质心点坐标生成人体深度图；(12)Kinect捕捉手势序列，对手势序列的每一帧的人体深度图进行分割处理，生成人手深度图；(13)获取所述人手深度图的包围盒,将每张图片按照包围盒进行分割本文档来自技高网...

【技术保护点】
一种手势识别方法，其特征在于：所述手势识别方法包括：(1)输入Kinect捕捉的深度图，进行样本序列预处理，获得合成的动态手势训练样本；(2)将合成的动态手势训练样本输入到训练好的深度学习模型中进行识别：训练好的深度学习模型根据分类输出每种分类的识别概率，找到其中最高的识别概率，其对应的分类就是识别的结果。

【技术特征摘要】
1.一种手势识别方法，其特征在于：所述手势识别方法包括：(1)输入Kinect捕捉的深度图，进行样本序列预处理，获得合成的动态手势训练样本；(2)将合成的动态手势训练样本输入到训练好的深度学习模型中进行识别：训练好的深度学习模型根据分类输出每种分类的识别概率，找到其中最高的识别概率，其对应的分类就是识别的结果。2.根据权利要求1所述的手势识别方法，其特征在于：所述步骤(1)是这样实现的：(11)Kinect捕捉深度信息以及人体骨骼信息,并根据深度信息以及人手的质心点坐标生成人体深度图；(12)Kinect捕捉手势序列，对手势序列的每一帧的人体深度图进行分割处理，生成人手深度图；(13)获取所述人手深度图的包围盒,将每张图片按照包围盒进行分割得到图片序列；(14)获取每组图片序列的序列长度M,采用首尾帧固定、中间帧遍历组合的方式合成动态手势训练样本。3.根据权利要求2所述的手势识别方法，其特征在于：所述步骤(11)中的人手的质心点坐标是这样得到的：Kinect捕捉到的26个人体骨骼信息中包括有左、右手的质心点坐标信息，将这些质心点坐标信息提取出来即得到人手的质心点坐标。4.根据权利要求3所述的手势识别方法，其特征在于：所述步骤(12)是这样实现的：根据深度信息以及人手的质心点坐标,将质心点前后3cm的距离确定为人手区域,将人手区域从人体深度图像中切割出来,生成人手深度图。5.根据权利...

【专利技术属性】
技术研发人员：周晓燕，冯志全，陈乃阔，赵永国，谢玮，马争光，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37