一种基于特征金字塔与支持向量机的手势识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于特征金字塔与机器学习的手势识别方法及装置。本发明专利技术利用数据集中的手势数据信息，通过肤色模型筛选出手势数据区域，提取HOG特征向量，利用主成分分析法对手部信息进行特征提取和特征降维，将提取后的手势图像数据作为特征金字塔的输入，通过建立网络结构来融合特征向量与手部特征，得到最终的融合特征信息。然后将得到的融合特征信息与对应的姿势标签，作为SVM分类器特征的输入并进行训练，得到分类模型。本发明专利技术通过建立特征金字塔来融合手势特征信息，同时利用SVM来建立识别模型，最大程度地提取有效特征和去除来自手势外无关的冗余数据信息，实现完整识别数据集中的手势类型，提高了分类精度，加快了计算速度。算速度。算速度。

【技术实现步骤摘要】
一种基于特征金字塔与支持向量机的手势识别方法及装置


[0001]本专利技术属于针对手势识别分类
，具体涉及一种基于空间特征金字塔与机器学习的手势识别方法及装置。

技术介绍

[0002]近年来,机器学习(machine learning)领域快速发展,图像识别技术日益成熟,人机交互方式也随之改变。手势识别是人机交互中最简单、最直观的一种交互方式。该方式摆脱键盘、鼠标、按键等硬件束缚,具有简单易学、操作方便、动作直观等特点,极大增加用户体验感和人机互动性。
[0003]手势识别技术可分为两种:基于数据手套技术和基于机器视觉技术，国内外学者针对机器视觉手势识别技术都有相应的研究与发展。Mahmoud等利用YCbCr颜色空间和深度信息结合高斯混合概率模型(GMM)计算手部区域,利用隐马尔可夫模型(HMM)进行手势识别。Saha等利用Kinect传感器采集数据和隐马尔可夫模型(HMM)进行手势识别；隐马尔可夫模型(HMM)是手势识别领域常用的方法,该方法需要大量参数,对识别时间和效率有一定影响。Tusor等利用模糊神经网络(FNN)根据预处理后的手势数据建立手势特征模型,用模糊推理进行手势识别；该方法学习能力较弱,训练过程容易出现过拟合,识别效果不好。Marin等利用Leap motion传感器和深度相机提取指尖间角度、距离和空间坐标等参数作为手部特征,将特征馈送到SVM和随机森林进行手势识别,该方法对硬件的要求高,样本预处理较为复杂。任彧等运用方向梯度直方图(Histograms of Oriented Gradient)提取手势特征,利用SVM学习识别手势,消除了光照和手部旋转对手势识别的影响,但背景要求单一,识别准确率不高。朱越等利用HSV和RGB颜色空间联合进行手势分割,根据手势轮廓像素变化判断手势,该模型对肤色的抗干扰能力较差,适应面窄,识别种类局限。
[0004]针对复杂背景的手势识别分类算法的发展仍处于瓶颈期，如何正确利用和处理多个手势数据的相关性和冗余性、如何更好的消除背景噪声的干扰、如何在保证分类精度的前提下减少算法耗时等问题仍然是该领域发展的难点。

技术实现思路

[0005]为了解决上述
技术介绍
所存在的问题，本专利技术提供一种基于特征金字塔与支持向量机SVM的手势识别方法。
[0006]本专利技术的一方面提供了一种基于特征金字塔与支持向量机(SVM)的手势识别方法，包括以下步骤：
[0007]步骤1、提取20BN
‑
jester数据集的手势数据信息，利用肤色检测模型优先分割出图像中的手势部分，并对其进行图像的膨胀、腐蚀和闭运算处理，基于HU矩的图像特征提取HU不变矩常量；
[0008]20BN
‑
jester数据集是大量带有密集标签的视频剪辑的集合，该数据集由大量的人群工作者创建，它允许训练健壮的机器学习模型来识别人的手势，所以选择该数据集来
训练与验证算法；
[0009]图像的HU不变矩常量是一种具有平移，旋转和尺度不变性的图像特征；
[0010]HOG特征向量即局部归一化的梯度方向直方图，在图像提取算子的过程中，将图像窗口分为多个区域，每个区域记作cell，多个临近的cell组合成一个block块；
[0011]主成分分析(Principal Component Analysis，PCA)是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
[0012]步骤2、对图像数据做归一化处理，在归一化后的图像中提取HOG特征向量，具体是：对图像数据中的深度信息计算梯度值，使用一维离散微分模板，同时在图像的水平与垂直两个方向上计算每个cell的梯度。为cell构建梯度方向直方图，每个像素点为直方图通道进行加权投票，其权值根据像素点的梯度幅值进行高斯加权计算而来，然后求每个block块的梯度方向直方图向量，组合在一起生成HOG特征向量；
[0013]步骤3、对所有图像提取的HOG特征向量执行PCA，执行PCA可减少HOG特征向量的冗余内容，同时保留最能表现图像特征的部分特征向量；
[0014]步骤4、使用提取特征以后的手势图像数据作为空间金字塔的输入，在保持HOG特征向量原有优势的基础上与HU不变矩常量进行特征信息融合，具体步骤如下：
[0015]步骤4
‑
1根据空间金字塔的分层结构，构造成三个特征映射层；
[0016]步骤4
‑
2金字塔网络的前向过程，自下而上地传递HU不变矩常量，根据自身地权值d依次映射到下一层中，各阶段的最后一个残差结构的特征激活输出；
[0017]步骤4
‑
2金字塔网络的后向过程中，自上而下地传递HOG特征向量，分别采样映射到第四层，对四个特征映射层的信息进行加权之后叠加，输出一个矩阵向量，有效的表达出图像的局部特征与全局特征，更好地表示图像特征点的分布特性；
[0018]步骤5、依据第四步骤的分层结构与前后向过程来进行特征融合，匹配HOG特征向量与HU不变矩常量，得到最终的融合特征信息(记作Mess
last
)；
[0019]步骤6、使用第五步骤得到的Mess
last
与数据集中对应的姿势标签，作为分类器特征对SVM支持向量机进行训练，核函数选择采用高斯核函数(RBF)，最终得到SVM分类器；
[0020]步骤7、将测试样本经过预处理，特征提取与特征融合之后输入SVM支持向量机，测试分类器训练效果，输出识别到的手势所对应的标签。
[0021]本方面的另一方面提供了一种基于特征金字塔与支持向量机的手势识别装置，所述装置包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述手势识别方法。
[0022]本专利技术的有益效果：本专利技术通过建立特征金字塔融合HOG特征向量与HU不变矩常量，既保持了HOG特征向量本身对平移旋转的抗干扰性，可以部分抵消光照变换带来的影响，又增加了HU不变矩常量中对轮廓的描述信息，提升了对有用特征的定位，融合后的特征信息在识别中效果均优于单独的两个特征量，同时利用SVM来建立识别模型，最大程度地提取有效特征和去除来自手势外无关的冗余数据信息，实现完整识别数据集中的手势类型，提高了分类精度，加快了计算速度。
附图说明
[0023]图1为本专利技术的整体流程图。
[0024]图2为本专利技术使用的特征金字塔分层结构。
[0025]图3为本专利技术装置示意图。
具体实施方式
[0026]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，下面结合附图和实施例对本专利技术进一步说明。
[0027]如图1所示流程，本实施例首先选择公开数据集20BN
‑
jester数据集作为训练与测试的数据，对数据集中的训练数据做预先的图像处理，为后续的提取特征信息减少不必要的时间损耗。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征金字塔与支持向量机的手势识别方法，其特征在于所述方法步骤如下：步骤1、提取20BN
‑
jester数据集的手势数据信息，分割出图像中的手势部分，并对其进行图像预处理，基于HU矩的图像特征提取HU不变矩常量；步骤2、对图像数据做归一化处理，在归一化后的图像中提取HOG特征向量；步骤3、对所有图像提取的HOG特征向量执行主成分分析；步骤4、使用提取HOG特征向量以后的手势图像数据作为空间金字塔的输入，在保持HOG特征向量原有优势的基础上与HU不变矩常量进行特征信息融合；步骤5、依据第四步骤的分层结构与前后向过程来进行特征融合，匹配HOG特征向量与HU不变矩常量，得到最终的融合特征信息，记作Mess
last
；步骤6、使用第五步骤得到的Mess
last
与数据集中对应的姿势标签，作为分类器特征对SVM支持向量机进行训练，最终得到SVM分类器；步骤7、将测试样本经过预处理，特征提取与特征融合之后输入SVM支持向量机，测试分类器训练效果，输出识别到的手势所对应的标签。2.根据权利要求1所述的一种基于特征金字塔与支持向量机的手势识别方法，其特征在于：步骤1中的图像预处理包括膨胀、腐蚀和闭运算处理。3.根据权利要求1所述的一种基于特征金字塔与支持向量机的手势识别方法，其特征在于：步骤1中利用肤色检测模型优先分割出图像中的手势部分。4.根据权利要求...

【专利技术属性】
技术研发人员：洪慧，杨寅彦，王闰琛，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：