一种基于多核学习异构特征融合的手势识别方法技术

本发明专利技术涉及一种基于多核学习融合异构特征的手势识别方法，包括以下步骤：对手势图像进行手势分割，提取分割后手势图像的三种不同类型的特征，生成特征描述子，利用支持向量机的核函数生成三种特征的基础核，根据核函数的相关理论将三种基础核加权融合为融合核，利用多核学习算法计算基础核的最佳融合权值和支持向量机的分类模型。通过求取的融合核，利用训练好的支持向量机模型判别未知类别的手势的所属类别，实现手势识别。本发明专利技术将核函数理论与多核学习算法相结合，实现了图像异构特征的融合，增加了支持向量机用于手势识别的泛化能力，提高了识别多类手势的识别率。

【技术实现步骤摘要】
-种基于多核学习异构特征融合的手势识别方法
本专利技术属于图像处理与模式识别领域，具体涉及一种基于多核学习异构特征融合 的手势识别方法。
技术介绍
以和谐、自然为主题的人机交互方式已经成为未来人机交互技术的发展趋势。这 样的技术已经成为当今世界的热点研究问题。手势识别是一种新型的人机交互技术，基于 计算机视觉的静态手势识别系统具有自然、直观、易于学习等优点。静态手势识别主要有以 下几方面应用①虚拟环境的交互②手语识别③机器人机械手的抓取。所以，设计简单、高 效、易于实现的手势识别系统已经成为图像处理与模式识别领域研究者的研究热点。 支持向量机是一种成熟的模式识别算法，在手势识别问题中得到了很好的应用。 该技术应用到手势识别的主要问题为： (1)利用特征包特征和支持向量机进行手势识别，该算法的主要缺点是单一特征 不能完整地描述手势图像特征。在形成图像特征的过程中，丢失了全局特征。最终造成识 别率的不稳定性。 (2)采用Hu矩和支持向量机的手势识别。该方法同样因为特征单一而具有一定的 局限性，对于相关参数的选择要求苛刻。这种方法的系统稳定性较差。 (3)采用多个摄像头采集图像不同角度的特征，建立多个支持向量机，然后用投票 的方式识别手势。这种方法的主要缺点是随着识别种类增加，识别率会明显降低，不利于多 类手势识别。而且系统比较繁琐，参数过多，不易实现。 此外，在选择支持向量机核函数时，没有一种统一的方法选择核函数，大都采用经 验法。这就导致核函数以及核函数参数的选择对识别结果有很大影响。所以，基于单一核 函数的支持向量机分类算法很难满足复杂分类问题的需要，尤其对于多源异构数据分类 问题，单核算法更是显得力不从心。寻找一种算法，融合特征和核函数，从而提高支持向量 机的泛化能力，已经成为支持向量静态手势识别的研究重点。
技术实现思路
为了克服上述现有技术存在的不足，本专利技术设计了一种基于图像特征融合与多核 支持向量机的手势识别方法；解决了现有技术中手势识别的识别率低问题。 本专利技术解决其技术问题所采用的技术方案包括以下步骤： 步骤1，在带有手势的图像中进行手势分割； 步骤2,对定位后的手势图像进行特征提取； 步骤3,利用提取的特征构建基础核并加权融合基础核； 步骤4,利用多核学习算法训练支持向量机，得到最优融合权值和支持向量机最优 分类超平面；通过构建未知类别的手势图像的融合核和训练好的支持向量机判别手势所属 类别，实现手势识别。 本专利技术具有以下有益效果及优点： 1.本专利技术通过提取图像的点特征，线特征和面特征，能够更加充分、准确、全面地 描述手势图像特征，总体方法能够提高多类相似手势的识别率。 2.本专利技术通过建立基础核，将三种异构特征统一为相同的结构。利用核函数理论 将三种特征加权融合为融合核。该融合核同时具备三种特征的优点。 3.本专利技术设计了一种多核学习算法解决融合核权值的求解问题。同时，得到了支 持向量机的最优分类超平面，即支持向量机模型。提高了支持向量机的泛化能力。显著提 高了手势识别的识别率。 【附图说明】 图1为本专利技术的算法流程图。 图2a为形状上下文提取手势图像特征示意图。 图2b为形状上下文提取手势图像特征描述子示意图。 图3a为多核学习算法训练示意图。 图3b为多核学习算法识别示意图。 【具体实施方式】 下面结合实例对本专利技术做进一步的详细说明。 本专利技术主要包括手势分割、手势图像特征提取、基础核的构造与融合、多核支持向 量机的训练与识别四个部分。图1为本专利技术算法的系统流程图，具体步骤如下： 一 ?手势分割 1.通过摄像头拍摄手势图像，收集不同人的不同手势若干张图像训练图像集，预 先设置训练集中各类手势的含义。 2.手势分割：对拍摄的所有手势图像进行分割处理。首先，对图像进行光照补偿 处理。然后，采用设定HSV颜色空间阈值的方法分割手势区域。分割后的手势图像背景为 黑色人手部分为彩色。最后，将图像的灰度化，以便后续特征提取。 二?手势图像特征提取 3.本专利技术提取图像的形状上下文特征、梯度方向直方图特征和特征包特征，这三 种特征分别代表了图像的点特征、线特征和面特征。描述这三种特征的特征向量维数各不 相同，是异构特征。 三?基础核的构造和融合 4.构造基础核具体方法是：利用Chamfer构造形状上下文特征的基础核，这个基 础核的意义是描述了两幅图像特征向量之间的距离。利用直方图相交核构造梯度方向直方 图和特征包特征的基础核。这个基础核的意义是描述两张图像特征向量的相交程度。这样， 构造的三个基础核具有了相同的维数。依据支持向量机核函数的理论，将金字塔方向直方 图特征在不同层金字塔上构造的基础核加权求和，得到特征内的融合核。然后，再将不同类 型的特征的基础核加权求和。得到三种特征的融合核，实现图像异构特征的融合。 四.多核支持向量机的训练与手势识别 5.多核支持向量机的训练：用构造的最终的融合核训练支持向量机，本专利技术提出 了一种多核学习算法，利用传统的支持向量机理论，将融合核看成一个核函数训练支持向 量机。并运用最优化的理论，将支持向量机的问题转化为求取一个最小最大最优化问题。同 时求出了最优融合权值和最优分类超平面。 6.手势识别：经过步骤1、2、3、4和5中求得的最优融合权值生成输入手势图像的 融合核。 7.利用步骤5得到的最优分类超平面判别步骤6得到的手势融合核所属的手势类 另IJ，得到识别结果。 本专利技术具体包括以下步骤： (1)手势分割，找到手势在图像中的位置。本专利技术采用Logitech摄像头采集彩色 RGB图像，图像像素为176X144。拍摄背景无类似肤色区域，被采集人需要穿着与肤色有 明显颜色差异的长袖上衣，目的是防止手臂对分割带来影响。首先，对采集的图像进行光 照补偿预处理，使得后续分割处理对光照有一定的抗干扰能力。然后，将手势图像转化到 HSV颜色空间，即色调（H)，饱和度（S)，亮度（V)。因为人手肤色在HSV颜色空间具有聚类 特性。本专利技术设定阈值为色调的范围为[0, 20]，饱和度的范围为[30, 150]，亮度的范围为 [80, 225]，对人手区域进行粗分割。然后，对粗分割后的手势图像进行平滑、去噪、填充空洞 等细分割处理，并检测图像中物体的边缘。最后，通过寻找图像中较大的轮廓区域找到手的 精确位置并分割人手区域，使得图片中背景为黑色，人手区域为肤色。将图像灰度化，目的 在于有利于特征提取算法生成特征向量。 (2)手势图像特征提取与描述。说明了三种手势图像特征提取过程。各手势特征 的生成具体过程如下： (2. 1)形状上下文特征：形状上下文特征是由Belongie等人于2002年首先提出 的。算法的基本思想是利用物体形状的采样点描述物体的形状信息，生成特征描述符。该 描述符是一个描述轮廓中的特定点与其他点之间关系的描述符。本专利技术在表示形状时，首 先会在形状的轮廓上生成230个采样点；建立5X12的极坐标图，对其中每一个采样点利用 其周围采样点的分布信息生成一个向量，来表示这个点的描述符。将本文档来自技高网...

【技术保护点】
一种基于多核学习异构特征融合的手势识别方法，其特征在于包括以下步骤： 步骤1，在带有手势的图像中进行手势分割； 步骤2，对定位后的手势图像进行特征提取； 步骤3，利用提取的特征构建基础核并加权融合基础核； 步骤4，利用多核学习算法训练支持向量机，得到最优融合权值和支持向量机最优分类超平面；通过构建未知类别的手势图像的融合核和训练好的支持向量机判别手势所属类别，实现手势识别。

【技术特征摘要】
1. 一种基于多核学习异构特征融合的手势识别方法，其特征在于包括以下步骤： 步骤1，在带有手势的图像中进行手势分割； 步骤2,对定位后的手势图像进行特征提取； 步骤3,利用提取的特征构建基础核并加权融合基础核； 步骤4,利用多核学习算法训练支持向量机，得到最优融合权值和支持向量机最优分 类超平面；通过构建未知类别的手势图像的融合核和训练好的支持向量机判别手势所属类 另IJ，实现手势识别。2. 根据权利要求1所述的一种基于多核学习异构特征融合的手势识别方法，其特征在 于所述的步骤1中，通过摄像头拍摄手势图像，收集不同人的不同手势图像训练图像集，预 先设置训练集中各类手势的含义；对拍摄的所有手势图像进行分割处理，首先，对图像进行 光照补偿处理；然后，采用设定HSV颜色空间阈值的方法分割手势区域；分割后的手势图像 背景为黑色人手部分为彩色；最后，将图像灰度化，以便后续特征提取。3. 根据权利要求1所述的一种基于多核学习异构特征融合的手势识别方法，其特征在 于所述的步骤2中： 步骤2. 1，提取手势图像的形状上下文特征； 步骤2. 2,构建图像金字塔，并提取图像金字塔中每层手势图像的梯度方向直方图特 征； 步骤2. 3,提取手势图像的特征包特征。4. 根据权利要求1所述的一种基于多核学习异构特征融合的手势识别方法，其特征在 于所述的步骤3中， 步骤3. 1，通过Chamfer距离和直方图相交核构建三种特征的基础核； ? Kpoint (x, y) = g (xsc, ysc) 其中，xs。和ys。是图像的形状上下文描述子；Klroint (x，y)为形状上下文特征的基础核； ② d (夂.V)=(Aog，JV)，(7= 1，2, 3, 4) 其中，1_和711。8是图像的梯度方向直方图特征的描述子，￡1^(^)为第1层梯度方 向直方图特征的基础核； ③ Kapp (X，y) - Kint (xb...

【专利技术属性】
技术研发人员：曹江涛，余思泉，李平，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：辽宁;21