手势识别方法和装置制造方法及图纸

提供了手势识别方法和装置。获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像，利用分类器对该手部的图像进行分类以获得待识别手势分类结果，从该手部的图像中提取规则特征，对该待识别手势分类结果应用所述规则特征，以获得手势识别结果。由此，融合了弱分类器和强规则判定技术，分类器不再直接用于各种手势的最终识别，而是通过将强规则作用于分类器的待识别手势分类结果来进一步区分各种不同的手势。从而，规则特征和分类器特征的优点相互互补，在提高手势识别准确性的同时降低误判的可能性，实现静态手势的鲁棒识别。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，更具体地，涉及静态手势识别。
技术介绍
手势已广泛用于各种人机交互系统，比如交互投影、交互显示、手势控制电视等等。手势为大家提供了一种直观、自然友好并更为人类熟悉的交互方式。手势一般可分为两大类，即动态手势和静态手势。动态手势是不同手部姿态的序列或手部位置的改变轨迹，而静态手势则是手部的姿态，即表明在一个较短的时间段中手保持着的同一类似姿态。与动态手势不同，静态手势只能通过手部的形状信息来区分。模板匹配是静态手势识别中广泛使用的方法，它是通过建立手势的静态模板库并从模板库里找寻最接近的一个来匹配待识别手势。通常，一个手势可能会对应着多个模板，而且，手势识别的结果主要依赖于模板和距离计算的准则，因此，尽管该模板匹配方法简单直观，但其不够灵活也不够鲁棒。另外，对一些简单的手势来讲，显著性规则判断也是本领域中较常使用的手势识别方法。该方法主要采用区别性特征或准则来区分不同的手势。例如，可以基于手指尖的个数以及其朝向来识别一些简单的手势。然而，通常这些规则使用的特征只是区分性的特征而非描述性的，不能全面反映手势的特征，而该方法又完全依赖于规则，因此，此方法也不够鲁棒，并且在实际用中会具有较高的虚警错误。然而，在一些交互场景中，比如在博物馆、图书馆、展览会等公共场所，考虑到系统的实际操作用户都是些未经训练的参观者，因此其所采用的手势大都简单直观并尽可能的自然，同时希望这些手势能被鲁棒的识别并使虚警尽量少。简单地采用模板匹配或规则判断来识别静态手势的传统方法并不能在减少虚警错误情况下能提高识别的准确度。
技术实现思路
考虑到以上问题，希望提供能够在提高手势识别准确性的同时降低误判可能性的手势识别方法和装置。根据本专利技术的一个方面，提供了手势识别方法，其可以包括：获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像；利用分类器对该手部的图像进行分类以获得待识别手势分类结果；从该手部的图像中提取规则特征；对该待识别手势分类结果应用所述规则特征，以获得手势识别结果。所述利用分类器对该手部的图像进行分类以获得待识别手势分类结果可以包括：从该手部的图像中提取分类特征；将该分类特征应用于该分类器，以获得待识别手势分类结果。从该手部的图像中提取的分类特征可以包括手部轮廓凸包特征、手部轮廓傅里叶描述子特征、手部轮廓不变矩阵特征的至少一个。从该手部的图像中提取的规则特征可以包括手指个数、手指长度、手指指向方位、手指间的相对位置、两个手指间的夹角的至少一个。该分类器可以是通过利用规则特征来优化分类策略而获得的分类器，所述分类策略包括分类的数目以及分类的指派策略。可以通过以下迭代过程优化分类策略：利用训练样本集训练具有预定分类策略的分类器；将评估样本集应用于训练的分类器以获得样本分类结果；将预定的规则特征应用于所述样本分类结果，以获得样本手势识别结果；基于所述样本手势识别结果优化该分类器的分类策略。该分类器可以是决策树分类器、随机森林分类器、感知机分类器、神经网络分类器或者SVM分类器。或者，该分类器可以采用模板匹配分类技术。可选地，该输入图像可以包括连续K帧的输入图像，如果在所述K帧的输入图像中有M帧的手势识别结果一致，则将该M帧的手势识别结果确定为该K帧输入图像中的手势识别结果，其中K和M为预定的正整数并且K>M。根据本专利技术的另一方面，提供了手势识别装置，其可以包括：获取部件，获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像；分类部件，利用分类器对该手部的图像进行分类以获得待识别手势分类结果；特征提取部件，从该手部的图像中提取规则特征；识别部件，对该待识别手势分类结果应用所述规则特征，以获得手势识别结果。根据本专利技术，利用分类器对手部图像进行分类以排除无效手势并获得待识别手势分类结果，再对待识别手势分类结果应用规则特征来完成手势的最终识别。该方法融合了弱分类器和强规则判定技术，分类器不再直接用于各种手势的最终识别，而是作为一种建立在全局特征基础上的弱分类器，以便大多数无效的手势通过分类器的筛选能被排除，同时又确保有效的手势能最少被遗漏地通过分类器。然后，将强规则作用于分类器的待识别手势分类结果通过区别性的特征来进一步区分各种不同的手势。从而，区别性规则特征和分类器全局描述特征的优点相互互补，在提高手势识别准确性的同时降低误判的可能性，实现静态手势的鲁棒识别。附图说明图1是示出根据本专利技术一个实施例的手势识别方法的整体流程图。图2示出了示例的输入图像以及从中提取的手部的二值化剪影图。图3是示出优化分类器的示例方法的流程图。图4是示出混淆矩阵的一个例子的示意图。图5(a)-5(b)是示出五种有效手势及其相应的二值化剪影图的示例的示意图。图6是示出针对上述五种手势的示例手势识别过程的示意图。图7是示出手部图像的区域划分的示例的示意图。图8是以表格形式示出手势识别规则的示例的示意图。图9是示出该此手势识别示例中的数据流向的示意图。图10是根据本专利技术的实施例的手势识别装置的功能框图。图11是示出根据本专利技术的一个实施例的手势识别统的硬件配置的示意图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。将按如下顺序进行描述：1、专利技术思想概述2、实施例2.1、手势识别方法2.2、分类器的优化2.3、手势识别方法的应用示例2.4、手势识别装置2.5、手势识别系统3、总结<1、专利技术思想概述>如上所述，希望在进行手势识别时在提高识别准确性的同时降低虚警错误的可能性，即尽量避免将原本无效的手势识别为有效。在手势识别中，机器学习和分类技术可以看作是对模板匹配的一种概率化的拓展，其主要关注描述性特征，而在利用规则判别的手势识别方法中规则采用的特征通常是区分性特征。众所周知，描述性特征诸如傅里叶描述子是对手势进行全面描述的特征，虽然其通常能够避免无效手势被错误识别为有效的可能性，但是在一些特定手势之间通常不具有任何区分性，致使无法正确判断识别结果，而区分性特征虽然能够很好地区别手势，但因这些特征通常都是局部特征，具有很大偶然性，是很容易导致判断的虚警错误。鉴于此，本专利技术提出了利用分类器基于分类特征(描述性特征)对输入的图像进行分类排除无效手势获得待识别手势，再对待识别手势分类结果应用规则的区分性特征来完成手势的识别。从而，本专利技术中分类器不再承担最终手势识别的任务，而是以排除无效手势为己任，对于排除了无效手势的分类器分类结果，采用规则的区分性特征进行最终手势识别，这样既能够保证手势识别结果的准确性，同时又降低了虚警错误。<2、实施例><2.1手势识别方法>图1是示出根据本专利技术一个实施例的手势识别方法的整体流程图。如图1所示，根据此实施例的手势识别方法100可以包括：步骤S110，获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像；步骤S120，利用分类器对该手部的图像进行分类以获得待识别手势分类结果；步骤S130，从该手部的图像中提取规则特征；步骤S140，对该待识别手势分类结果应用规则特征，以获得手势识别结果。具体地，在步骤S110中，可以通过相机、摄像机等对包含手部的目标场景进行拍本文档来自技高网...

【技术保护点】
一种手势识别方法，包括：获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像；利用分类器对该手部的图像进行分类以获得待识别手势分类结果；从该手部的图像中提取规则特征；对该待识别手势分类结果应用所述规则特征，以获得手势识别结果。

【技术特征摘要】
1.一种手势识别方法，包括：获取包含手部的目标场景的输入图像并从该输入图像中提取出手部的图像；利用分类器对该手部的图像进行分类以获得待识别手势分类结果；从该手部的图像中提取规则特征；对该待识别手势分类结果应用所述规则特征，以获得手势识别结果。2.如权利要求1所述的手势识别方法，其中所述利用分类器对该手部的图像进行分类以获得待识别手势分类结果包括：从该手部的图像中提取分类特征；将该分类特征应用于该分类器，以获得待识别手势分类结果。3.如权利要求2所述的手势识别方法，其中所述分类特征包括手部轮廓凸包特征、手部轮廓傅里叶描述子特征、手部轮廓不变矩阵特征的至少一个。4.如权利要求1-3中任意一项所述的手势识别方法，其中所述规则特征包括手指个数、手指长度、手指指向方位、手指间的相对位置、两个手指间的夹角的至少一个。5.如权利要求1所述的手势识别方法，其中所述分类器是通过利用规则特征来优化分类策略而获得的分类器，所述分类策略包括分类的数目以及分类的指派策略。6.如权利要求5所述的手势识别方法，其中所述优化分类策略包括以下的迭代过程：...

【专利技术属性】
技术研发人员：熊怀欣，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP