手势检测方法及系统技术方案

本发明专利技术提供一种手势检测方法，包括如下步骤：检测一种预定义的运动方式，用于确定检测感兴趣区域；在所述的感兴趣区域内，依据多尺度滑动窗口方案做检测，首先基于窗口图像的肤色隶属度图像提取局部均值特征，使用预先训练的Ada-Boost分类器做分类，对于通过Ada-Boost分类器的窗口图像，进一步基于其灰度图提取点对特征，并使用随机森林分类器对其分类；对各个类别的目标手势窗口进行聚类，输出手势所在的准确位置及手势形状。本发明专利技术还提供一种手势检测系统。本发明专利技术中的手势检测方法及系统，实施简单、快速、稳定，且具有实时性、抗干扰、识别精度高等优势。

【技术实现步骤摘要】

本专利技术涉及基于视觉和图像的目标检测和识别及人机交互领域，尤其涉及ー种适用于电视嵌入平台的手势检测方法及系统。
技术介绍
基于手势识别的体感控制技木，已经成为目前ー种重要的人机交互手段。其通过普通摄像头采集用户的动作画面，通过模式识别算法，对图像中的手部特征进行检测和定位，并识别出手部的形状，将这种识别信息转化为操作信号，反馈给智能电视等終端，并触发相应的操作命令，如电视节目的切換，音量的调节，简单的游戏互动等。手势识别技术基于智能終端所配备的摄像头，在終端安装相应的识别软件，即可完成以上操作，因而在硬件 成本和操作方式上都具有极大的优势，因而该技术正在逐渐成为智能电视的标配模块。根据手势识别的研究和应用的发展过程，大致可以划分为以下几种技术手段(I)基于数据手套或佩戴物通过用户佩戴特制的手套或者标识物，通过摄像头来进行识别，手套本身是特殊设计的，具有明显的特征，因而可以降低检测和识别算法的复杂性，但是这种佩戴式的操作方式，显然难以满足自然的人机交互的需要，因而该方法始終未得到广泛的应用；(2)基于3D深度相机代表技术为微软的KINECT产品，其通过三维扫描设备，获取操作者的动态三维模型，因为其工作在3D空间，因而避免了 2D空间中存在的顔色干扰、图像分割等大量的难题。但是3D扫描设备体积较大，硬件成本较高，所需的运算能力更高，因而难以集成并应用到大众化的智能終端如电视、手机等设备上；(3)基于普通摄像头2D图像识别的技术由于这种技术是基于普通摄像头来实现的，因而也是最具有大規模应用潜力的技木，但是该技术的缺点也非常明显a)对于单纯基于肤色特征的手势检测技术而言，环境的光照很容易改变手部的顔色特征，使得检测变得困难山)对于基于形状特征的手势检测而言，复杂背景中存在的类似目标物体很容易造成误检；c)对于融合多种特征的手势检测算法而言，虽然其在检测精度方面有所提升，但还是不能从根本上解决光照及背景的影响问题，更重要的，随着算法复杂度的提升，其运算量急剧增加，显然难以满足现有的智能电视等终端的需要。综上，目前的手势识别算法由于其本身的复杂性以及所需的大量的视频处理，在现有的智能終端如智能电视的嵌入式平台上很难得到流畅的运行。因而如何开发简单快速而稳定的手势识别算法，使其可以在低运算能力的嵌入式平台上得以应用已成为目前急需解决的问题，而对于所有的手势交互系统而言，手势的检测是至关重要的第一歩。
技术实现思路
为了克服上述技术问题，本专利技术提供一种适用于电视嵌入平台的手势检测方法及系统，所述手势检测方法，包括如下步骤检测ー种预定义的运动方式，用于确定检测感兴趣区域；在所述感兴趣区域内对预定义手势进行多尺度滑动窗ロ检测；从每个窗ロ图像的肤色隶属度图像中提取局部均值特征；用Ada-Boost分类器对所述局部均值特征来做手势-背景的分类，若被分类为手势，则相应窗ロ作为候选目标窗ロ ；对所述候选目标窗ロ，基于窗ロ图像的灰度图像提取点对特征；使用随机森林分类器对所述点对特征做分类，得到相应于各类手势的目标窗ロ ；对所述各类手势的目标窗ロ进行聚类处理；输出成功检测到的手势类别及其所在的准确位置。优选地，所述预定运动方式为往返性挥手运动。优选地，所述挥手动作的检测是通过肤色隶属度图像的绝对差分图像的积分图来来实现的。优选地，其特征在于，通过字典法来实现所述肤色隶属度图像的快速计算。优选地，通过更新率来计算肤色运动积分图像，其步骤包括对当前帧视频，先使 用字典法计算肤色隶属度图；与上一帧的肤色隶属度图像做差分，得到绝对差分图；所述差分图结合上一帧状态的积分图像，使用更新率，计算当前帧状态的肤色运动积分图像。优选地，所述多尺度滑动窗ロ检测的步骤，包括基于所述字典法计算感兴趣区域的肤色隶属度图像；基于肤色的进行窗ロ滤波；基于点对特征和随机森林分类器进行决策阶段。优选地，所述窗ロ滤波的执行步骤，包括基于窗ロ图像的肤色隶属度图像提取局部均值特征；使用预先训练的AdaBoost分类器对局部均值特征做分类，从而实现基于肤色的窗ロ过滤，最后形成一系列候选目标窗ロ。优选地，所述对各类手势的目标窗ロ进行聚类的步骤，还包括对聚类后形成的窗ロ簇进行置信度分析；置信度小于阈值者被过滤；置信度大于等于阈值的窗ロ簇的代表窗ロ用于确定所述手势的位置。此外，本专利技术提供ー种手势检测系统，包括运动检测模块、肤色滤波模块、决策模块以及输出模块。运动检测模块，通过肤色运动积分图像来检测ー种规律性的挥手行为，根据所述挥手行为的发生区域，确定感兴趣区域；肤色滤波模块，计算所述感兴趣区域的肤色隶属度图像，使用多尺度滑动窗ロ的方法，从每个窗ロ图像对应的隶属度图像中提取若干局部均值特征，使用Ada-Boost分类器对局部均值特征做分类，以此排除部分背景窗ロ ；决策模块，提取点对特征，使用预先训练得到的随机森林分类器做手势-背景以及手势-手势分类得到各个手势所对应的目标图像窗ロ ；输出模块，对各类手势的目标窗ロ进行聚类等后处理，输出成功检测到的手势类别及其所在的准确位置。本专利技术的优势体现在1)通过简单自然的挥手动作，可以稳定地定位到目标操作手所在的大致区域，避免了背景顔色及无关操作手部目标的干扰；2)考虑到操作者手部运动范围不会太大，因而将后续的手势检测和手形的识别限定在某ー个较小的图像范围内，从而大大降低了系统的处理数据量；3)采用运算量较低的算法，如运动检测，肤色窗ロ滤波，点对描述和随机森林分类，来提高运算效率，尤其大量減少了浮点运算量；通过以上几点，使得该算法可以在低运算能力的嵌入式平台上稳定、流畅的运行。附图说明图I是本专利技术手势检测系统的结构示意图。图2是本专利技术手势检测系统的流程示意图。图3是本专利技术中CbCr空间肤色模型图。图4是本专利技术中通过“挥手”检测确定检测感兴趣区域的流程图。图5是本专利技术中通过肤色运动积分图像检测手势感兴趣区域的示意图。图6是本专利技术中肤色隶属度图、局部均值、以及通过学习选择出来的局部特征的示意图。图7是本专利技术中随机森林分类器的示意图。图8是本专利技术中手势分类结果的示例。 具体实施例方式如图I所示，为本专利技术ー种手势检测系统10的结构示意图。手势检测系统应用于智能电视平台系统等，该类智能电视平台系统至少包括用于捕捉用户手势的视频图像的摄像头以及用于存储各类设定的存储装置。手势检测系统10，包括运动检测模块11、肤色滤波模块12、决策模块13以及输出模块14。运动检测模块11，通过肤色运动积分图像来检测ー种规律性的挥手行为，一旦检测到，就可以根据该行为的发生区域，来确定ー个手势检测的感兴趣区域，后续的手势检测都在该感兴趣区域内进行。在本实施方式中，通过这种自然而有特定运动规律的动作，准确地判断出手部的大致区域，从而设定检测感兴趣区域，考虑到用户操作习惯，其手部运动范围不会太大，因而后续的处理将只在该区域内进行，从而大大减少了所需处理的图像数据量。在其他实施方式中，“挥手”的动作也可以设置为其他容易执行且容易识别的动作。肤色滤波模块12，计算感兴趣区域的肤色隶属度图像，使用多尺度滑动窗ロ办法，从每个窗ロ图像对应的隶属度图像中提取若干局部均值特征，然后使用Ada-Boost分类器来分类。据此，可以过滤掉大部分的非肤色背景窗ロ，大大提高处理效率。在本实施本文档来自技高网...

【技术保护点】
一种手势检测方法，其特征在于，包括如下步骤：检测一种预定义的运动方式，用于确定检测感兴趣区域；在所述感兴趣区域内对预定义手势进行多尺度滑动窗口检测；从每个窗口图像的肤色隶属度图像中提取局部均值特征；用Ada？Boost分类器对所述局部均值特征来做手势？背景的分类，若被分类为手势，则相应窗口作为候选目标窗口；对所述候选目标窗口，基于窗口图像的灰度图像提取点对特征；使用随机森林分类器对所述点对特征做分类，得到相应于各类手势的目标窗口；对所述各类手势的目标窗口进行聚类处理；输出成功检测到的手势类别及其所在的准确位置。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋展，赵颜果，聂磊，杨卫，郑锋，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：