手势识别系统和方法技术方案

提供了一种手势识别系统和方法，手势识别方法包括：选择手势模板；根据选择的手势模板产生可用规则；捕获图像，该图像中包括手势图像；根据选择的手势模板和产生的可用规则来对手势图像进行识别匹配。根据本发明专利技术的手势识别系统和方法可用于大型显示设备，并且使得人通过手势能够与大型显示器进行更好的交互。

【技术实现步骤摘要】

本专利技术涉及用户与计算机的交互，更具体地讲，涉及用于大型显示设备浸入式交互的手势识别。
技术介绍
基于浸入式大型显示设备的虚拟现实需要通过方便的方法来进行人机互动。不幸的是，对于简单的用户交互，当前人机交互具有障碍。因此，消费者难以接受多媒体和虚拟现实应用。例如，计算机键盘提供广泛的交互能力，但是它不够直观，相比起来，电视遥控器更直观，但是电视遥控器却提供了有限的交互能力。还有一些灵活显示界面(flexible interface)，但是它们是不方便且昂贵的。大型显示器向人们提供了浸入式环境，因此通过人手与大型显示器交互是非常方便的。当前，大多数现有系统仅考虑手的位置或运动，但是它们不理解手的形状的意思。实际上，由于通过不同的手指布局来表达不同的意思，因此，手的形状对于人机交互是非常有用且有效方法。因此，本专利技术一种能够通过手势识别来与大型显示器进行交互的系统和方法。
技术实现思路
本专利技术的目的在于提供一种高效的。根据本专利技术的一方面，提供了一种手势识别方法，包括选择手势模板；根据选择的手势模板产生可用规则；捕获图像，该图像中包括手势图像；根据选择的手势模板和产生的可用规则来对手势图像进行识别匹配。根据本专利技术的一方面，提供了一种手势识别系统，包括模式选择模块，选择手势模板；规则模块，根据选择的手势模板产生可用规则；图像捕获模块，捕获图像，该图像中包括手势图像；识别匹配模块，根据选择的手势模板和产生的可用规则来对手势图像进行识别匹配。通过本专利技术的具有较高的匹配度，从而使得人能够与大型显示器通过手势进行更好的交互。附图说明图1是示出根据本专利技术示例性实施例的用于大型显示设备浸入式交互的手势识别系统的结构的框图。图2是显示根据本专利技术示例性实施例的模式选择模块1选择手势模板的过程的流程图。图3是显示根据本专利技术示例性实施例的识别匹配模块6识别手形状的操作的过程的流程图。图4是对步骤601中的手检测过程的流程图。图5A显示出所有深度值的比例图，图5B显示出步骤6013中的阈值方法得到的分割结果。图6是显示图3中的步骤603提取手指尖的特征点的示图。图7显示根据本专利技术的将手形状采样与手势模板进行匹配的过程的流程图。图8中的(a)示出了锚点的形状上下文特征，图8(b)示出了旋转不变性，图8 (c) 示出了根据本专利技术的最终匹配的手势模板和手势采样。图9是根据本专利技术的示例性实施例的手势识别方法。图10示出了根据本专利技术示例性实施例的选择的手势集。具体实施方式图1是示出根据本专利技术示例性实施例的用于大型显示设备浸入式交互的手势识别系统的结构的框图。该手势识别系统包括模式选择模块1、规则模块2、模式数据库3、规则数据库4、图像捕获模块5和识别匹配模块6。其中，模式选择模块1输出经选择的手势模板，并且将选择的手势模板作为输入存储到模式数据库3中，同时也将可用的手势模板通知给规则模块2。规则模块2产生可用规则，并将可用规则存储在规则数据库4中。图像捕获模块5进行图像采集，并将采集的图像发送给识别匹配模块6，从而识别匹配模块6进行手势识别。另外，模式数据库3将手势模板发送给识别匹配模块6，规则数据库4将可用规则发送给识别匹配模块6。在本专利技术中，在可通过使用两种照相机，例如可通过CXD照相机和TOF深度相机来实现图像捕获模块5。其中，CCD (电荷藕合器件)相机提供颜色信息和灰度信息，TOF相机 (深度相机)提供场景的深度信息。图9是根据本专利技术的示例性实施例的手势识别方法。在步骤901，模式选择模块1输出经选择的手势模板，并且将选择的手势模板作为输入存储到模式数据库3中。在步骤902，规则模块2根据选择的手势模板产生可用规则，并将可用规则存储在规则数据库4中。在步骤903，图像捕获模块5进行图像采集，并将采集的图像发送给识别匹配模块 6。在步骤904，识别匹配模块6根据模式数据库3中的手势模板和规则数据库4中的可用规则来对采集的图像中的手势图像进行识别匹配。尽管在图9中示出步骤903在步骤901和902之后，但是步骤903也可以与步骤 901和902同时进行。图9中示出的步骤的顺序仅是示例性的，本领域的技术人员可根据情况对其进行任意修改。下面参照图2对模式选择模块1的操作进行详细描述。图2是显示根据本专利技术示例性实施例的模式选择模块1选择手势模板的过程的流程图。手势模式是手形状匹配的手势模板。由于存在许多不同的手形状，因此这些手的形状中的一些是类似且不容易区分的。因此必须首先选择一些容易区分的手势作为模板。参照图2，在步骤101，模式选择模块1设定若干个候选手势模板，个数大于期望的模板个数。在步骤102，计算各个候选手势模板之间的相似度距离。模式选择模块1提取各个候选模板的特征值，并计算两两之间的相似度距离。其中，模板的特征值可以是一般的图像轮廓特征，例如傅里叶描述子(Fourier Descriptor)特征、轮廓不变矩(Contour moments)特征等。然后，对每一个模板，计算它与其他模板之间相似度距离之和，对相似度距离之和最小的候选模板进行淘汰。依次类推，直到当前的候选模板集的个数等于期望个数。通过这样，在步骤103选择出期望个数的候选模板。随后，在步骤104将选择出的期望个数的候选模板存储到模式数据库3中。下面对规则模块2的操作进行详细描述。在本专利技术中，定义一些规则来帮助手势识别。模式选择模块1将可用的手势模板(即选择出的候选模板)通知给规则模块2。对于每一手势模板，规则模块2提取手势模板的一些特征，例如，指尖的数量、各个指尖与手心连线的角度等。下面举出一例来说明如何产生规则如果姿势类型是A，则存在两个指尖，并且连接指尖与手心的两个连接线之间的角度在15度至45度的范围之间。规则模块 2将产生的规则存储在规则数据库4中。在识别匹配模块6识别了手势之后，识别匹配模块6将通过这些规则来验证手势的识别结果。下面将参照图3对识别匹配模块6的操作进行详细描述。图3是显示根据本专利技术示例性实施例的识别匹配模块6识别手形状的操作的过程的流程图。在步骤601，识别匹配模块6接收从图像捕获模块5捕获的图像，对手进行检测并进行分割，从而输出手部分的分割结果。下面将通过图4对步骤601进行详细描述。在步骤602，对手区域进行轮廓提取并且输出手的轮廓，也就是手的边缘点的集I=I O在步骤604，对在步骤602输出的手的轮廓提取手轮廓的特征。在步骤603，对在步骤601输出的手部分的分割结果提取手指尖的特征点来进行指尖检测。在步骤605，接收手轮廓的特征以及手指尖的特征点(以下称为手势采样)并将手势采样与手势模板和规则模板进行比较来识别手势，即将手势采样与模板进行匹配。图4是对步骤601中的手检测过程的流程图。首先，在步骤6011，对从图像捕获模块5捕获的图像进行皮肤类区域检测以找出人脸。如果找到人脸，则在步骤6012从皮肤类区域中去除人脸。如果没有找到人脸，则在步骤6013对捕获的图像进行深度分割，深度分割也就是利用手与脸部深度的不一致性，自动提取深度分割阈值(即自动阈值方法)，将脸部从图像中去除。随后，在步骤6014进行连通域检测，也就是检测图像中深度值相接近的部分，因此人手作为连通域被检测出来。上述描述的手检测过程只是一种示例。例如，在步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：王西颖，任海兵，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：