基于手势智能感知和人机协同机制的人机猜拳方法技术

本发明专利技术公开了一种基于手势智能感知和人机协同机制的人机猜拳方法。首先将Kinect获得图像序列经过分割、肤色建模提取出人手，然后通过提出的SCDDF识别算法提取手势特征，再与事先建立好的手势库中模板进行匹配，最终识别出用户手势。在此基础上，将虚拟界面运用到人机猜拳游戏中使用户可以更加方便自然地体验人机猜拳游戏的乐趣；结合人机猜拳游戏，本文还提出人机协同机制，使整个游戏更加顺畅自然；在手势识别方面，本文融合DDF算法和性状上下文特征描述子算法，提出SCDDF算法，经实验验证，新的识别算法较之前的DDF算法识别正确率提高了10.8％。

【技术实现步骤摘要】
基于手势智能感知和人机协同机制的人机猜拳方法
本专利技术涉及一种基于手势智能感知和人机协同机制的人机猜拳方法。
技术介绍
石头、剪刀、布”起源于中国，然后传到日本，韩国等地，随着亚欧贸易的不断发展它传到了欧洲，到了近现代逐渐风靡世界。在中国，大江南北的小孩儿都是玩着“石头、剪子、布”的游戏长大的。通过手势的人机交互是与机器沟通的最直观的方式之一,实时手势检测也毫无疑问是最近科学界的一个热点。无论在哪一款人机交互的应用中，手势识别都是至关重要的，现在几种国内外手势识别以及结合手势识别的基于体感设备的发展现状与趋势：首先，Kinect是近几年火爆流行的一种3D体感摄像机，它能够及时的捕捉动态图像，并且能够获取图像的深度信息。体感设别Kinect的应用，使得游戏不再单纯的只是为了娱乐，而更加被赋予了更多的功能，比如让学生学会用肢体语言来学习，开启了一个新的教育时代。很多老年人对于目前触摸屏，键盘的使用学习使用很是费劲，而Kinect可以使得老年人也能玩体验一把现代游戏的同时，通过肢体的活动进行锻炼等等。早期的手势识别研究主要采用彩色摄像头来捕获手势数据，有一种基于手形轮廓特征进行手势识别的方法，但是该算法计算量比较大，不适合实时的手势识别应用。还有一种利用神经网络进行手势识别的方法，该方法通过边缘检测提取样本几何矩特征和轮廓特征，然后利用神经网络对手势进行识别，但是该方法对静态手势的识别较低。还有一种基于微软的深度摄像设备传感器且能实时的识别人体动态手势的系统框架，但这种方法只能由简单的动态手势产生的轨迹来识别简单的手势，对于具体手势识别率很低。还有一种复杂背景下利用空间分布特征对手势进行识别的方法。但是彩色图像容易受到光照变化以及复杂背景的影响，而深度图像可以有效的克服光照以及复杂背景的影响。但以上的识别方法或者基于Kinect的应用可能都或多或少存在着这样的问题：识别率不够高，不是实时的识别，或者没有人机协同机制，或者是对于无意义的手势的干扰没有有效的解决方案。
技术实现思路
为解决以上技术上的不足，本专利技术提供了一种识别效率高，有效解决无意义手势干扰的基于手势智能感知和人机协同机制的人机猜拳方法。本专利技术是通过以下措施实现的：本专利技术的一种基于手势智能感知和人机协同机制的人机猜拳方法，包括以下步骤：步骤a，计算机随机播放三种出拳手势动画，用户位于计算机的手势可识别范围内；步骤b，用户将手抬起并做出出拳手势，计算机以人手为中心在其周围自动构建一个虚拟界面，当人手处在虚拟界面内时，确定该手势有效，计算机检测到有效手势的同时，计算机停止播放动画并且随机弹出三种手势动画的一种；步骤c，计算机对手势进行识别，手势识别的结果与计算机随机出拳结果进行胜负判定。在步骤b中，构建虚拟界面后通过判断操作者身体重心是否移动来确定虚拟界面是否需要移动刷新，包括以下步骤：步骤1：通过Kinect获取人手在三维空间内的坐标，连续记录5帧人手的三维坐标，判断是否相对静止，若静止记录人手重心点坐标P，进行步骤2，否则继续判断；步骤2：以P为中心，在人手周围生成虚拟界面，构建过程结束，虚拟界面符号表示中各变量的值可由以下公式确定：其中，Px、Py、Pz分别为P在x方向、y方向、z方向的坐标值，L、W和H为经验所得到的虚拟界面的长、宽、高的值，x1、x2、y1、y2、z1、z2分别指的是在Kinect确定的空间坐标系中，x方向和y方向以及z方向的最小值和最大值；步骤3：构建完虚拟界面后，获得虚拟界面的重心坐标W；其中，Wx、Wy、Wz分别为虚拟界面的中心W在空间x方向、y方向和z方向的坐标值；步骤4：获得虚拟界面构建完成时人体的初始重心坐标P1，计算人体重心和虚拟界面中心的相对位置步骤5：获取每帧人体的重心坐标P2，并计算人体在空间中的移动距离判断d＞s是否成立，s为预设常量，若成立表明虚拟界面需要移动，记录下此时人体的重心位置P2，根据公式(3.4)计算移动后虚拟界面的中心坐标V，然后转向步骤6，若不需要移动，则转到步骤4；步骤6：按照公式(4.5)更新虚拟界面中的值；其中，Vx、Vy、Vz分别为虚拟界面的中心V在x方向、y方向和z方向的坐标值。上述步骤c中，对手势识别时采用基于Kinect的手势分割，首先，使用OPENNI中的HandGenerator类获得人手在图像中的深度信息和位置信息，运用深度信息和阈值对手势进行提取，若深度值在阈值内，则为人手，否则则不是人手，初步分割出人手；然后采用形状上下文密度分布特征对手势进行手势特征提取；最后将提取的手势特征与手势模板库中的手势特征进行比对、识别。上述形状上下文密度分布特征提取手势特征中用一个特征向量描述空间手势坐标分布特征信息SCDDF：式中表示手势主方向，手势主方向是指从手势重心点到手势最远点的一个方向向量；第二个特征向量ri表示将二值化的手势图像分成M个同心圆后，每个手势图像圆环区域中目标手势像素点的相对密度；第三个特征向量dri是第一个向量中ri+1与ri一阶数值差分的结果；第四个特征向量θi是在由手势主方向建立的极坐标下，由手势重心点指向每根手指的重心点所形成的方向向量同手势主方向的夹角；提取SCDDF特征的具体步骤如下：步骤Ⅰ：计算目标图像f(x,y)的重心点这里，A代表手势图像中的手势的像素区域。步骤Ⅱ：求出手势图像中离手势重心最远的手势像素点M，计算向量即为手势主方向。步骤Ⅲ：在图像f(x,y)中，计算形心到目标像素点最大距离Dmax以及最小距离Dmin；步骤Ⅳ:对于图像f(x,y)，以形心为圆心，计算以Dmax为半径的目标区域最大外接圆和以Dmin为半径的目标区域最小外接圆。在最大外接圆和最小外接圆组成的区域内，使用等距离区域划分法将最大外接圆和最小外接圆之间图像区域划分为M个子区域(M>0)；步骤Ⅴ:对各子图像区域分别进行统计，计算每个子图像区域内目标像素的总数Si(i＝1,…,M),并找出Si的最大值。计算特征向量R和D：ri＝Si/Smax(i＝1,…,M)(4.5)可得到特征向量R和D为：R＝(r1,...r10,ar11,...ar15,br16,...br20)(4.7)D＝(dr1,...dr10,cdr11,...cdr20)(4.8)步骤Ⅵ：以手势重心点O为原点，以手势主方向为极坐标的起始方向，建立极坐标，遍历第n和第n+2个圆环同手势目标像素点的交点，每一根手指或者手腕同圆环都可形成一条交线，求每一条交线的重心点，得到一系列的重心点P(p1,...,pn)，求这些重心点与手势重心点O的向量则最后一个特征向量θi为：最终得到提取的特征信息：上述在对手势识别时，首先建立手势模板库，模板库中存放的是每个手势的SCDDF特征信息，具体的识别过程分为两个阶段，手势初态识别和末态识别；将得到的特征向量SCDDF同模板中的特征向量集合{Hi},i＝1,2,3相比较，分别计算特征向量同各个手势模型的欧式距离，欧式距离的最小的手势集合，即最终识别出的手势。本专利技术的有益效果是：本专利技术提高了手势识别的正确率，识别效率高，有效解决无意义手势干扰，结合人机猜拳游戏提出一种人机协同机制，使整个游戏过程更加流畅自然，本专利技术采用的识别算法以及人机协同机制，不仅对手势识别的研本文档来自技高网...

【技术保护点】
一种基于手势智能感知和人机协同机制的人机猜拳方法，其特征在于，包括以下步骤：步骤a，计算机随机播放三种出拳手势动画，用户位于计算机的手势可识别范围内；步骤b，用户将手抬起并做出出拳手势，计算机以人手为中心在其周围自动构建一个虚拟界面，当人手处在虚拟界面内时，确定该手势有效，计算机检测到有效手势的同时，计算机停止播放动画并且随机弹出三种手势动画的一种；步骤c，计算机对手势进行识别，手势识别的结果与计算机随机出拳结果进行胜负判定。

【技术特征摘要】
1.一种基于手势智能感知和人机协同机制的人机猜拳方法，其特征在于，包括以下步骤：步骤a，计算机随机播放三种出拳手势动画，用户位于计算机的手势可识别范围内；步骤b，用户将手抬起并做出出拳手势，计算机以人手为中心在其周围自动构建一个虚拟界面，当人手处在虚拟界面内时，确定该手势有效，计算机检测到有效手势的同时，计算机停止播放动画并且随机弹出三种手势动画的一种；步骤c，计算机对手势进行识别，手势识别的结果与计算机随机出拳结果进行胜负判定。2.根据权利要求1所述基于手势智能感知和人机协同机制的人机猜拳方法，其特征在于，在步骤b中，构建虚拟界面后通过判断操作者身体重心是否移动来确定虚拟界面是否需要移动刷新，包括以下步骤：步骤1：通过Kinect获取人手在三维空间内的坐标，连续记录5帧人手的三维坐标，判断是否相对静止，若静止记录人手重心点坐标P，进行步骤2，否则继续判断；步骤2：以P为中心，在人手周围生成虚拟界面，构建过程结束，虚拟界面符号表示中各变量的值可由以下公式确定：其中，Px、Py、Pz分别为P在x方向、y方向、z方向的坐标值，L、W和H为经验所得到的虚拟界面的长、宽、高的值，x1、x2、y1、y2、z1、z2分别指的是在Kinect确定的空间坐标系中，x方向和y方向以及z方向的最小值和最大值；步骤3：构建完虚拟界面后，获得虚拟界面的重心坐标W；其中，Wx、Wy、Wz分别为虚拟界面的中心W在空间x方向、y方向和z方向的坐标值；步骤4：获得虚拟界面构建完成时人体的初始重心坐标P1，计算人体重心和虚拟界面中心的相对位置步骤5：获取每帧人体的重心坐标P2，并计算人体在空间中的移动距离判断d＞s是否成立，s为预设常量，若成立表明虚拟界面需要移动，记录下此时人体的重心位置P2，根据公式(3.4)计算移动后虚拟界面的中心坐标V，然后转向步骤6，若不需要移动，则转到步骤4；步骤6：按照公式(4.5)更新虚拟界面中的值；其中，Vx、Vy、Vz分别为虚拟界面的中心V在x方向、y方向和z方向的坐标值。3.根据权利要求1所述基于手势智能感知和人机协同机制的人机猜拳方法，其特征在于：所述步骤c中，对手势识别时采用基于Kinect的手势分割，首先，使用OPENNI中的HandGenerator类获得人手在图像中的深度信息和位置信息，运用深度信息和阈值对手势进行提取，若深度值在阈值内，则为人手，否则则不是人手，初步分割出人手；然后采用形状上下文密度分布特征对手势进行手势特征提取；最后将提取的手势特征与手势模板库中的手势特征进行比对、识别。4.根据权利要求3所述基于手势智能感知和人机协同机制的人机猜拳方法，其特征...

【专利技术属性】
技术研发人员：冯志全，周晓燕，乔宇，艾长胜，魏军，李映君，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37