一种三维手势的提取识别和三维手势交互系统的构建方法技术方案

本发明专利技术涉及一种三维手势特征提取和三维系统的构建，改进了手势识别算法，并基于KNN算法和SVM算法进行手势识别效率的对比，进行手势特征规范提取，构建手势采集提取识别系统和三维交互系统，手势识别效率很高，鲁棒性很好，用户的体验分析和效率统计也很好，该三维交互系统的创新性和稳定性的评价都很好。该方法完善了手势识别，创建了手势识别的模型，建立了手势采集系统，并且建立了三维交互系统，在三维交互系统中，进行了手势的应用，并达到了良好的效果。对于人机交互的方式来说，有一定的价值和意义。同时提高了手势识别的精准度。

A Method of Extracting and Recognizing Three-dimensional Gestures and Constructing Three-dimensional Gesture Interactive System

【技术实现步骤摘要】
一种三维手势的提取识别和三维手势交互系统的构建方法
本专利技术基于手势识别技术，基于LeapMotion构建三维手势交互系统，可应用于其它进行手势识别的设备，如虚拟游戏等。
技术介绍
信息技术的发展推动了人类社会的变革，影响了人们的生产和生活。如今，随着互联网时代的到来，人机交互也应运而生。交互是指借助一定的载体进行信息交流，人机交互技术(HCI.HumanComputerInteraction)指的是人通过一定的设备和计算机进行信息交流，人可以使用输入设备给计算机输入文字来发起请求，而计算机使用输出设备给用户显示出信息来响应请求。使用手势进行人机交互的过程，更加注重“以人为本”，增加了用户的体验。用户体验(UserExperience，简称UE/UX)是用户在使用产品过程中建立起来的一种纯主观感受。但是对于一个界定明确的用户群体来讲，其用户体验的共性是能够经由良好设计实验来认识到。目前应用最为广泛、技术最为成熟的人机交互方式依然是键盘与鼠标，这种交互方式的单一性和低效性使得人们对更高层次、更友好的人机交互方式提出需求。现阶段人机交互新技术的研究内容主要集中在手势识别、语音识别、人脑控制等方面。本专利技术主要是以手势识别为研究方向，开发新的人机交互，同时也能带来更好的人机交互体验。手势识别这两年也有很多研究成果，专利技术人发现现有手势识别技术存在以下问题：手势的操作模式不够丰富；手势的识别效率不够高且分类效果不好，鲁棒性差；没有对数据及算法进行深入的分析和改进；手势识别场景的体验和视觉效果差。没有实现模块化的思想进行统筹设计。
技术实现思路
本专利技术解决的技术问题是：为解决现有手势识别存在的问题，本专利技术提出了一种三维手势识别和基于LeapMotion的三维手势交互系统的方法，基于LeapMotion进行手势识别，并结合KNN算法，进行手势特征的提取，并建立了手指关键点模型，接下来进行手势数据的提取和验证；最后，在Unity3D中创建的系统中导入采集的手势数据，并进行用户体验分析和手势识别效率统计。本专利技术的技术方案是：一种三维手势的提取识别方法，包括以下步骤：步骤一：根据同一个手的手指分别握紧或伸直，形成f种手势；步骤二：进行手势特征的提取，包括以下子步骤：子步骤一：定义每一根手指都具有5个关键点，从指尖到手腕分别标记为指尖TIP，远指关节DIP、近指关节PIP、指掌关节MCP和手腕Wrist；子步骤二：根据手骨架关键点模型，建立手指五边形模型；以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴；将子步骤一中的五个关键点转为该坐标中，获取手势角度三个，表示为α、β和γ；步骤三：通过KNN手势算法进行手势识别，包括以下子步骤：子步骤一：提取n×m×f个手势数据作为训练对象，其中未知的手势为X个；分别计算n×m×f个手势数据和X个未知手势的欧氏距离；设n是正整数，由n个实数构成的有序数组x＝(x1，x2，...xn)的全体组成的集合，称为n维点集或n维欧几里得空间，记作即设x是一个属于的非空集合，如果对于x中任何两个元素x和y，都有一个确定的实数，记为ρ(x，y)，对于中的任意两点xi＝(x1，x2，...，xn)，yi＝(y1，y2，...，yn)定义实函数子步骤二：在训练对象中，圈定距离最近的K个训练对象，其中K取值奇数为第一优先级，K取值从1至25，子步骤三：在K个训练对象中，当同一手势类别出现频次大于K/2+1时，将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别。本专利技术的进一步技术方案是：所述若干种手势位八种，定义食指和中指伸直，其它手弯曲握紧为复制手势；五指伸直张开为移动手势；食指伸直，其它手弯曲握紧为选中手势；大拇指和食指伸直，其它手弯曲贴紧掌心为放大手势；大拇指和食指接合成圆，其它手伸直，为贴纹理手势；大拇指和小拇指伸直，其它手势弯曲贴紧掌心为旋转手势；五指握紧紧贴掌心为删除手势；大拇指伸直，其它手势弯曲紧贴掌心为完成手势。本专利技术的进一步技术方案是：一种三维手势交互系统构建方法，包括以下步骤：步骤一：构建手势数据库，包括以下子步骤：子步骤一：构建手势数据采集系统，定义存储手势种类，手势采集的保存格式是二进制流文件的方式进行保存，之后进行手势分类手势数据处理的时候，再读入二进制数据流。子步骤二：选取n个用户(n小于20)，进行手势特征关键角度提取，其中每一种手势在每个用户上均进行提取，且每种手势在每一个用户上的提取次数相同，定义每个用户提取的手势为m，则形成样本n×m×f个，构成手势数据库；步骤二：三维交互系统构建，包括以下子步骤：子步骤一：基于Unity3D平台和LeapMotion设备进行构建，系统中包括人物模块，场景模块，交互模块，操作体模块；子步骤二：将f种手势分类进入四个子场景，即四个子场景的任务，第一子场景为复制手势和移动手势；第二子场景为选中手势和贴纹理手势；第三子场景为放大手势和旋转手势；第四子场景为删除手势和完成手势；子步骤三：导入手势数据n×m×f个，进入主场景中，人物角色器移动到子场景前，按快键键进入子场景，根据当前子场景中的手势任务，驱动虚拟手完成手势操作，后台进行KNN算法计算，进行手势的分类，分类成功，则当前手势被识别。依次完成其它场景的手势任务。本专利技术的进一步技术方案是：所述系统中设有四个模块，其中模块一完成复制手势和移动手势；模块二完成选中手势和贴纹理手势；模块三完成放大手势和旋转手势；模块四完成删除手势和完成手势。专利技术效果本专利技术的技术效果在于：本专利技术改进了手势识别算法，并基于KNN算法和SVM算法进行手势识别效率的对比，进行手势特征规范提取，构建手势采集系统和三维交互系统，手势识别效率很高，鲁棒性很好，用户的体验分析和效率统计也很好，该三维交互系统的创新性和稳定性的评价都很好。该方法完善了手势识别，创建了手势识别的模型，建立了手势采集系统，并且建立了三维交互系统，在三维交互系统中，进行了手势的应用，并达到了良好的效果。对于人机交互的方式来说，有一定的价值和意义。同时提高了手势识别的精准度。附图说明图1：K取值的均值和方差图；图2：手势设计的功能图；图3：手骨骼模型图；图4：手指关键点模型图；图5：手指五边形模型图；图6：手势数据采集界面图；图7：手势总采集样本关节点均值数据图；图8：三维交互系统架构图；图9：三维交互系统架构图；图10：三维交互系统示例图；图11：模块一子场景图；图12：模块一手势选中体图；图13：模块一复制手势图；图14：模块一移动手势图；图15：模块二任务图；图16：模块三任务图；图17：模块四任务图；图18：手势效率统计图；图19：手势识别统计图；图20：手势交互系统统计图；具体实施方式参见图1—图20，本专利技术首先建立了手势库，再进行手势分类，当前手势分类为八种手势；其次进行手势数据模型的构建，并提取手势的特征；然后，基于改进的KNN的手势算法进行手势识别，计算未知样本X和每类样本的欧式距离。圈定距离最近的K个训练对象，作为测试对象的近邻，求100个样本数据的识别效率平均值和100个样本数据的标准差的平均值，当K＝3时，平均识别效率为96.48％，K＝5时，平本文档来自技高网...

【技术保护点】
1.一种三维手势的提取识别方法，其特征在于，包括以下步骤：步骤一：根据同一个手的手指分别握紧或伸直，形成f种手势；步骤二：进行手势特征的提取，包括以下子步骤：子步骤一：定义每一根手指都具有5个关键点，从指尖到手腕分别标记为指尖TIP，远指关节DIP、近指关节PIP、指掌关节MCP和手腕Wrist；子步骤二：根据手骨架关键点模型，建立手指五边形模型；以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴；将子步骤一中的五个关键点转为该坐标中，获取手势角度三个，表示为α、β和γ；步骤三：通过KNN手势算法进行手势识别，包括以下子步骤：子步骤一：提取n×m×f个手势数据作为训练对象，其中未知的手势为X个；分别计算n×m×f个手势数据和X个未知手势的欧氏距离；设n是正整数，由n个实数构成的有序数组x＝(x1，x2，...xn)的全体组成的集合，称为n维点集或n维欧几里得空间，记作

【技术特征摘要】
1.一种三维手势的提取识别方法，其特征在于，包括以下步骤：步骤一：根据同一个手的手指分别握紧或伸直，形成f种手势；步骤二：进行手势特征的提取，包括以下子步骤：子步骤一：定义每一根手指都具有5个关键点，从指尖到手腕分别标记为指尖TIP，远指关节DIP、近指关节PIP、指掌关节MCP和手腕Wrist；子步骤二：根据手骨架关键点模型，建立手指五边形模型；以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴；将子步骤一中的五个关键点转为该坐标中，获取手势角度三个，表示为α、β和γ；步骤三：通过KNN手势算法进行手势识别，包括以下子步骤：子步骤一：提取n×m×f个手势数据作为训练对象，其中未知的手势为X个；分别计算n×m×f个手势数据和X个未知手势的欧氏距离；设n是正整数，由n个实数构成的有序数组x＝(x1，x2，...xn)的全体组成的集合，称为n维点集或n维欧几里得空间，记作即设χ是一个属于的非空集合，如果对于χ中任何两个元素x和y，都有一个确定的实数，记为ρ(x，y)，对于中的任意两点xi＝(x1,x2,...,xn)，yi＝(y1，y2，…，yn)定义实函数子步骤二：在训练对象中，圈定距离最近的K个训练对象，其中K取值奇数为第一优先级，K取值从1至25；子步骤三：在K个训练对象中，当同一手势类别出现频次大于K/2+1时，将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别。2.如权利要求1所述的一种三维手势的提取识别方法，其特征在于，所述若干种手势位八种，定义食指和中指伸直，其它手弯曲握紧为复制手势；五指伸直张开为移动手势；食指伸直，其它手弯曲握紧为选中手势；大拇指和食指伸直，其它手弯曲贴紧掌心...

【专利技术属性】
技术研发人员：王淑侠，刘瑜兴，兰望桂，徐光耀，何卫平，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61