多种手势对应同一交互命令的柔性映射交互算法制造技术

本发明专利技术涉及一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计交互界面并选择交互手势；b.确定对应同一交互命令的多种手势；c.多种手势对应同一语义的柔性映射交互算法，包括以下分步骤，c‑1.获取手势信息和手势识别结果；c‑2.柔性映射交互算法，柔性映射交互模型，F(Xij)＝yi(i＝1,2,…,k1 j＝1,2,…,k3)(10)。本发明专利技术能够很好的解决在与智能教学界面交互过程中遇到的手势识别错误导致智能教学界面变化错误和手势不识别两个问题，并且该柔性映射交互算法是一个符合人类日常交互习惯的交互算法，能够显著地减少用户的交互负荷的有益效果。

【技术实现步骤摘要】
多种手势对应同一交互命令的柔性映射交互算法
本专利技术涉及手势识别
，具体是指一种多种手势对应同一交互命令的柔性映射交互算法。
技术介绍
随着人机交互领域近几年的快速发展，手势交互已经成为人机交互领域的一个研究热点。手势是人与人之间非语言交流的最重要方式[1]，手势交互是继鼠标、键盘和触摸屏之后一种新型的非接触式的人机交互[2]，以其直观、自然、人机和谐的方式在各个领域取得了广泛应用，如：基于手势交互的车辆控制[3]、基于手势交互的智能电视控制[4]和基于手势交互的3D模型控制等[5]，有力的推动了人机交互的友好发展。与此同时，我们注意到在手势与交互界面进行交互过程中往往遇到两个问题，一是，手势识别错误导致交互界面变化错误；二是，手势不识别。本专利技术主要从如何解决上述两个问题并评价该解决方案展开的。随着交互技术的发展，传统的接触式交互设备如：键盘、鼠标和游戏手柄等已经不能满足目前人机交互的需求。新的交互设备如：Kinect[6][7]、LeapMotion[5]和数据手套[8]等的出现使得基于手势的交互取得了长足的发展。目前，基于手势的交互主要涉及三种技术：手势跟踪、手势分割、和手势识别。对于手势跟踪，目前有如下方法：基于Kinect的手势跟踪方法[6]，基于Camshift的手势跟踪方法[9]和基于深度学习的手势跟踪方法[10]；对于手势分割，目前有如下方法：结合RGB-D颜色空间的最大期望手势分割方法[11]，基于神经网络的手势分割方法[12]和结合肤色空间的模糊分类手势分割方法[13]；对于手势识别，目前有如下方法：基于手部分区的手势识别方法[7]和同时追踪躯体和对手势的动态手势识别方法[14]。目前手势交互主要分为两种：基于视觉的手势交互和基于穿戴式的手势交互。在基于视觉的手势交互过程中，我们通过Kinect和LeapMotion等捕捉设备捕捉手势信息，经过一系列处理后即可获得手势识别结果，然后根据得到的识别结果对三维模型[15]、机器人[16]和虚拟物体[5]等进行操控。基于穿戴设备的手势交互与基于视觉的手势交互除获取手势信息设备采用的是穿戴设备外其余之处非常类似，与视频捕捉设备获取的数据相比，虽然穿戴设备获取的数据非常精确，但穿戴设备较为昂贵，在普及程度上有一定的限制。Kumar提出了一种方法通过数据手套获取手势信息用来做空中输入[17]。交互界面是根据应用的功能进行设计的，申请人致力于智能教学界面常用功能的设计与实现以及常用交互手势的选择。本专利技术选取证明“同底面积同高的三棱柱体积是三棱锥体积的三倍”这一定理的立体几何课的交互界面进行设计与实现以及交互手势的选择，但在交互界面的设计与实现过程中我们遇到了两个问题即在智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个问题。
技术实现思路
基于上述问题，本专利技术针对现有技术的不足，提出了多种手势对应同一语义的柔性映射交互模型，实验结果显示，该交互模型能够很好的解决如上两个问题，并且该交互模型是一种符合人类日常交互习惯的自然的交互模型，能够有效的较低用户的认知负荷。本专利技术是通过如下技术方案实现的，提供一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计智能教学交互界面的交互命令并选择交互手势，具体步骤如下，a-1.根据功能需求设计交互界面；a-2.根据交互界面要完成的功能设计k1个交互命令，k1为自然数；a-3.自然交互手势的选择，按照以下方式进行，a-3-1.设计交互过程中常用的k2种交互手势的手势集合，k2为自然数且k2≥k1；a-3-2.采用调查问卷的方式确定k2种交互手势中的k3个交互手势可自然的表达相对应的k1交互命令，且使用该手势表达该语义符合人类的认知行为习惯，所述的k3个交互手势中至少有一组包含两个交互手势可自然的表达对应的同一个交互命令；b.确定对应同一交互命令的多种手势b-1.根据交互手势的显著特征将k3个交互手势分为双手轨迹手势和动态手势、单手轨迹手势和带有抓住状态的手势三类；b-2.针对这三类手势的特征采用不同的衡量标准进行归类，对于双手轨迹手势和单手轨迹手势本专利技术选取掌心作为轨迹跟踪点，对于动态手势本专利技术选取指尖作为轨迹跟踪点，对于带有抓住状态的手势本专利技术考察其抓住状态和抓住状态外的手势轨迹信息；b-3.判断对应同一交互命令的交互手势是否可以归为一类，对于含有一个轨迹跟踪点的交互手势选择费雷歇距离判断手势轨迹是否相似，是否可以归为一类；对于含有多个轨迹跟踪点的交互手势采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类；b-3-1.弗雷歇距离的计算方法如下，设A和B是S上的两条连续曲线，即A:[0,1]→S,B:[0,1]→S；又设α和β是单位区间的两个重参数化函数，即α:[0,1]→[0,1],β:[0,1]→[0,1]；则曲线A与曲线B的弗雷歇距离F(A,B)定义为：其中d是S上的度量函数；在F(A,B)的计算公式中，先固定最外层的α和β，也就是对每一个选定的α与β组合计算公式(2)，上式中d,A,α,B,β均视为被固定住的已知函数，只将t当作变量；此时，由于变量t将在单位区间[0,1]内遍历所有的连续值(无穷多个)，为了便于直观理解，将该区间做离散化处理，即在该区间采样若干点来做分析，然后通过逐渐增加采样点的个数来提高精度，最后通过求极限的思想来理解两天曲线的弗雷歇距离，Fα,β(A,B)的离散化计算公式为，因此，F(A,B)的离散化计算公式为，由于采集的手势轨迹点的信息是离散的，因此计算两个手势轨迹的离散型弗雷歇距离作为两个轨迹手势之间相似度的指标，具体步骤如下：首先，为解决轨迹手势的大小不一问题，选取设定尺寸a1×b1作为轨迹手势的标准大小，将轨迹手势的轨迹点信息根据公式5进行标准化处理；(x,y)为轨迹手势轨迹点信息映射到标准区域后的位置信息；(xt,yt)为采集的轨迹手势轨迹点位置信息；gesturewidth和gestureheight为该轨迹手势的宽度和高度；此时，我们得到了标准手势大小下的轨迹手势的轨迹点的位置信息，计算弗雷歇距离的算法可以计算轨迹手势的轨迹点个数不同的轨迹手势的弗雷歇距离，最终通过计算轨迹手势的轨迹曲线的弗雷歇距离并根据计算得到的结果判断两个交互手势是否可以归为一类，判断方法如下，设定弗雷歇距离的阈值，如果两个交互手势计算得到的弗雷歇距离小于该阈值则该两种手势可以归为一类，反之，如果两个交互手势计算得到的弗雷歇距离大于该阈值，则该两种交互手势不能归为一类，b-3-2.判断含有多个轨迹跟踪点的手势是否可以归为一类的方法，如下，采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类，轨迹跟踪点与中心点的运动趋势为三种，分别为相互靠近、相互远离和相互静止，具体计算多个跟踪点的手势运动趋势步骤如下，首先，通过公式6计算得到开始状态下多个轨迹跟踪点的中心点，(Cx,Cy)为计算得到的开始状态下多个轨迹追踪点的中心点位置信息；(xi,yi)为开始状态下的轨迹追踪点位置信息；n为轨迹跟踪点的个数，然后，通过公式(7)计算其各个追踪点与中心点的相互运动趋势；若得出的value值大于1，则其本文档来自技高网...

【技术保护点】
1.一种多种手势对应同一交互命令的柔性映射交互算法，其特征在于，包括以下步骤，a.设计智能教学交互界面的交互命令并选择交互手势，具体步骤如下，a‑1.根据功能需求设计交互界面；a‑2.根据交互界面要完成的功能设计k1个交互命令，k1为自然数；a‑3.自然交互手势的选择，按照以下方式进行，a‑3‑1.设计交互过程中常用的k2种交互手势的手势集合，k2为自然数且k2≥k1；a‑3‑2.采用调查问卷的方式确定k2种交互手势中的k3个交互手势可自然的表达相对应的k1交互命令，且使用该手势表达该语义符合人类的认知行为习惯，所述的k3个交互手势中至少有一组包含两个交互手势可自然的表达对应的同一个交互命令；b.确定对应同一交互命令的多种手势b‑1.根据交互手势的显著特征将k3个交互手势分为n1类，其中撤销手势不包含在带分类的手势中；b‑2.针对这三类手势的特征采用不同的衡量标准进行归类，对于双手轨迹手势和单手轨迹手势选取掌心作为轨迹跟踪点，对于动态手势选取指尖作为轨迹跟踪点，对于带有抓住状态的手势考察其抓住状态和抓住状态外的手势轨迹信息；b‑3.判断对应同一交互命令的交互手势是否可以归为一类，对于含有一个轨迹跟踪点的交互手势选择费雷歇距离判断手势轨迹是否相似，是否可以归为一类；对于含有多个轨迹跟踪点的交互手势采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类；b‑3‑1.弗雷歇距离的计算方法如下，设A和B是S上的两条连续曲线，即A:[0,1]→S,B:[0,1]→S；又设α和β是单位区间的两个重参数化函数，即α:[0,1]→[0,1],β:[0,1]→[0,1]；则曲线A与曲线B的弗雷歇距离F(A,B)定义为：...

【技术特征摘要】
1.一种多种手势对应同一交互命令的柔性映射交互算法，其特征在于，包括以下步骤，a.设计智能教学交互界面的交互命令并选择交互手势，具体步骤如下，a-1.根据功能需求设计交互界面；a-2.根据交互界面要完成的功能设计k1个交互命令，k1为自然数；a-3.自然交互手势的选择，按照以下方式进行，a-3-1.设计交互过程中常用的k2种交互手势的手势集合，k2为自然数且k2≥k1；a-3-2.采用调查问卷的方式确定k2种交互手势中的k3个交互手势可自然的表达相对应的k1交互命令，且使用该手势表达该语义符合人类的认知行为习惯，所述的k3个交互手势中至少有一组包含两个交互手势可自然的表达对应的同一个交互命令；b.确定对应同一交互命令的多种手势b-1.根据交互手势的显著特征将k3个交互手势分为n1类，其中撤销手势不包含在带分类的手势中；b-2.针对这三类手势的特征采用不同的衡量标准进行归类，对于双手轨迹手势和单手轨迹手势选取掌心作为轨迹跟踪点，对于动态手势选取指尖作为轨迹跟踪点，对于带有抓住状态的手势考察其抓住状态和抓住状态外的手势轨迹信息；b-3.判断对应同一交互命令的交互手势是否可以归为一类，对于含有一个轨迹跟踪点的交互手势选择费雷歇距离判断手势轨迹是否相似，是否可以归为一类；对于含有多个轨迹跟踪点的交互手势采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类；b-3-1.弗雷歇距离的计算方法如下，设A和B是S上的两条连续曲线，即A:[0,1]→S,B:[0,1]→S；又设α和β是单位区间的两个重参数化函数，即α:[0,1]→[0,1],β:[0,1]→[0,1]；则曲线A与曲线B的弗雷歇距离F(A,B)定义为：其中d是S上的度量函数；在F(A,B)的计算公式中，先固定最外层的α和β，也就是对每一个选定的α与β组合计算公式(2)，上式中d,A,α,B,β均视为被固定住的已知函数，只将t当作变量；此时，由于变量t将在单位区间[0,1]内遍历所有的连续值(无穷多个)，为了便于直观理解，将该区间做离散化处理，即在该区间采样若干点来做分析，然后通过逐渐增加采样点的个数来提高精度，最后通过求极限的思想来理解两天曲线的弗雷歇距离，Fα,β(A,B)的离散化计算公式为，因此，F(A,B)的离散化计算公式为，由于采集的手势轨迹点的信息是离散的，因此计算两个手势轨迹的离散型弗雷歇距离作为两个轨迹手势之间相似度的指标，具体步骤如下：首先，为解决轨迹手势的大小不一问题，选取设定尺寸a1×b1作为轨迹手势的标准大小，将轨迹手势的轨迹点信息根据公式5进行标准化处理；(x,y)为轨迹手势轨迹点信息映射到标准区域后的位置信息；(xt,yt)为采集的轨迹手势轨迹点位置信息；gesturewidth和gestureheight为该轨迹手势的宽度和高度；此时，我们得到了标准手势大小下的轨迹手势的轨迹点的位置信息，计算弗雷歇距离的算法可以计算轨迹手势的轨迹点个数不同的轨迹手势的弗雷歇距离，最终通过计算轨迹手势的轨迹曲线的弗雷歇距离并根据计算得到的结果判断两个交互手势是否可以归为一类，判断方法如下，设定弗雷歇距离的阈值，如果两个交互手势计算得到的弗雷歇距离小于该阈值则该两种手势可以归为一类，反之，如果两个交互手势计算得到的弗雷歇距离大于该阈值，则该两种交互手势不能归为一类，b-3-2.判断含有多个轨迹跟踪点的手势是否可以归为一类的方法，如下，采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类，轨迹跟踪点与中心点的运动趋势为三种，分别为相互靠近、相互远离和相互静止，具体计算多个跟踪点的手势运动趋势步骤如下，首先，通过公式6计算得到开始状态下多个轨迹跟踪点的中心点，(Cx,Cy)为计算得到的开始状态下多个轨迹追踪点的中心点位置信息；(xi,yi)为开始状态下的轨迹追踪点位置信息；n为轨迹跟踪点的个数，然后，通过公式(7)计算其各...

【专利技术属性】
技术研发人员：冯志全，乔宇，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37