【技术实现步骤摘要】
一种基于双指角域特征的手势交互系统及其工作方法
本专利技术涉及一种基于双指角域特征的手势交互系统及其工作方法，属于智能感知与人机交互的
技术介绍
手势作为人类使用最频繁的交流方式之一，可以完成人机交互的过程，称之为手势交互。手势交互技术涉及模式识别，图像处理，虚拟现实，人机交互等多个学科领域。目前，手势交互技术在医学，教育，绘画，体感游戏等方面都具有广泛的应用前景和实用价值。例如，在教育领域，使用三维交互软件Unity3D结合Kinect手势识别技术开发的虚拟人体解剖教学系统，增加了教学的逼真性和趣味性，在绘画领域，基于Leapmotion开发的虚拟沙画系统，增加了手势交互的乐趣，加深了用户的沉浸感。一个完整的手势交互过程涵盖了数据采集、特征提取、手势识别以及虚拟交互四部分，而其中最为关键的就是手势识别。因此，为了提高手势识别的准确率以及提高用户的需求响应度和交互体验度，研究一种高精度的手势识别算法是有必要的。目前，国内外对于手势交互系统中手势识别方法的研究有很多，但大多数的手势识别方法都是基于手部轮廓和边缘特征或者手部单指特征进行提取和分类，此类手势特...
【技术保护点】
1.一种基于双指角域特征的手势交互系统，其特征在于，包括依次首尾连接的数据采集模块、特征提取模块、手势识别模块以及虚拟交互模块；所述数据采集模块用于：进行Leap motion初始化，获取Leap motion有效视野内的手势关节点三维坐标信息，手势关节点三维坐标信息包括五个手指和手掌中心点处的三维坐标信息以及方向信息，方向信息是指手指相邻指尖的方向夹角信息，采集范围为M个不同用户身上的S种不同手势，每个用户的每种手势各采集N次，M≥2，S≥2，N≥50；所述特征提取模块用于：预处理三维坐标信息和提取手势特征；预处理三维坐标信息是指对基于Leap motion采集的三维坐标...
【技术特征摘要】
1.一种基于双指角域特征的手势交互系统，其特征在于，包括依次首尾连接的数据采集模块、特征提取模块、手势识别模块以及虚拟交互模块；所述数据采集模块用于：进行Leapmotion初始化，获取Leapmotion有效视野内的手势关节点三维坐标信息，手势关节点三维坐标信息包括五个手指和手掌中心点处的三维坐标信息以及方向信息，方向信息是指手指相邻指尖的方向夹角信息，采集范围为M个不同用户身上的S种不同手势，每个用户的每种手势各采集N次，M≥2，S≥2，N≥50；所述特征提取模块用于：预处理三维坐标信息和提取手势特征；预处理三维坐标信息是指对基于Leapmotion采集的三维坐标信息进行归一化处理，剔除不必要或错误的手势坐标信息；提取手势特征是指提取手势的双指角域特征，包括计算相邻指间的距离以及相邻指尖在手掌平面投影所构成向量的夹角，并将其作为主要的特征进行手势识别；所述手势识别模块用于：获取手势数据的训练集和测试集，将手势数据集按照随机比例划分为训练集和测试集，手势数据集包含提取好的相邻指尖距离以及相邻指尖在手掌平面投影所构成向量的夹角，将划分好的训练集和测试集输入到SVM-KNN算法中，对S种不同的手势进行识别分类，对分类好的S种手势形成S个不同的.txt数据样本集进行保存；所述虚拟交互模块用于：一方面，构建Unity3D健身房场景，导入到Unity3D中；另一方面，基于搭建好的Unity3D健身房场，完成Leapmotion与Unity3D的连接，将S种手势形成S个不同的数据样本集输入到Unity3D中，实现S类不同手势对健身房场景中某类器械的交互控制。2.权利要求1所述的基于双指角域特征的手势交互系统的工作方法，其特征在于，包括以下步骤：S01：Leapmotion初始化；S02：判断用户手势是否在Leapmotion的视距范围内，有效视距是指：Leapmotion的视野取值范围为100-160°，且有效探测距离为25-600mm；如果用户的手势不在Leapmotion的视距范围内，则进入步骤S03，否则，进入步骤S03’；S03：舍弃手势数据，舍弃不在Leapmotion的视距范围内的手势数据；S03’：保存手势数据，保存在Leapmotion的视距范围内的手势数据；通过进行步骤S03’，在设备采集范围内对M个不同用户身上的S种不同手势依次进行手势数据获取，每个用户的每种手势数据各采集N次，并形成Leapmotion手势数据集；手势数据是指手势关节点数据，手势关节点数据是指拇指远端指骨、食指远端指骨、中指远端指骨、无名指远端指骨、小指远端指骨以及手掌中心点三维坐标信息，三维坐标信息是指包括了X轴，Y轴和Z轴的位置坐标信息，位置坐标信息处于右手笛卡尔坐标系，该坐标系以平行于Leapmotion向右延伸为X轴正半轴，垂直于Leapmotion向上延伸为Y轴正半轴，平行于Leapmotion向前延伸为Z轴正半轴，根据坐标系规则，提取手势关节点数据；S04：在步骤S03’保存的手势数据中，依次获取五指指尖的速度vi,i＝0,1,2,3,4；S05：设置阈值t来判断数据有效性，0≤t≤200，单位为mm/s，依次将五指指尖速度vi和阈值t进行比较，如果vi≤t，静止，数据有效，进入步骤S06’；如果vi>t，运动，数据无效，进入步骤S06；S06：手势运动，并进入步骤S07：S07：剔除无效数据；S06’：手势静止；并进入S07’：S07’：保留有效数据；进入S08；S08：三维坐标信息归一化处理，将获取的全部有效数据归一化到(0，1)范围内进行计算；S09：对步骤S08处理后的手势三维坐标，提取双指角域特征；判定双指角域内是否只有一组特征值，如果不是，进入步骤S10；否则，进入步骤S10’；S10：舍弃该特征值；S10’：计算相邻指尖距离和夹角；当用户做出不同的手势时，所获得的相邻指尖距离和相邻指尖角度是不同的，对M个人的S种不同手势分别采集N次，得到M*N个不同的双指角域特征，将这些特征分别串联起来，构成特征向量，输入到分类器中进行手势识别；S11：形成训练样本集，对于步骤S10’已经处...
【专利技术属性】
技术研发人员：许宏吉，李菲菲，刘琚，李玉军，陈敏，杜保臻，李梦荷，张贝贝，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。