本发明专利技术公开一种基于Leap Motion的手语字母识别方法。本发明专利技术通过深度摄像头Leap Motion装置获取手的手掌和手腕骨骼关节点3D坐标信息；对获取的3D坐标信息进行相关计算得到手的关节的弯曲角度信息，然后通过对角度信息进行特征处理，分别获得手型特征信息和手腕弯曲程度的特征信息；对获得的特征信息计算与模板的欧拉距离根据最大概率的近邻准则和连续帧流结果相一致原则，识别出手语字母。所述方法有效的实现快速识别汉语手语字母的目标，并且各个手语字母基元相对独立，识别手语字母的连续性序列可以实时识别手语。本发明专利技术能够实时对基于手语字母的手语进行识别，方便聋哑人利用该可穿戴设备与他人进行有效的沟通交流。
【技术实现步骤摘要】
本专利技术设及人机智能交互领域，特别设及一种基于深度摄像头设备Leap Motion 的手语字母识别方法。
技术介绍
手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言，逐渐为人们所 接受。手语包括手指语和手势语。手指语是用手指的指式变化和手型代表字母，并按照拼 音顺序依次拼出词语；汉语手语字母可W表示十个数字和26个常用字母，还有汉语里面常 用的字母组合，包括ZH，CH，SH，NG等，该样常人说的每一个字，都可W用手语进行精确的表 示，不会产生歧义； 目前国内外的手语识别设备根据数据采集方式不同，主要分为基于穿戴式设备 (数据手套、位置跟踪器、加速器等）和基于视觉（图像）的手语识别系统。基于其它传统 的穿戴式设备的识别系统，是利用数据手套、位置跟踪器等测量手势在空间运动的轨迹W 及时序信息，该方法的优点在于能方便的获取精确的手型、位置和运动轨迹等信息，识别 率高。缺点是进行手语交流时需要穿戴复杂的数据手套、位置跟踪设备等，穿戴麻烦，影响 了人机交互的自然性。基于视觉识别的方法利用普通摄像头采集手势图像或视频，再进行 图像处理进行识别处理。该方式有很好的人机交互性，然而由于该方法对光线、背景等外部 条件的依赖比较强，在进行手部位置、手型、运动轨迹等特征的提取时就需要识别人佩戴 特定颜色的手套和穿有特定颜色服饰辅助定位分割，因此基于视觉识别的方法容易受到背 景、灯光、摄像头的位置等环境因素的影响，存在局限性。 基于Kinect的手语识别系统是利用固定视角的Kinect设备获取的是绝对空间 位置坐标的特征信息，其中包含了繁多的上半身部位特征W及双手的视觉上的高维深度信 息，计算代价大，且不便携带，不能满足交互自然性。 因此需要弥补上述若干缺陷。
技术实现思路
本专利技术的目的在于有效的利用Leap Motion的优势，提供一种不借助其它任何复 杂传感设备，可穿戴，人机交互性好，实现实时交互，识别率较高的手语字母识别方法，该方 法通过将手语字母就手型、手腕偏移角度两个方面分别进行特征匹配的模板匹配，再根据 最大概率准则W及帖流结果稳定原则识别出手语字母。 为实现上述目的，本专利技术的技术方案是该样实现的。[000引一种基于LeapMotion的手语字母识别方法，包括W下步骤：步骤1;利用Leap Motion设备获取手语字母的手掌和手腕的骨骼关节点的3D坐 标向量信息；步骤2 ;根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯 曲角度，获取手型特征信息和手腕偏移角度特征信息；步骤3;根据上述特征信息计算手型 基元并识别出待识别的手语字母。步骤4;取连续m帖识别的手语字母相一致的作为最终 确定的识别结果。 步骤2进一步包括；利用LeapMotion的手掌获取函数获取手掌的手屯、、手指W及 手腕的各关节的3D坐标向量，计算得到相邻关节的相对方向向量，再计算得出每个关节的 弯曲角度，具体包括；获取到的每个关节点的3D坐标向量W后，取手腕的其中一个3D坐标 向量作为参考点，计算其他关节点的相对3D坐标向量，再把相邻的两个关节坐标向量利 用余弦定律计算其夹角的角度，即关节弯曲角度，得到一组特征向量信息。 步骤3进一步包括，将待识别的手语字母的特征向量信息利用模板匹配的方法， 识别出手语字母，具体包括；将待识别的特征向量信息逐一与模板的特征向量进行欧拉距 离计算，找出最小距离的N个模板信息，将该N个距离数据进行排序，利用加权算法，根据最 大概率和最近邻匹配准则识别出当前帖的手语字母。 加权算法如下：[001 引【主权项】1. ，其特征在于，包括以下步骤： 步骤1 :利用深度摄像头设备Leap Motion获取手语字母的手掌和手腕的骨骼关节点 的3D坐标信息； 步骤2 :根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯曲角度， 获取手型特征信息和手腕偏移角度特征信息； 步骤3 :根据步骤2获得的特征信息利用模板匹配的方法以及最大概率和最近邻准则 识别出手语字母； 步骤4 :根据连续帧流相一致的识别结果确定输出手语字母含义。2. 如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤2进 一步包括：将收集的3D坐标信息利用余弦定理计算出每个手指关节的弯曲角度及手腕的 弯曲角度，作为手型的特征信息。3. 如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤3进 一步包括：将待识别的特征信息与模板的信息逐一进行欧拉距离计算，并找出距离最小的 N个模板信息，将这N个距离数据进行排序后，利用加权算法和最大概率准则计算出本帧的 手语字母识别结果。4. 如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤4进 一步包括：建立计数器，当步骤3中判断本帧的识别结果与上一帧相一致，则计数器自增1， 否则计数器清零；取连续m帧相一致的手语字母作为最终的识别结果，m为设定值。【专利摘要】本专利技术公开。本专利技术通过深度摄像头Leap Motion装置获取手的手掌和手腕骨骼关节点3D坐标信息；对获取的3D坐标信息进行相关计算得到手的关节的弯曲角度信息，然后通过对角度信息进行特征处理，分别获得手型特征信息和手腕弯曲程度的特征信息；对获得的特征信息计算与模板的欧拉距离根据最大概率的近邻准则和连续帧流结果相一致原则，识别出手语字母。所述方法有效的实现快速识别汉语手语字母的目标，并且各个手语字母基元相对独立，识别手语字母的连续性序列可以实时识别手语。本专利技术能够实时对基于手语字母的手语进行识别，方便聋哑人利用该可穿戴设备与他人进行有效的沟通交流。【IPC分类】G06K9-00【公开号】CN104866824【申请号】CN201510254098【专利技术人】黄爱发, 徐向民, 邢晓芬, 李兆海, 倪浩淼 【申请人】华南理工大学【公开日】2015年8月26日【申请日】2015年5月17日本文档来自技高网...
【技术保护点】
一种基于Leap Motion的手语字母识别方法，其特征在于，包括以下步骤：步骤1：利用深度摄像头设备Leap Motion获取手语字母的手掌和手腕的骨骼关节点的3D坐标信息；步骤2：根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯曲角度，获取手型特征信息和手腕偏移角度特征信息；步骤3：根据步骤2获得的特征信息利用模板匹配的方法以及最大概率和最近邻准则识别出手语字母；步骤4：根据连续帧流相一致的识别结果确定输出手语字母含义。
【技术特征摘要】
【专利技术属性】
技术研发人员：黄爱发，徐向民，邢晓芬，李兆海，倪浩淼，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。