一种手势识别方法及装置制造方法及图纸

本发明专利技术提供一种手势识别方法和装置，所述方法和装置可实现聋哑人与普通人的实时交互，通过肌电信号传感器、姿态信号传感器以及柔性手套中的角度传感器对聋哑使用者的手部动作姿态信息进行采集，通过对采集数据的融合分析，同步解析为手势姿态帧图进行输出，将手势姿态帧图与建立的词图匹配数据库进行匹配查询，获得与聋哑人手势对应的语音关键词条，并经由语音模块处理后输出语音表达，另外通过将普通人的口语信号经处理后获得与普通人语音对应的手势姿态帧图，实现聋哑人和普通人之间的实时交互。的实时交互。的实时交互。

【技术实现步骤摘要】
一种手势识别方法及装置


[0001]本专利技术涉及手势识别
，尤其设计一种手势识别方法及装置。

技术介绍

[0002]由于人手的动作有很多且手势较复杂，不同的动作也会有重叠的部分，使得手势识别成为目前研究的难题之一。而在复杂手势中，手语是聋哑人交流的主要语言，手语是一个极其复杂的语言系统且是靠手部动作来作为聋哑人与其他人表达的主要方式。因为手语极其难懂，除非专业人士，否则正常人很难准确的识别聋哑人的手势。
[0003]目前现有的手语识别方法可分为：基于数据手套的方法、基于肌电的方法和基于计算机视觉的方法。基于数据手套的方法需要佩戴数据手套，数据手套可检测手部的动作信息，包括手指的关节形变、手指间的角度等，这种方法直接检测手部形变信息，能够较好的识别手语动作，但通过数据手套采集到的信号，不同手势动作信号之间没有明显的区分，无法有效分割手语词，通常情况下需要利用外部采集到的图像信息进行手工分割，训练过程通常费时费力。基于计算机视觉的手势识别方法虽然比较成熟，但依赖对图像的处理，其外界因素影响也比较大。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括，获取肌电信号数据、手部姿态信号数据、手指关节角度信号数据；提取所述肌电信号数据中的绝对值积分特征和标准差特征，输出手部的握拳与展拳信息；提取所述手部姿态信号数据中的角速度特征，输出手姿空间坐标信息；提取所述手指关节角度的电阻值特征，输出指关节弯曲角度信息；融合所述手部的握拳与展拳信息、手姿坐标信息和指关节弯曲角度信息输出手势姿态帧图；将输出的手势姿态帧图与词图匹配数据库进行匹配关联，语音输出与聋哑人手势对应的语音关键词条。2.根据权利要求1所述的方法，其特征在于，所述方法还包括将普通人的语音信号转为手势图的步骤。3.根据权利要求2所述的方法，其特征在于，所述普通人的语音信号经处理后，提取语音关键词条，将语音关键词条与建立的词图匹配数据库进行匹配查询，获得普通人语音对应的手势姿态帧图，并对这些手势姿态帧图或与之对应的解析文字进行输出，显示在聋哑人的手环屏幕上，实现两者之间的实时交互沟通。4.根据权利要求1所述的方法，其特征在于，所述提取肌电信号数据中的绝对值积分特征和标准差特征步骤之前，还包括运用小波降噪对肌电信号数据进行数据预处理的步骤。5.根据权利要求1所述的方法，其特征在于，所述提取肌电信号数据中的绝对值积分特征和标准差特征的步骤包括运用时域分析法对肌电信号数据进行绝对值积分特征和标准差特征的提取的步骤。6.根据权利要求1所述的方法，其特征在于，所述提取手部姿态信号数据中的角速度特征输出手姿空间坐标信息步骤包括根据如下公式对姿态信号进行四元数方法滤波处理，具体公式为：体公式为：其中，Q为姿态融合后的四元数，Q
s
是陀螺仪测...

【专利技术属性】
技术研发人员：韩亚丽，史金飞，朱文亮，姜维佳，孙翰，金壮壮，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：