一种基于肌电信号手语识别翻译臂环及手语识别方法技术

本发明专利技术主要公开了一种基于肌电信号手语识别翻译臂环及手语识别方法，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述肌电传感器和九轴惯性测量传感器分别与单片机连接，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，最后通过扬声器进行播放。

【技术实现步骤摘要】
一种基于肌电信号手语识别翻译臂环及手语识别方法
本专利技术涉及手势识别控制
，尤其是涉及一种基于肌电信号手语识别翻译臂环及手语识别方法。
技术介绍
目前识别手势动作的方法有很多种，例如光学，压力传感器等。通过图像拍摄手部的动作，双目视觉解算每个手指、手掌、小臂的动作。也可以佩戴压力传感器手套，通过压力和惯性导航重新得到手指动作。这些方法都是可行的，但是需要一个比较负责的外设。例如光学成像必须有双目摄像机，而且不能运动中拍摄。手套更加复杂，需要佩戴，而且体积较大。为了设计便携，快速使用的手势识别工具，需要采用更高级，更原始的信号。肌肉电信号是人体电信号的一种，和脑电波类似。在人体肌肉收缩和舒张的时候，肌肉生物电电压会产生电势差，通过电极可以采集到这种变化。肌电信号的电压幅值因人而异，大约在50mV,频率在200-100Hz。人体小臂肌肉的三块主要肌肉能够比较完备的表达出手臂和手指的动作，因此通过在小臂部分佩戴臂环的方式，测量肌电信号，从而重构出手势动作。参考中国专利申请号为CN201720816796.7，名称为一种手语识别翻译臂环，只是阐述了基本结构，并未对识别的性能做出改进，识别准确率低下，鲁棒性差，这种传统的识别方法包括支持向量机、隐马尔可夫等模式识别手段，都难以参考大样本，因而导致结果不佳。
技术实现思路
本专利技术针对现有技术的不足，提供一种基于肌电信号手语识别翻译臂环及手语识别方法，具有结构简单，佩戴简单，携带方便，识别词库量和准确度。本专利技术是通过以下技术方案使上述技术问题得以解决。一种基于肌电信号手语识别翻译臂环，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述闭环外壳内侧表面对应连接一个肌电传感器，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。作为优选，所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧。扬声器可以防止冬天袖子遮住臂环，无法发出声音。作为优选，所述连接带与闭环外壳卡扣连接，闭环外壳与闭环外壳之间通过连接带固定，连接方式简单方便。作为优选，所述单片机采用STM32单片机，工作速度快，性能高。一种手语识别肌电信号的方法，首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，最后通过扬声器进行播放。作为优选，所述深度学习的算法框架采用谷歌tenserflow、百度paddlepaddle或keras框架。作为优选，采用百度paddlepaddle框架可以先将所有数据做归一化处理，将每一个动作下不同人之间的肌电信号(emg)与惯性信号(ori)做交叉，即将不同人的同动作的肌电信号(emg)以及惯性信号(ori)数据进行混排匹配，从而大幅度提高数据量；其次模型分两个部分，一个是对肌电信号(emg)的卷积，一个是对惯性信号(ori)的卷积，然后做拼接后经一个全链接层，再进行预测，其中，肌电信号(emg)与惯性信号(ori)均为一个卷积层、一个池化层与一个全链接层构成，其中肌电信号(emg)的卷积结构为4*16＝64，池化结构参数为8*8＝64；惯性信号(ori)卷积结构为8*2＝16，池化结构参数为4*4＝16，之后都选用relu进行全链接，最后与数据库内整体700000条数据test集进行对比识别。本专利技术有益效果：所述相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，方便拆卸，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器采用干电极臂环形式，佩戴简单，携带方便，适应不同肌肉形状的人群，并且有一定隐藏性，为聋哑人保证隐私。通过肌电传感器和九轴惯性测量传感器分别采集肌电信号和惯性信号，先进行预先采集，然后STM32单片机对肌电信号与惯性信号进行处理，去除一些掺杂的滤波，前端采集与滤波过滤都在臂环内完成，接着传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，采用百度paddlepaddle框架可以先将所有数据做归一化处理，肌电信号(emg)得出手指手腕弯曲动作，而惯性信号(ori)能得出手臂的状态，完整的表达手语动作，通过数据库内整体700000条数据test集识别率为95％，识别准确度更高，最后通过扬声器进行播放。肌电信号属于生物电信号的一部分，是肌肉动作最直接的表达，相比光学图像(被光照影响)和压力传感器(个体力量差异)，具有更更强的普适性。.深度学习算法相对传统模式识别算法能够学习更大量的样本，适合对手语这种复杂的多变模式进行分类，显著提高识别词库量和准确度。附图说明结合以下附图旨在便于描述较佳实施例，并不构成对本专利技术保护范围的限制。图1是本专利技术的框体示意图；图2是本专利技术实施例中通过外设播放声音的手语识别原理图；图3是本专利技术实施例的结构示意图。附图标记：1、闭环外壳；2、连接带；3、肌电传感器；4、扬声器；5、指示灯；6、功能按键。具体实施方式为了方便理解本专利技术，下面结合附图中给出的本专利技术的较佳的实施例对本专利技术进行详细的描述。如图1-3所示，一种基于肌电信号手语识别翻译臂环，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，具体连接结构可采用卡扣连接，连接方式简单方便，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器一般采用8个，其中一个闭环外壳内部连接有九轴惯性测量传感器和蓝牙模块，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧，扬声器可以防止冬天袖子遮住臂环，无法发出声音。所述单片机采用STM32单片机，工作速度快，性能高。所述相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，方便拆卸，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器采用干电极臂环形式，佩戴简单，携带方便，适应不同肌肉形状的人群，并且有一定隐藏性，为聋哑人保证隐私。肌电信号属于生物电信号的一部分，是肌肉动作最直接的表达，相比光学图像(被光照影响)和压力传感器(个体力量差异)，具有更更强的普适性。深度学习算法相对传统模式识别算法能够学习更大量的样本，适合对手语这种复杂的多变模式进行分类，显著提高识别词库量和准确度。九轴惯性测量传感器可以输出九轴数据分别为X，Y，Z方向上的加速度计、旋转角速率、磁通量数据。一种手语识别肌电信号的方法，首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈本文档来自技高网...

【技术保护点】
1.一种基于肌电信号手语识别翻译臂环，其特征在于：包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述闭环外壳内侧表面对应连接一个肌电传感器，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。

【技术特征摘要】
1.一种基于肌电信号手语识别翻译臂环，其特征在于：包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述闭环外壳内侧表面对应连接一个肌电传感器，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。2.根据权利要求1所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧。3.根据权利要求1或2所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述连接带与闭环外壳卡扣连接。4.根据权利要求3所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述单片机采用STM32单片机。5.一种手语识别肌电信号的方法，其特征在于：首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习...

【专利技术属性】
技术研发人员：王娜娜，
申请(专利权)人：诺百爱杭州科技有限责任公司，
类型：发明
国别省市：浙江,33