一种可穿戴式手语识别装置及手语翻译方法制造方法及图纸

技术编号:14129306 阅读:108 留言:0更新日期:2016-12-09 17:37
本发明专利技术公开了一种可穿戴式手语识别装置及手语翻译方法,可穿戴式手语识别装置包括穿戴设备端和上位机端,穿戴设备端具有指环和臂环,具体是基于多轴运动传感器与肌肉电信号传感器对手语动作进行运动姿态解算与模式识别,将手语翻译为语音或文字的实时人机交互系统。本发明专利技术将肌肉电信号与多轴运动信号融合,利用模式识别技术实现手语动作的准确识别,并且不受手语动作词汇量的限制。将上述信号采集、数据处理、分类过程集成于可穿戴设备中,便于使用者佩戴并且不影响其日常生活。

【技术实现步骤摘要】

本专利技术涉及手语翻译系统领域,尤其涉及一种可穿戴式手语识别装置及手语翻译方法,具体是基于多轴运动传感器与肌肉电信号的运动姿态解算与模式识别技术将手语翻译为语音或文字的实时人机交互系统。
技术介绍
手语是语言或听觉障碍者与人沟通的主要工具,而普通人中能够熟练使用手语的比例较低。因此,语言或听觉障碍者与普通人沟通存在诸多不便。由于手语种类多,以中国手语词汇为例,共有5000余个手势词;手语动作动态变化等特点,使得手语识别技术尚未取得广泛的应用。通过手语识别技术,将手语动作翻译为普通人可以听懂的语音或者可以看懂的文字,能够跨越语言或听觉障碍者与普通人之间的沟通障碍,提高语言或听觉障碍者的生活质量。目前对于手势识别的主要技术方案有基于数据手套采集关节角度信息,但是数据手套的佩戴限制了语言或听觉障碍者的日常生活;基于图像处理的手势识别方式受环境的限制,且在便携方面不具有优势。此外,中国专利申请号为:201410376205.X的“基于肌电信号和运动传感器的手语翻译和显示发声系统”提出一种通过佩戴在手臂上的设备,采集手臂肌电信号和多轴运动传感器信号,但依据其原理只能检测手指与前臂的姿态,不能检测手掌与手臂的相对姿态,而手语动作中手掌与手臂的相对姿态对于手语动作的区分具有重要意义;依据其所述原理不具有反馈功能,听觉障碍者无法确定翻译系统是否正常工作,所以此方法存在技术缺陷。
技术实现思路
有鉴于现有技术的不足,本专利技术所要解决的技术问题是提供一种简单准确的可穿戴式手语识别装置。为实现上述目的,本专利技术提供了一种可穿戴式手语识别装置,通过臂环的肌肉电信号传感器实时采集手臂的肌肉电信号检测手指的运动姿态,通过指环以及臂环的多轴运动传感器实时采集手掌与手臂的相对姿态以及手臂在三维空间的姿态,采用模式识别的方式,实现手语识别,并通过上位机将翻译结果以语音或文字的形式输出。具体地,本专利技术提供的技术方案如下:一种可穿戴式手语识别装置,包括穿戴设备端和上位机端;穿戴设备端包括可穿戴的指环和臂环,指环上具有手掌处多轴运动传感器;臂环上具有至少一个第一模块、一个或多个第二模块以及固定第一模块和第二模块的臂带,第一模块包括肌肉电信号传感器、前臂处多轴运动传感器、微处理器、反馈部件以及第一通讯模块,第二模块包括肌肉电信号传感器;肌肉电信号传感器、前臂处多轴运动传感器、反馈部件、第一通讯模块以及手掌处多轴运动传感器都与微处理器连接,微处理器用于读取和处理肌肉电信号传感器、前臂处多轴运动传感器和手掌处多轴运动传感器采集的信息,反馈部件用于向使用者反馈提示信息;上位机端包括上位机和第二通讯模块,微处理器通过第一通讯模块和第二通讯模块与上位机交互信息。优选地,上位机端还包括与上位机连接的交互设备,交互设备被设置为用于对上位机识别的手语进行语义校正及语法矫正。优选地,多通道肌肉电信号传感器包括多通道肌肉电信号电极、滤波电路以及放大电路。优选地,上位机为智能手机、平板电脑等移动终端设备。优选地,臂带采用可伸缩材料制成。优选地,手掌处多轴运动传感器和前臂处多轴运动传感器均包括三轴加速度计、三轴角速度计和三轴磁力计。优选地,提示信息包括振动、声音、显示屏、信号灯等反馈提示方式。一种使用上述可穿戴式手语识别装置的手语翻译方法,包括如下步骤:1)选择上位机模式为训练,根据手语动作训练分类器并得到手语分类器集,储存于上位机中;2)选择上位机模式为识别,根据手语动作的信号得到分类器集,与储存在上位机中的手语分类器集匹配并输出识别结果;3)通过上位机的交互设备对识别结果进行语义校正及语法矫正,并以语音或文字的形式输出,用户完成一句话的手语动作后反馈部件提示用户语音是否翻译完成。优选地,步骤1)的训练过程包括以下步骤:a)通过手掌处多轴运动传感器和前臂处多轴运动传感器对手语动作进行姿态解算,提取特征并训练第一训练分类器;b)通过多通道肌肉电信号传感器对手语动作进行分窗处理,提取特征并训练第二训练分类器;c)将第一训练分类器和第二训练分类器信息进行分类器融合,得到手语分类器集,将所得手语分类器存储在上位机中。优选地,步骤2)的识别过程包括以下步骤:a)由手掌处多轴运动传感器对手语动作进行姿态解算,判断单手动作和双手动作;b)由多通道肌肉电信号传感器对手语动作进行端点检测,使连续的手语动作被分割为单个手语动作;c)通过手掌处多轴运动传感器和前臂处多轴运动传感器对手语动作进行姿态解算以及通过多通道肌肉电信号传感器对手语动作进行分窗处理,得到手语分类器集;d)将所得到的分类器集,与储存在上位机中的手语分类器集匹配并输出识别结果。与现有技术相比,本专利技术的优势是:1、本专利技术将肌肉电信号与多轴运动信号融合,利用模式识别技术实现手语动作的准确识别,并且不受手语动作词汇量的限制。将上述信号采集、数据处理、分类过程集成于可穿戴设备中,便于使用者佩戴并且不影响其日常生活。2、本专利技术在采用模式识别技术过程中,将手语动作首先分为单手手语动作与双手手语动作,避免双手穿戴设备时刻处于工作状态,降低功耗;指环与手臂处多轴运动传感器能准确检测手掌相对于手臂的姿态,使得手语识别准确率与效率更高。以下将结合附图对本专利技术的方法及产生的技术效果作进一步说明,以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的可穿戴式手语识别装置示意图;图2是本专利技术的可穿戴式手语识别装置硬件系统结构图;图3是本专利技术的手语识别系统单手手语训练流程图;图4是本专利技术的手语识别系统双手手语训练流程图;图5是本专利技术的手语识别系统识别过程图。具体实施方式如图1和图2所示分别为本专利技术提供的可穿戴式手语识别装置及硬件系统示意图,包括在用户的手指和双臂前臂上佩戴的指环401以及臂环404,臂环404的臂带402可伸缩以适应不同臂围的用户使用。臂环404上包括多通道肌肉电信号传感器113、多轴运动传感器107、微处理器106、反馈部件114以及通讯模块108,其中多通道肌肉电信号传感器113包括多通道肌肉电信号电极102、滤波电路103以及放大电路104。指环401中包括多轴运动传感器405。臂环404中模块403包括肌肉电信号传感器113、多轴运动传感器107、微处理器106、反馈部件114以及通讯模块108,其余模块只包括肌肉电信号传感器113。手语识别硬件系统通过多通道肌肉电信号电极102上的多个电极片406采集前臂处多通道肌肉电信号,经过滤波电路103、放大电路104以及A/D转换后由微处理器106读取,手掌处多轴运动传感器105获取手掌处三轴加速度计、三轴角速度计、三轴磁力计数据,通过但不限于有线方式由微处理器106读取,前臂处多轴运动传感器107获取手臂处三轴加速度计、三轴角速度计、三轴磁力计数据,由微处理器106读取,当微处理器106进行分类运算后,向反馈部件114发送指令,由反馈部件114提供但不限于振动反馈。微处理器106通过通讯模块108实现与上位机111的双向信息传输。本专利技术所述穿戴设备端101在使用时首先通过通讯模块110与上位机端109实现通讯,通讯模块110采用但不仅限于蓝牙传输或无线传输;上位机111可采用智能手机、平板电脑等移动终端设备。初次使用穿戴设备端101时,需要进行训练;再次使用穿戴设备本文档来自技高网...
一种可穿戴式手语识别装置及手语翻译方法

【技术保护点】
一种可穿戴式手语识别装置,其特征在于,包括穿戴设备端和上位机端;所述穿戴设备端包括可穿戴的指环和臂环,所述指环上具有手掌处多轴运动传感器;所述臂环上具有至少一个第一模块、一个或多个第二模块以及固定所述第一模块和所述第二模块的臂带,所述第一模块包括肌肉电信号传感器、前臂处多轴运动传感器、微处理器、反馈部件以及第一通讯模块,所述第二模块包括肌肉电信号传感器;所述肌肉电信号传感器、所述前臂处多轴运动传感器、所述反馈部件、所述第一通讯模块以及所述手掌处多轴运动传感器都与所述微处理器连接,所述微处理器用于读取和处理所述肌肉电信号传感器、所述前臂处多轴运动传感器和所述手掌处多轴运动传感器采集的信息,所述反馈部件用于向使用者反馈提示信息;所述上位机端包括上位机和第二通讯模块,所述微处理器通过所述第一通讯模块和所述第二通讯模块与所述上位机交互信息。

【技术特征摘要】
1.一种可穿戴式手语识别装置,其特征在于,包括穿戴设备端和上位机端;所述穿戴设备端包括可穿戴的指环和臂环,所述指环上具有手掌处多轴运动传感器;所述臂环上具有至少一个第一模块、一个或多个第二模块以及固定所述第一模块和所述第二模块的臂带,所述第一模块包括肌肉电信号传感器、前臂处多轴运动传感器、微处理器、反馈部件以及第一通讯模块,所述第二模块包括肌肉电信号传感器;所述肌肉电信号传感器、所述前臂处多轴运动传感器、所述反馈部件、所述第一通讯模块以及所述手掌处多轴运动传感器都与所述微处理器连接,所述微处理器用于读取和处理所述肌肉电信号传感器、所述前臂处多轴运动传感器和所述手掌处多轴运动传感器采集的信息,所述反馈部件用于向使用者反馈提示信息;所述上位机端包括上位机和第二通讯模块,所述微处理器通过所述第一通讯模块和所述第二通讯模块与所述上位机交互信息。2.如权利要求1所述的可穿戴式手语识别装置,其中所述上位机端还包括与上位机连接的交互设备,所述交互设备被设置为用于对上位机识别的手语进行语义校正及语法矫正。3.如权利要求1所述的可穿戴式手语识别装置,其中所述多通道肌肉电信号传感器包括多通道肌肉电信号电极、滤波电路以及放大电路。4.如权利要求1所述的可穿戴式手语识别装置,其中所述上位机为智能手机、平板电脑等移动终端设备。5.如权利要求1所述的可穿戴式手语识别装置,其中所述臂带采用可伸缩材料制成。6.如权利要求1所述的可穿戴式手语识别装置,其中所述手掌处多轴运动传感器和所述前臂处多轴运动传感器均包括三轴加速度计、三轴角速度计和三轴磁力计。7.如权利要求...

【专利技术属性】
技术研发人员:朱向阳吕博赵彬郭伟超盛鑫军
申请(专利权)人:上海交通大学
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1