一种语音手势交互翻译装置及其控制方法制造方法及图纸

本发明专利技术公开了一种语音手势交互翻译装置及其控制方法，所述语音手势交互翻译装置包括手势翻译器和语音翻译器，手势翻译器和语音翻译器通信连接；手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，再转换为语音信号后进行播放；语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。本发明专利技术通过第一用户使用手势翻译器将手语翻译成语音播出；第二用户使用语音翻译器将语音信号翻译成对应的手势动作进行显示，在听障人与健全人之间即可实现无障碍的交流沟通，使听障人能更好地融入正常人的社会生活。

【技术实现步骤摘要】

本专利技术涉及传感器技术、识别
，特别涉及。
技术介绍
手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定意思或词语，其作为听力障碍的人(即聋哑人，以下简称为听障人)之间、听障人与健全人(即听、说能力正常的人)之间互相交流的一种手的语言，是听障人主要的交际工具。由于手语的动作较多且遵循一定的规则、需要经过系统的学习才能掌握，大多数健全人可能会理解少数手语的意思，或者完全不明白，因此听障人与健全人之间常出现交流不顺畅、甚至没有任何交流，势必会伤害听障人的感情，影响健全人与听障人的团结。
技术实现思路
鉴于上述现有技术的不足之处，本专利技术的目的在于提供，以解决听障人与健全人之间的交流障碍问题。为了达到上述目的，本专利技术采取了以下技术方案: 一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器； 所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放； 所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。所述的语音手势交互翻译装置，其中，所述手势翻译器包括: 手势传感器，用于感应第一用户手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器； 第一处理器，用于将接收的手势动作与预存的手语数据进行匹配，输出该手势动作对应的词语信息，将词语信息组合为语句信息后转换为语音信号输出； 语音播放模块，用于接收语音信号、将语音信号放大后播放； 所述手势传感器与第一处理器无线连接，所述第一处理器连接语音播放模块。所述的语音手势交互翻译装置，其中，所述语音翻译器包括: 语音采集模块，用于获取第二用户的语音信号并传输； 第二处理器，用于将接收的第二用户的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作； 显示模块，用于获取手势动作并按手势动作生成的先后顺序逐一显示； 所述语音采集模块、第二处理器、显示模块依次连接。所述的语音手势交互翻译装置，其中，所述手势传感器包括手套、距离传感器以及手势合成模块，所述手套、距离传感器分别连接手势合成模块； 所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心，用于感应第一用户手指的指式、动作和朝向； 所述距离传感器用于感应所述多个加速度传感器与人体之间的相对位置； 所述手势合成模块根据手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作，并无线传输至第一处理器。所述的语音手势交互翻译装置，其中，所述手势翻译器还包括: 动作判断模块，用于根据第一用户输入的操作命令控制加速度传感器和距离传感器开始或停止感应；所述动作判断模块连接手套和距离传感器。所述的语音手势交互翻译装置，其中，所述第一处理器还包括: 语句组合模块，用于将手势动作对应的词语信息根据预设的语句格式组合成语句信肩、O一种语音手势交互翻译装置的控制方法，其包括: A、手势翻译器获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，将词语信息转换为语音信号进行播放； B、语音翻译器获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。 所述的语音手势交互翻译装置的控制方法，其中，所述步骤A中，手势翻译器获取第一用户的手势动作具体包括: Al、加速度传感器感应第一用户的手的指式、动作和朝向； A2、距离传感器感应所述加速度传感器感与人体之间的相对位置； A3、手势合成模块根据所述手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置进行手势语识别，生成相应的手势动作。所述的语音手势交互翻译装置的控制方法，其中，所述步骤A之前还包括: AO:动作判断模块根据第一用户输入的操作命令控制加速度传感器和距离传感器开始感应。相较于现有技术，本专利技术提供的，通过手势翻译器获取听障人的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，再转换为语音信号后进行播放；通过语音翻译器获取健全人的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序在显示屏上进行显示，这样听障人的手语转换为相应的声音播放，健全人的语言转换为相应的手语展示，即可实现听障人与健全人之间无障碍交流。附图说明图1为本专利技术语音手势交互翻译装置的结构框图。图2为本专利技术语音手势交互翻译装置的控制方法流程图。具体实施例方式本专利技术提供，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，其为本专利技术语音手势交互翻译装置的结构框图，如图所示，其包括手势翻译器10和语音翻译器20。所述手势翻译器10获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放。所述语音翻译器20与所述手势翻译器10通信连接，获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。所述第一用户指听障人，佩戴手势翻译器10 ;所述第二用户指健全人，佩戴语音翻译器20。手势翻译器10包括手势传感器、第一处理器和语音播放模块。所述第一处理器和语音播放模块可设置在一起，所述手势传感器独立于第一处理器和语音播放模块，与第一处理器无线连接。手势传感器将感应到的听障人的手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器，也可以通过蓝牙方式传输。其中，手势传感器包括手套、距离传感器以及手势合成模块。所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心处，可感应第一用户手指的指式、动作和朝向。所述加速度传感器为MEMS加速度传感器。听障人双手带上该手套后，由过感应手指运动过程中三轴方向的运动加速度，分析判断出手指及双手的运动轨迹、运动方向、运动行程，即可识别出听障人比划的手语。基于手语有多种姿势，有的会高举过头顶，有的会放在耳边，例如“对不起”的手语有点类似于敬礼。为了使感应到的手语动作更加准确，通过所述距离传感器感应所述多个加速度传感器与人体之间的相对位置，再通过手势合成模块将手指的指式、动作、朝向以及加速度传感器与人体之间的相对位置放在一起进行手势语识别，即可生成相应的更为准确的手势动作，然后无线或蓝牙传输至第一处理器。为了判断听障人是否需要进行手语对话，将一些寻常动作，如握住扶手、喝水、搓手等与手语区分，避免加速度传感器的误判断，进一步地，所述手势翻译器还包括一动作判断模块，其连接手套和距离传感器，根据听障人输入的操作命令控制加速度传感器和距离传感器开始或停止感应。在具体实施时，所述动作判断模为设置在手套上的一轻触开关，例如设置在手腕附近，当听本文档来自技高网...

【技术保护点】
一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器；所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放；所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。

【技术特征摘要】
1.一种语音手势交互翻译装置，其特征在于，包括手势翻译器和语音翻译器； 所述手势翻译器，用于获取第一用户的手势动作，与预存的手语数据进行匹配、输出该手势动作对应的词语信息，转换为语音信号进行播放； 所述语音翻译器与所述手势翻译器通信连接，用于获取第二用户的语音信号，将所述语音信号转换为文字信息后与预存的手语数据进行匹配、生成该文字信息对应的手势动作，将手势动作按顺序进行显示。2.根据权利要求1所述的语音手势交互翻译装置，其特征在于，所述手势翻译器包括: 手势传感器，用于感应第一用户手指的指式、动作和朝向，结合手与人体之间的相对位置生成相应的手势动作，并无线传输至第一处理器； 第一处理器，用于将接收的手势动作与预存的手语数据进行匹配，输出该手势动作对应的词语信息，将词语信息组合为语句信息后转换为语音信号输出； 语音播放模块，用于接收语音信号、将语音信号放大后播放； 所述手势传感器与第一处理器无线连接，所述第一处理器连接语音播放模块。3.根据权利要求1所述的语音手势交互翻译装置，其特征在于，所述语音翻译器包括: 语音采集模块，用于获取第二用户的语音信号并传输； 第二处理器，用于将接收的第二用户的语音信号转换为文字信息、与预存的手语数据进行匹配、生成该文字信息对应的手势动作； 显示模块，用于获取手势动作并按手势动作生成的先后顺序逐一显示； 所述语音采集模块、第二处理器、显示模块依次连接。4.根据权利要求2所述的语音手势交互翻译装置，其特征在于，所述手势传感器包括手套、距离传感器以及手势合成模块，所述手套、距离传感器分别连接手势合成模块； 所述手套上设置有多个加速度传感器且分别位于与手指关节相对应的位置、手背以及手心，用于感应第一用户手指的指式、...

【专利技术属性】
技术研发人员：吕勇攀，吕伟，
申请(专利权)人：安徽安泰新型包装材料有限公司， 深圳劲嘉彩印集团股份有限公司，
类型：发明
国别省市：安徽;34