一种语音式手语交流系统及方法技术方案

本发明专利技术公开了一种语音式手语交流系统及方法，该系统包括云计算机、左手套和右手套；其中左手套包括左外骨骼感测组件、第一控制单元、第一惯性传感器、第一供电模块和第一通信模块；右手套包括右外骨骼感测组件、第二控制单元、第二惯性传感器、第二供电模块、语音模块和第二通信模块；左外骨骼感测组件和右外骨骼感测组件分别包括多个旋转电位器、多个应变片及支架。本发明专利技术利用极低成本的旋转电位器测量指关节弯曲度，利用应变片测量掌关节弯曲度，并结合惯性传感器测量手部运动状态，还设计了多种工作模式，大大降低系统实际运行功耗；本发明专利技术克服了现有手语识别系统环境要求高、价格昂贵的问题，可解决聋哑人与正常人交流障碍的难题，具有广泛的应用前景。

【技术实现步骤摘要】
一种语音式手语交流系统及方法
本专利技术涉及数据处理
，具体是指一种语音式手语交流系统及方法。
技术介绍
聋哑人的交流问题越来越受到国家和社会的关注，国家为此发布并实施了《国家通用手语常用词表》。但是，聋哑人与正常人之间的交流问题还没有得到有效解决，为解决这一问题，现主要存在三种方法：(1)摄像头实时采集图像，通过图像识别进行语意的判断；(2)可穿戴式设备，仅通过多个惯性传感器检测手部姿态及手指弯曲度，或通过单个惯性传感器检测手部姿态，并结合多个应变片检测手指弯曲度；(3)通过手机、电脑等设备打字交流。但是上述方法都存在一定问题，分别是：(1)图像识别方法运算量大，对环境要求较高，不适合室外场所；(2)现有的可穿戴设备实施较难、成本极高且效率低；(3)打字方式一般仅限于一对一交流，无法满足多人环境。
技术实现思路
为克服现有手语识别存在的不足之处，本专利技术提供了一种语音式手语交流系统及方法，其目的在于克服现有手语识别方法受环境限制、成本高且效率低的问题，解决聋哑人和正常人间的交流障碍。为了实现上述目的，本专利技术具有如下构成：该语音式手语交流系统，包括云计算机、左手套和右手套，所述左手套包括左外骨骼感测组件、第一控制单元、第一惯性传感器、第一供电模块和第一通信模块，所述右手套包括右外骨骼感测组件、第二控制单元、第二惯性传感器、第二供电模块、语音模块和第二通信模块，所述左外骨骼感测组件和右外骨骼感测组件分别包括多个旋转电位器、多个应变片及支架；第一控制单元分别与左外骨骼感测组件、第一惯性传感器、第一供电模块、和第一通信模块电气连接；第二控制单元分别与右外骨骼感测组件、第二惯性传感器、第二供电模块、语音模块和第二通信模块电气连接，所述第一惯性传感器和第二惯性传感器分别用于测量左手运动状态和右手运动状态，所述语音模块用于实时播放聋哑人手语识别的结果。可选地，所述左手套还包括显示屏，所述显示屏用于实时显示正常人的语音识别结果及说话者的方位。可选地，所述显示屏还用于提示用户选择工作模式，所述工作模式包括聋哑人与正常人交流模式、倾听模式、表达模式和休眠模式。可选地，所述右手套还包括麦克风阵列，所述麦克风阵列用于捕捉正常人的语言并根据音色判断不同说话者的方位。可选地，所述左外骨骼感测组件和右外骨骼感测组件分别包括9个旋转电位器和5个应变片。可选地，9个所述旋转电位器分别位于左手9处指关节处，通过支架连接，用于测量指关节弯曲度；5个应变片位于左手5处掌关节处，用于测量掌关节弯曲度。本专利技术实施例还提供一种语音式手语交流方法，采用所述的语音式手语交流系统，所述方法包括聋哑人与正常人交流模式，所述聋哑人与正常人交流模式包括如下步骤：左手套和右手套分别通过左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器和第二惯性传感器实时检测左手和右手的运动状态；左手套和右手套通过第一通信模块和第二通信模块将检测数据上传至云计算机；云计算机根据接收到的检测数据检测手语内容，并发送至语音模块；语音模块播放手语内容对应的语音。可选地，所述左手套和右手套分别通过左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器和第二惯性传感器实时检测左手和右手的运动状态之前，还包括如下步骤：左手套和右手套分别通过左外骨骼感测组件、右外骨骼感测组件检测到左手和右手的初始化动作，对所述左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器和第二惯性传感器进行初始化操作。可选地，所述左手套还包括显示屏，所述右手套还包括麦克风阵列，所述聋哑人与正常人交流模式还包括如下步骤：所述麦克风阵列捕获到正常人的语音时，右手套通过第二通信模块将语音数据上传至云计算机；云计算机根据语音数据得到语音识别结果和说话者方位，并发送至显示屏；所述显示屏显示语音识别结果和说话者的方位。可选地，所述左手套还包括显示屏，所述左手套和右手套分别通过左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器和第二惯性传感器实时检测左手和右手的运动状态之前，还包括如下步骤：所述显示屏提示用户选择工作模式，并接收工作模式的选择；如果用户选择聋哑人与正常人交流模式，则执行所述聋哑人与正常人交流模式的步骤；如果用户选择倾听模式，则所述左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器和第二惯性传感器以及所述语音模块停止工作；如果用户选择表达模式，则所述麦克风阵列停止工作；如果用户选择休眠模式，则所述左外骨骼感测组件、右外骨骼感测组件、第一惯性传感器、第二惯性传感器、语音模块和麦克风阵列停止工作。本专利技术所提供的语音式手语交流系统及方法，具有如下有益效果：本专利技术利用传感器技术及计算机技术，设计了一种语音式手语交流系统，该系统通过极低成本的旋转电位器测量指关节弯曲度，通过应变片测量掌关节弯曲度，并结合惯性传感器测量手部运动状态，克服了现有手语识别系统环境要求高、价格昂贵的问题；还设计了一种语音式手语交流方法，可解决聋哑人与正常人交流障碍的难题；并设计了多种工作模式，大大降低系统实际运行功耗。附图说明图1是本专利技术一实施例提供的一种语音式手语交流系统的结构示意图；图2是本专利技术一实施例提供的一种语音式手语交流系统的结构框图；图3是本专利技术一实施例的左外骨骼感测组件结构图；图4是本专利技术一实施例提供的一种语音式手语交流方法的流程图；图中的附图标记：云计算机1，左手套2，右手套3，左外骨骼感测组件4，第一控制单元5，第一惯性传感器6，第一供电模块7，显示屏8，第一通信模块9，右外骨骼感测组件10，第二控制单元11，第二惯性传感器12，第二供电模块13，麦克风阵列14，语音模块15，第二通信模块16，旋转电位器17，应变片18，支架19。具体实施方式为了解决现有技术中的技术问题，本专利技术提供了一种语音式手语交流系统及方法。其中，所述系统包括云计算机、左手套和右手套，所述左手套包括左外骨骼感测组件、第一控制单元、第一惯性传感器、第一供电模块和第一通信模块，所述右手套包括右外骨骼感测组件、第二控制单元、第二惯性传感器、第二供电模块、语音模块和第二通信模块，所述左外骨骼感测组件和右外骨骼感测组件分别包括多个旋转电位器、多个应变片及支架；所述第一控制单元分别与左外骨骼感测组件、第一惯性传感器、第一供电模块、和第一通信模块电气连接；第二控制单元分别与右外骨骼感测组件、第二惯性传感器、第二供电模块、、语音模块和第二通信模块电气连接，所述第一惯性传感器和第二惯性传感器分别用于测量左手运动状态和右手运动状态，所述语音模块用于实时播放聋哑人手语识别的结果。下面结合图1至图4，对本专利技术的技术方案进行详细说明。如图1，2所示，分别为专利技术一实施例提供的一种语音式手语交流系统的结构示意图和结构框图，包括云计算机1、左手套2和右手套3。所述左手套2包括左外骨骼感测组件4、第一控制单元5、第一惯性传感器6、第一供电模块7、显示屏8和第一通信模块9；所述右手套3包括右外骨骼感测组件10、第二控制单元11、第二惯性传感器12、第二供电模块13、麦克风阵列14、语音模块15和第二通信模块16。所述第一控制单元5分别与左外骨骼感测组件4、第一惯性传感器6、第一供电模块7、显示屏8和第一通信模块9电气连接；第二控制单元11分别与右外骨骼感测组件10、第二惯性传感器12、第二供本文档来自技高网...

【技术保护点】
1.一种语音式手语交流系统，其特征在于，包括云计算机(1)、左手套(2)和右手套(3)，所述左手套(2)包括左外骨骼感测组件(4)、第一控制单元(5)、第一惯性传感器(6)、第一供电模块(7)和第一通信模块(9)，所述右手套(3)包括右外骨骼感测组件(10)、第二控制单元(11)、第二惯性传感器(12)、第二供电模块(13)、语音模块(15)和第二通信模块(16)，所述左外骨骼感测组件(4)和右外骨骼感测组件(10)分别包括多个旋转电位器(17)、多个应变片(18)及支架(19)；第一控制单元(5)分别与左外骨骼感测组件(4)、第一惯性传感器(6)、第一供电模块(7)、和第一通信模块(9)电气连接；第二控制单元(11)分别与右外骨骼感测组件(10)、第二惯性传感器(12)、第二供电模块(13)、语音模块(15)和第二通信模块(16)电气连接，所述第一惯性传感器(6)和第二惯性传感器(12)分别用于测量左手运动状态和右手运动状态，所述语音模块(15)用于实时播放聋哑人手语识别的结果。

【技术特征摘要】
1.一种语音式手语交流系统，其特征在于，包括云计算机(1)、左手套(2)和右手套(3)，所述左手套(2)包括左外骨骼感测组件(4)、第一控制单元(5)、第一惯性传感器(6)、第一供电模块(7)和第一通信模块(9)，所述右手套(3)包括右外骨骼感测组件(10)、第二控制单元(11)、第二惯性传感器(12)、第二供电模块(13)、语音模块(15)和第二通信模块(16)，所述左外骨骼感测组件(4)和右外骨骼感测组件(10)分别包括多个旋转电位器(17)、多个应变片(18)及支架(19)；第一控制单元(5)分别与左外骨骼感测组件(4)、第一惯性传感器(6)、第一供电模块(7)、和第一通信模块(9)电气连接；第二控制单元(11)分别与右外骨骼感测组件(10)、第二惯性传感器(12)、第二供电模块(13)、语音模块(15)和第二通信模块(16)电气连接，所述第一惯性传感器(6)和第二惯性传感器(12)分别用于测量左手运动状态和右手运动状态，所述语音模块(15)用于实时播放聋哑人手语识别的结果。2.根据权利要求1所述的语音式手语交流系统，其特征在于，所述左手套(2)还包括显示屏(8)，所述显示屏(8)用于实时显示正常人的语音识别结果及说话者的方位。3.根据权利要求2所述的语音式手语交流系统，其特征在于，所述显示屏(8)还用于提示用户选择工作模式，所述工作模式包括聋哑人与正常人交流模式、倾听模式、表达模式和休眠模式。4.根据权利要求1所述的语音式手语交流系统，其特征在于，所述右手套(3)还包括麦克风阵列(14)，所述麦克风阵列(14)用于捕捉正常人的语言并根据音色判断不同说话者的方位。5.根据权利要求1所述的一种语音式手语交流系统，其特征在于，所述左外骨骼感测组件(4)和右外骨骼感测组件(10)分别包括9个旋转电位器(17)和5个应变片(18)。6.根据权利要求4所述的一种语音式手语交流系统，其特征在于，9个所述旋转电位器(17)分别位于左手9处指关节处，通过支架(19)连接，用于测量指关节弯曲度；5个应变片(18)位于左手5处掌关节处，用于测量掌关节弯曲度。7.一种语音式手...

【专利技术属性】
技术研发人员：洪榛，洪淼，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：浙江,33