一种基于表面肌电信号的手语识别发声系统及方法技术方案

本发明专利技术提供一种基于表面肌电信号的手语识别发声系统及方法，该系统包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元，肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处，肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，处理器单元的输出端连接语音合成单元的输入端；该方法为：采集受试者手臂部的肌电信号和手腕处动作的加速度信号，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出，将手语动作的文本形式转换为声音，输出该手语动作的声音。

【技术实现步骤摘要】

本专利技术属于数字信号处理及服务机器人
，具体涉及一种基于表面肌电信号的手语识别发声系统及方法。
技术介绍
手语是聋哑残疾人使用的语言。它是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定的意思或词语，是一种靠动作和视觉进行交际的特殊语言。然而，手语是一个庞大而复杂的语言系统，让大多数正常人掌握并应用手语直接与聋哑残疾人进行交流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手段，在很大程度上限制了聋哑人的交流范围，使得不懂手语的正常人无法对聋哑残疾人所表达的全面理解，给聋哑残疾人日常生活、工作和学习带来极大的不便。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于表面肌电信号的手语识别发声系统及方法。本专利技术的技术方案是：一种基于表面肌电信号的手语识别发声系统，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元；所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所述处理器单元的输出端连接语音合成单元的输入端；所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元；所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。还包括上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的输出端和惯性测量单元的输出端均通过蓝牙连接所述上位机；所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹
配模型库，将各个手语动作的匹配模型库输入处理器单元。所述语音合成单元，包括语音合成模块、功放模块和喇叭。所述分类器采用基于高斯混合模型的多流隐马尔科夫模型。所述提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换特征向量和肌电信号的功率谱密度特征值；所述提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变换特征向量和加速度信号的功率谱密度特征值。采用基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，包括以下步骤：步骤1：通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位机；步骤2：上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；步骤3：上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元；步骤4：通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号，通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处理器单元；步骤5：处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；步骤6：处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；步骤7：语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声音。本专利技术的有益效果：本专利技术提出一种基于表面肌电信号的手语识别发声系统及方法，本专利技术利用提取不同特征向量输入多流隐马尔科夫分类器的方法，在离线的情况下得到最佳的手语与信号的匹配模板，并通过实时采集的表面肌电信号和加速度信号与模板匹配识别聋哑残疾人的手语，极大程度上提高了识别的实时性和准确性，并将识别结果实时转化为正常人听得懂的声音，有效减轻了聋哑残疾人与正常人之间的交流障碍。附图说明图1为本专利技术具体实施方式中基于表面肌电信号的手语识别发声系统的结构框图；图2为本专利技术具体实施方式中采集的受试者手臂部的肌电信号；图3为本专利技术具体实施方式中采集的受试者手腕处动作的加速度信号；图4为本专利技术具体实施方式中四块肌肉的肌电信号功率谱密度谱图；其中，(a)为1号肌肉簇的预处理后的肌电信号；(b)为2号肌肉簇的预处理后的肌电信号；(c)为1号肌肉簇的功率谱密度(PSD)；(d)为2号肌肉簇的功率谱密度(PSD)；(e)为3号肌肉簇的预处理后的肌电信号；(f)为4号肌肉簇的预处理后的肌电信号；(g)为3号肌肉簇的功率谱密度(PSD)；(h)为4号肌肉簇的功率谱密度(PSD)；图5为本专利技术具体实施方式中S3C2440A处理器的电路图；图6为本专利技术具体实施方式中语音合成单元的结构框图；图7为本专利技术具体实施方式中基于表面肌电信号的手语识别发声方法的流程图；图8为本专利技术具体实施方式中选取的12种不同手语图；图9为本专利技术具体实施方式中提取12种手语肌电信号的特征值与加速度信号的特征值分布图。具体实施方式下面结合附图对本专利技术具体实施方式加以详细的说明。一种基于表面肌电信号的手语识别发声系统，如图1所示，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元，还包括上位机。肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处，肌电采集单元的输出端和惯性测量单元的输出端连接处理器单元的输入端，处理器单元的输出端连接语音合成单元的输入端，上位机通过RS232串口连接处理器单元，肌电采集单元的输出端和惯性测量单元的输出端通过蓝牙连接上位机。肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元。本实施方式中，肌电信号采集单元采用的是津发科技有限公司定做的生理信号获取平台。肌电采集端子通过贴附于受试者皮肤表面的电极片获取电位变化，经过内部放大电路放大，以无线传输方式实时发送给接收端，该系统可以同时采集16路sEMG等生理信号，每一导采样频率可以达到4096Hz，sEMG量程为正负1500uv，共模抑制比达到110DB，干扰噪声最大小于1.7uv，每个接收端充满电后可以连续使用4～6小时，接收端与采集端最远距离可达500m，
具有极强的跟踪范围，并且采集使用方便快捷。本实施方式中，采集的受试者手臂部的肌电信号如图2所示，图2为“再见”手语的4块主要肌肉的表面肌电信号。惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元。本实施方式中，惯性测量单元选取的是由荷兰Xsens公司提供的MTi微惯性航姿系统。MTi为一套微型陀螺仪增强姿态和航向参考系统(AHRS)，通过MTi微惯性航姿系统自带惯性低功耗微处理器能够得到无漂移地三轴方向和三轴校正地三轴加速度、三轴旋转地加速度陀螺和三轴地磁场的数据。MTi微惯性航姿系统可以通过串行接口RS-23本文档来自技高网...

【技术保护点】
一种基于表面肌电信号的手语识别发声系统，其特征在于，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元；所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所述处理器单元的输出端连接语音合成单元的输入端；所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元；所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。

【技术特征摘要】
1.一种基于表面肌电信号的手语识别发声系统，其特征在于，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元；所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所述处理器单元的输出端连接语音合成单元的输入端；所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元；所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。2.根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，还包括上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的输出端和惯性测量单元的输出端均通过蓝牙连接所述上位机；所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。3.根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述语音合成单元，包括语音合成模块、功放模块和喇叭。4.根据权利要求2所述的基于表面肌电信号的手语识别...

【专利技术属性】
技术研发人员：王斐，周杰，甘昆鹭，李师宁，赵树森，刘万佳，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21