一种基于肌电信号的辅助发声方法及装置制造方法及图纸

本发明专利技术涉及一种基于肌电信号的辅助发声方法及装置，所述方法包含：利用肌电信号获得辅助发声所需的先验知识库的步骤；基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语语音合成的步骤。验知识库获得方法为：1)对要学习的汉字或词语进行“发声”，采集该“发声”动作引起的相关的肌肉运动，产生表面肌电信号；2)将“发声”相关的表面肌电信号传输给表面肌电信号的筛选与分离模块；3)表面肌电信号的筛选与分离模块对肌电信号进行处理，提取“发声”相关的肌电语音信号；4)语音肌电信号识别模块提取肌电语音信号的特征值，建立肌电语音信号与汉字或词语“发声”之间的对应关系5)多次重复上述步骤，最终获得先验知识库。

【技术实现步骤摘要】

本专利技术涉及一种基于肌电信号的辅助发声方法，特别地，涉及一种基于肌电信号 的辅发声方法及装置。
技术介绍
根据2006年进行的第二次残疾人抽样调查结果推算，全国言语残疾人口 127万， 占1. 53%。发声障碍会严重影响生活质量，造成沟通的不便，而且对家庭和社会来说都是沉 重的负担。发声障碍的病因分为两大类-器质性的和非器质性的。器质性的发声障碍源于患 者喉部的疾病，特别是半喉和全喉的切除术会导致患者发声功能的丧失；非器质性发音障 碍多是由精神因素引起的失声。非器质性发音障碍又称心因性发音障碍，其表现为程度不同的嗓音撕哑，喉头检 查阴性，咳嗽、笑或清嗓子时声音接近正常。目前的治疗方法是除发音训练外，结合精神上 的照顾开导，适当选用暗示或诱导治疗，治疗恢复时间比较慢。器质性的发声障碍失去了发音器官，动力器官肺虽存在，但气体的交换通过气管 造瘘口进行，不经咽腔和鼻腔。目前，主要有3种辅助发声方法即食管音、气管食管音和人 工喉。I)食管音的缺点是发音连贯性差，声时短，音调低，只适合在小范围、背景安静的环境 中交流。发音不当常可引起腹胀及烧心感。2)气管食管音包括外瘘法和内瘘法。外瘘法手 术过程复杂，外装置给病人造成不便，设计原理不适合颈部廓清手术和放疗后的患者，并发 症如误吸仍难避免；内瘘法发音时需要用手堵住气管造瘘口，同时并发症也越来越引起人 们的重视，其长期发音效果还需观察。3)人工喉的优点是设备简单，发出的声音声时长、响 亮，可作长时间交谈。据统计，使用人工喉的患者，3年和5年后仍有57%的和50%的人在 继续使用，高于食管音和气管食管音。其缺点是使用不甚方便，交谈时宛如手持烟斗一样需 要用手将其固定，讲话时不能双手同时工作；而且发音的音质单调、刺耳，带有金属音。目前，其它的辅助发声方法还有美国犹他大学科学家利用两组植入癫痫患者大脑中的微电极阵列成功实现将大 脑信号转化为口语单词。这一成果能够帮助因患严重麻痹症而失去语言能力的患者轻松地 表达自己的思想。这种微电极阵列每组包括16个微电极，通常植入到头骨之下，大脑之上。 这项专利技术证明了大脑信号解码为计算机发音的口语单词的可行性。但是这种方法的手术难 度很大，危险性高。美国的AUDEO家公司从事脑电波方案的研究，通过传感器提取患者发声的脑电波 信号进行判别，此产品的技术复杂度更高，只是用于英语发音，也处于试用阶段。中科院计算所采用手语合成技术来辅助发声障碍的患者进行说话，普通人和聋哑 人的交流需要通过电脑来完成。电脑的屏幕上有一个虚拟人，它能将输入的每一句话都用 手语翻译出来，而聋哑人只要戴上一个特制的手套，他的手语也马上变成了屏幕上的一行 行文字。这种方案的优点是聋哑人群均适用，缺点是讲话时双手不能工作，识别率低，仍处于科研阶段。
技术实现思路
本专利技术的目的是，针对上述辅助发声方法的缺点，结合发声障碍者的需求，提供一 种使用安全、方便美观、学习时间短、发声效果好的辅助发声方法，即本专利技术提供一种基于 肌电信号的辅助发声方法及装置。为了实现上述目的，本专利技术提供一种基于肌电信号的辅助发声方法，该方法基于 发声方面的机能，包含用于获得利用肌电信号辅助发声所需的先验知识库的步骤。用于基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语进行语 音合成的步骤。可选的，所述的先验知识库采用如下方法获得I)对要学习的汉字或词语进行“发声”，采集该“发声”动作引起的相关的肌肉运 动，产生表面肌电信号。2)将“发声”相关的表面肌电信号传输给表面肌电信号的筛选与分离模块。3)表面肌电信号的筛选与分离模块对肌电信号进行滤波、归一化和盲源分离处 理，提取出与此汉字或词语“发声”相关的肌电语音信号。4)语音肌电信号识别模块提取肌电语音信号的特征值，利用神经网络和支持向量 机技术，建立肌电语音信号与汉字或词语“发声”之间的对应关系，将此关系保存下来。5)多次重复上述步骤，最终获得先验知识库。可选的，所述基于先验知识库识别“发声”动作对应的词语或汉字的过程包含如下 步骤I)执行“发声”动作。2)采集该“发声”动作对应的颈部或面部附近与语音相关位置的相关的表面肌电 信号并将其传输给表面肌电信号的筛选与分离模块。3)表面肌电信号的筛选与分离模块对表面肌电信号进行滤波、归一化和盲源分离 算法进行处理，以滤除表面肌电信号中包含的眨眼、呼吸或心跳引起的杂波。4)语音肌电信号识别模块提取上步最终得到的肌电信号的特征值，建立肌电信号 与先验知识库的对应关系，识别“发声”动作的汉字或词语。5)利用语音合成技术将该汉字或词语的语音播放出来。上述技术方案中，所述步骤2)进一步为首先，采用截止频率为2K的低通滤波器进行滤波，并对滤波后的信号进行白化处 理；然后，利用独立分量ICA自然梯度串行更新算法或者批处理更新算法进行盲源分离的 计算，得到相互独立的多通道数据；最后，将相互独立的多通道数据进行分类后，排除干扰信号。基于上述方法本专利技术还提供一种基于肌电信号的辅助发声装置，该装置基于发声 方面的机能，包含传感器用于米集表皮肌电信号。发送单元采集后进行带通滤波，将信号通过有线(或无线)的方式传递给表面肌电信号的筛选与分离模块。表面肌电信号的筛选与分离模块将多路信号进行筛选与分离，将干扰信号(眨 眼，呼吸，脉搏等引起的肌电信号)滤除。只保留由发声引起的肌电信号。和语音肌电信号识别模块将肌电信号经模式识别技术提取出特征值，与发声的汉 字或词语形成对应关系。上述技术方案中，所述的装置还包含语音合成单元，该单元用于将所需要发生的 汉字或词语通过语音合成技术通过语音的方式播放出来。可选的，所述表面肌电信号的筛选和分离模块首先采用截止频率为2K的低通滤 波器进行滤波，并对滤波后的信号进行白化处理；然后，利用独立分量ICA自然梯度串行更 新算法或者批处理更新算法进行盲源分离的计算，等到相互独立的多通道数据；最后，将相 互独立的多通道数据进行分类后，排除干扰信号。本专利技术充分发挥了患者依然存在的发声方面某些机能，通过采集发声时的表面肌 电信号，建立其与所发声音之间的关系，从而辅助发声障碍的患者发声。这样的方案更加自 然简洁，可以大大提高了患者的生活品质。本专利技术的优点在于1.由于患者原先会使用声带进行发声，因此学习时间比较短，而且学习的过程相 对更加自然、快速、容易掌握、不会给患者带来痛苦。而食道发声法，哑语的学习相比之下要 复杂的多。2.气管食管发音需要手术安装，而这种辅助发声设备则只需要将电极简单佩戴就 可以。患者减轻了安装的痛苦而且安全，无副作用。3.本系统在使用的时候，双手可以同时工作，操作更加方便灵活。4.由于使用的语音合成技术发音，因此患者使用本系统后发出的声音理论上可以 更加自然，更加接近正常人发音的特性。附图说明图1是本专利技术的辅助发声学习过程原理示意图2是本专利技术的辅助发声系统工作原理图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步的描述。本专利技术在广泛的调研的基础上，结合发声障碍者的需求，吸取以往的辅助发声系 统地优缺点，提出了一种新型的辅助发声方法。这种辅助发声设备的原理是，通过采集患者 “发声”时口腔，颈部或面部等部位的多路肌电信号。通过已有的先验知识，将其“翻译”成 “语言”，再通过本文档来自技高网...

【技术保护点】
一种基于肌电信号的辅助发声方法，该方法基于发声方面的机能，包含：用于获得利用肌电信号辅助发声所需的先验知识库的步骤；用于基于先验知识库识别“发声”动作对应的词语或汉字，并对汉字或词语进行语音合成的步骤。

【技术特征摘要】

【专利技术属性】
技术研发人员：理华，孟晓辉，肖灵，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：