一种人工耳蜗语音处理方法及系统技术方案

本发明专利技术公开一种人工耳蜗语音处理方法及系统。该方法包括：取得声音信号，将声音信号转化为数字信号；将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量，将该多个本征模态函数转换为瞬时频率和瞬时幅度；将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号。本发明专利技术基于希尔伯特‑黄变换，对声音在时域上进行分析，不受不确定性原理限制，且不存在因谐波而产生的噪声。

【技术实现步骤摘要】
一种人工耳蜗语音处理方法及系统
本专利技术涉及人工耳蜗领域，特别涉及一种人工耳蜗语音处理方法及系统。
技术介绍
与选择性放大声音的助听器不同，人工耳蜗（CochlearImplants）必须将声音信号直接传输到耳朵的传入听觉神经，然后传输到初级听力皮层来产生声音。因此，耳蜗植入物直接为初级听觉皮层产生声音的感觉。从这个意义上讲，人工耳蜗是一种治疗方法，而不仅是一种修复方法，用于治疗由于中耳和内耳的损伤或缺损而导致的严重听力丧失甚至完全性耳聋。它绕过了耳朵的受损部分，将经过处理的信号直接传递到听觉神经。当前的人工耳蜗都是基于错误的假设，即人工耳蜗是基于生物学上的傅里叶分析或者基于傅里叶滤波器组。为了克服目前人工耳蜗设计的缺陷，本专利技术的方法是基于直接在时域中工作的自适应经验模态分解方法（EMD），其适用于非线性和非稳态的数据，不受不确定性原理的限制。它将耳蜗视为基于EMD的滤波器组，为当前面临的大多数挑战提供了解决方案。从广义上来讲，此处使用的术语“人工耳蜗”，还应当包括脑干植入物和骨传导听力植入物。（1）听力机制在正常的耳朵中，当与声音信号相关的压力波通过鼓膜上的外耳道撞击传播时，声音信号被感知为声音。该振动通过听骨（包括锤骨、砧骨和镫骨）机制放大到耳蜗根部的卵圆窗上。卵圆窗处的振动随后在前庭中产生压力波，这将使柔软的基底膜和螺旋器以及毛细胞一起振动变形，然后触及弯曲毛细胞的覆盖膜。在波峰处弯曲的毛细胞将触发神经元发射产生电脉冲，这些电脉冲将穿过丘脑皮层系统，并传输到初级听觉皮层（PrimaryAuditoryCortex，PAC）进行处理，以产生之前听到的声音。（2）听力损伤在上述听觉形成机制上的任一环节出现问题均可能导致听力损失。如果中耳和内耳有任何功能障碍，将会阻止神经脉冲的产生和传播，从而无法到达初级听觉皮层，此时将出现感觉神经性听力损伤的情况。可以通过非侵入性助听器缓解部分听力损伤，这些听力损伤包括衰老（老年性耳聋），过度接触噪音即噪音引发的听力损伤（NoiseInduceofHearingLoss,NIHL），遗传（先天性听力损伤），药物中的毒素导致的耳聋等。但是，助听器对于中枢性耳聋完全没有用。对于严重的或者完全失聪的患者，由于不存在内毛细胞（innerhaircells,IHC），耳蜗植入物将提供帮助，该耳蜗植入物旨在通过将听觉刺激产生的电脉冲直接传递到丘脑皮层系统来代替内毛细胞的功能。对于严重的全耳聋听力障碍，耳蜗植入物可以提供有效的治疗方法。在过去的三十年里，人工耳蜗开始获得广泛的认可。根据McDermott（2004）和Roche及Hansen（2015）的最新研究，尽管他们的表现总体上一般，但是植入物传递的声音可以减轻患者的完全隔离感，极大地改善他们的社交能力和生活质量。（3）耳蜗植入物的原理耳蜗植入物的设计原理与助听器存在根本的不同。助听器是基于声音的放大，更具体地说是声音的选择性放大。在产生声音并将其作为单个最终声音传递到耳朵之前，已经对声音刺激的组成部分进行修改和叠加。为了保持逼真度，必要条件仅要求声音组成部分的完整性。耳蜗植入物是耳蜗内部毛细胞的替代品，需要这些声音组成在耳蜗植入物上适当位置的电极上产生适当的电刺激，初级听觉皮层的最终声音是所有刺激成分的总和。但是，由于植入物的长度有限，耳蜗植入物并不能完全替代3500个内毛细胞的功能。然而，耳蜗植入物不能很好地替代耳蜗，因为其缺少3500个自然内毛细胞提供的精细频率信息。综上所述，所有的人工耳蜗均因存在并发声源（尤其是音乐声）而惨败。当前的耳蜗植入物系统的基本组件包括麦克风、语音处理单元（包括软件和电路），带有刺激器和接收器的感应线圈对以及电极。人工耳蜗的基本原理如下：声音信号首先由麦克风捕获，经过处理以提取一些基本参数，通过感应线圈作为电信号传递到植入的接收器。然后，电信号通过电极阵列传输到耳蜗中的螺旋神经节神经元，从而将电信号转换成局部动作电位并传递到初级听觉皮层。但是人工耳蜗的核心是在任何给定时刻正确选择频段，这是本专利技术提出要实现的。在讨论电极选择原理之前，我们将首先讨论当前人工耳蜗设计的问题。（4）当前的人工耳蜗设计存在的问题当前人工耳蜗设计存在的问题的根源在于对声音的误解，并在此基础上建立了声音感知。自从亥姆霍兹发表著名的论断：“所有的声音，无论多么复杂，都可以在数学上分解为正弦波”以来，无论你是否知道该论断，声音都以傅里叶频率表示。但是这远非真相。尽管声学和听觉界都是研究声音，但是他们似乎在处理不同的主题。声学界将声音视为物理实体，并使用频率作为测量声音的标准。但是，由于某些看似异常的现象，听觉界发现了傅里叶分析中的一些缺陷，其将声音视为通过耳部机制被大脑感知的感觉，并使用音高来量化声音，但是遗憾的是音高无法客观衡量。然而，大多数听觉实验仍以频率表示。这使得声音的神经生物学听觉研究陷入困境。众所周知，要理解声音，我们需要感知载波的频率及其包络，这是傅里叶分析所无法满足的。基于耳蜗功能的最初发现者冯·贝塞西（1974），其认为基底膜的运动是一种行波，其机理由流体力学原理决定。实际上，冯·贝塞西明确表示：“将傅里叶分析应用于听力问题越来越成为听力研究的障碍”。最近，Kim等人（2018，SPIE）和Motallebzadeh等人（2018，PNAS）根据流体力学原理用螺旋器对基底膜进行了建模，并完美地检验了其功能。不幸的是，对于人工耳蜗系统，声音信号处理仍然仅基于傅里叶频谱分析。人工耳蜗旨在用有限数量的电极代替内毛细胞（约3500个独立的内毛细胞）的功能。但是，存在一些严重的问题：首先，能容纳的电极的最大数量是有限的，大约25个，但是为了避免串扰，同时能激活的电极数量只有6个。其次，植入物只能覆盖耳蜗的圈，而不是整个三圈，仅在基端附近占总长度的40%，但是会与60%的螺旋神经节细胞接触。这就是为什么会产生“吱吱作响”的类似老鼠声音的原因。第三，来自每个电极的声音组分在神经层上被矫正。不同的声音组分之间不存在抵消或合并的机会。然而，基于Smith等人在2002年的研究，语音识别可以在声音成分的包络上完成。Shannon等人（1995年）证明，适当选择4个声音分量足以实现语言识别。结果，过去的经验表明，声音分量越少越好，这也是符合稀疏原理的。傅里叶分量当然不能满足该要求。实际上，电极越多越好，因为它们会产生更好的频率差异。更多的电极将导致不同通道之间的“串扰”，而性能却没有明显的改善。还有一些其他的声音处理方法，如同步模拟信号（SimultaneousAnalogSignal，SAP），压缩分析（CompressiveAnalysis，CA）,连续交错采样（ContinuousInterleavedSampling，CIS），高分辨率设备（HighResolutiondevices，HiRes），高级组合编码器（AdvancedCombinatorialEncoders，ACE），动态峰值拾取（DynamicPeakPicking本文档来自技高网...

【技术保护点】
1.一种人工耳蜗语音处理方法，其特征在于，包括以下步骤：/n取得声音信号，将所述声音信号转化为数字信号；/n将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量，将该多个本征模态函数转换为瞬时频率和瞬时幅度；/n将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；/n从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号。/n

【技术特征摘要】
1.一种人工耳蜗语音处理方法，其特征在于，包括以下步骤：
取得声音信号，将所述声音信号转化为数字信号；
将所述数字信号采用模态分解方法进行分解，取得多个本征模态函数分量，将该多个本征模态函数转换为瞬时频率和瞬时幅度；
将所述瞬时频率进行分类，使其与人工耳蜗中预设的电极频段相对应；
从对应的电极频段中挑选N个能量最高的电极频段分量，根据所选择的电极频段分量生成对应的电极刺激信号。


2.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：所述模态分解方法包括经验模态分解法，集合经验模态分解法，或者自适应性二进位遮罩经验模态分解法。


3.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括，在对所述数字信号采用模态分解方法进行分解之前，采用以下方法之一抑制噪声：自适应滤波器方法或者人工智能方法。


4.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：在对所述数字信号采用模态分解方法进行分解之前，采用以下方法之一消除鸡尾酒会问题：计算机听觉场景分析、非负矩阵分解、生成式模型建模、波束成形、多通道盲源分离、深度聚类、深度吸引网络、排列不变性训练。


5.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：从对应的电极频段中挑选N个能量最高的电极频段分量，其中N≤6，且这些电极频段分量的能量值高于预设阈值。


6.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：自动增益控制，其根据患者的听力测试图谱调整每个电极刺激信号。


7.根据权利要求1中的人工耳蜗语音处理方法，其特征在于，还包括：采用以下方法之一生成...

【专利技术属性】
技术研发人员：黄锷，叶家荣，
申请(专利权)人：江苏爱谛科技研究院有限公司，
类型：发明
国别省市：江苏;32