基于面颈部发音肌群激活的SSR肌电电极贴片优化设计方法技术

本发明专利技术属于无声语音识别技术领域，具体为基于面颈部发音肌群激活的SSR肌电电极贴片优化设计方法。本发明专利技术选择与发音过程密切相关的颧肌、颊肌、提角肌、颈阔肌、胸锁乳突肌、环甲肌、甲状舌骨肌、颏肌、降下唇肌作为目标肌群，面部、颈部两侧及下巴区域作为肌电信号的采集区域并贴敷320通道高密度表面肌电采集阵列，从生理信号层面获取高精度的发音肌群神经放电信息和肌肉运动信息；通过量化发音肌群的空间激活模式来确定活跃区域和非活跃区域，并通过增加活跃区域的通道密度和减少非活跃区域的覆盖面积来优化电极布局；通过电极优化布局，在兼顾高密度电极阵列捕获丰富肌肉活动特征能力的同时，减少冗余通道并提高计算效率。减少冗余通道并提高计算效率。减少冗余通道并提高计算效率。

【技术实现步骤摘要】
基于面颈部发音肌群激活的SSR肌电电极贴片优化设计方法


[0001]本专利技术属于无声语音识别
，具体涉及基于面颈部发音肌群激活模式的肌电电极贴片优化设计方法。

技术介绍

[0002]语言是人际交往和情感表达的重要工具。在过去的几十年里，人们对使用声学信号作为语音识别任务输入信号的自动语音识别系统进行了大量研究。然而，目前广泛应用的自动语音识别系统存在着一些不足。首先，由于声音信号的质量容易受到环境噪声和非目标语音等多种因素的影响，在某些不可控的环境下，系统识别性能可能会急剧下降。其次，如果声音信号被用于银行、军队等高度机密的场景，可能会存在一定的信息泄露风险。最后，由于缺乏必要的语音输入，包括喉切除术、脑卒中、帕金森、中风和闭锁综合征等失语症患者无法使用自动语音识别系统。因此，我们迫切需要探索不依赖声学信号的无声语音识别(silent speech recognition，SSR)技术，通过获取与发声过程相关的信号来生成可理解的非声学信号。
[0003]表面肌电图(surface electromyography,sEMG)是神经肌肉活动过程中产生的一种生物电信号，目前已广泛应用于辅助医疗、康复医疗、人机交互等领域。由于人类语言是发音肌群激活的直接结果，发音时面部及颈部区域发音肌群伴随着不同的sEMG信号并对应着不同的空间激活模式，因此可以通过采集并分析发音过程中相关肌群的肌电信号来识别相应的语音指令。与针电极肌电图、电磁构音成像等侵入性方法相比，sEMG具有非侵入性检测、可操作性强等优点。与脑电图信号相比，sEMG具有较好的抗生理波动能力，较高的空间分辨率和识别精度。因此，基于sEMG的SSR技术已经成为某些特殊场景下传统自动语音识别系统的替代或补充措施。
[0004]近年来，国内外研究人员对基于sEMG的SSR技术进行了许多尝试。与本专利技术较为相近的解决方案，主要有：
[0005](1)一种基于面颈部表面肌电的失语者发音康复训练系统，该方法使用了分立式5通道电极，5名构音障碍志愿者实现了89.4％的9个泰语音节分类[1]。
[0006](2)一种基于面颈部表面肌电的无声语音解码方法，该方法使用了四片高密度(high
‑
density,HD)柔性电极阵列放置于面部和颈部左右两侧，共同组成了64通道阵列[2]。
[0007]现有的基于sEMG的SSR技术，主要缺陷如下：
[0008]缺陷1：发音过程涉及发音肌群的复杂神经肌肉活动，相关肌肉部位在解剖结构上的分布彼此临近。早期的SSR通常采用通道数量较少的分立式表面肌电电极来记录面部和颈部发音肌群的肌肉活动信息[1]。然而，现有分立式表面肌电电极的贴敷位置通常在结合生理解剖结构后基于于经验选择具体贴敷位置，缺乏事先定量的分析。同时，由于通道数量的限制，这种分立式表面肌电电极无法覆盖足够广的肌肉区域，导致无法完整刻画发音肌群的空间激活模式，可能会给语音识别结果带来不准确性。
[0009]缺陷2：虽然随着电极加工技术的发展和数据采集技术的进步，HD表面肌电电极阵列可以提供高分辨率的肌肉激活信息从而提高SSR的性能[5]。但是HD电极阵列带来的冗余通道极大地提高了计算复杂度，制约了SSR技术的推广。因此，如何在兼顾HD的条件下减少冗余通道并优化电极贴敷位置，依然是目前研究的难点。

技术实现思路

[0010]针对以上现有技术的缺点，本专利技术的目的在于提出一种计算效率高、语音识别效果好的基于面颈部发音肌群空间激活模式的无声语音识别肌电电极贴片优化设计方法。
[0011]本专利技术提供的基于面颈部发音肌群激活的无声语音识别肌电电极贴片优化设计方法，选择与说话密切相关的颧肌、颊肌、提角肌、颈阔肌、胸锁乳突肌、环甲肌、甲状舌骨肌、颏肌、降下唇肌作为目标肌群，面部、颈部两侧及下巴区域肌电信号的采集区域并贴敷320通道HD表面肌电采集阵列，获取高分辨率的发音肌群神经放电信息，从生理信号层面获取更为丰富的语音发音相关肌肉运动信息；通过量化发音肌群的空间激活模式，确定活跃区域和非活跃区域，并通过增加活跃区域的通道密度和减少非活跃区域的覆盖面积来优化电极布局；通过电极优化布局，在兼顾HD电极阵列捕获丰富肌肉活动特征能力的同时，减少冗余通道并提高计算效率。具体步骤为：
[0012]步骤一：音素信号采集的电极贴片的初步设计
[0013]使用320通道HD电极阵列采集用户无声发音各音素时所产生的sEMG。电极贴片的布局初步设计如下：4个8
×
8的HD电极阵列(Adhesive Matrix ELSCH064NM1,OT bioelectrononica,Torino,Italy)分别放置于面部和颈部两侧的中心，1个5
×
13的HD电极阵列放置在下巴中心并保持电极阵列的上边缘和下嘴唇彼此平行；面部的两个电极分别记为A1、A2，颈部的两个电极分别记为A3、A4，下巴中心处的电极记为B1；电极贴敷位置如图1(a)所示。8
×
8HD电极阵列的凝胶电极通道设计为椭圆形，相邻电极通道之间有一定间距(如中心距离为10毫米)；5
×
13HD电极阵列的凝胶电极通道设计为椭圆形，相邻电极通道之间有一定间距(如中心距离为2.5mm)。A1和A2电极用于记录颧肌、颊肌和提角肌的活动。A3和A4电极用于记录颈阔肌、胸锁乳突肌、环甲肌和甲状舌骨肌的活动。B1电极用于记录颏肌和降下唇肌的活动。此外，参考电极被放置在耳后乳突上。通过医用胶带和电极贴将HD电极阵列固定在皮肤表面。
[0014]步骤二：音素信号采集
[0015]使用Quattrocento系统(OT bioelectrononica,Torino,Italy)获取HD sEMG信号，该系统具有16位ADC分辨率，采样率为2048Hz，增益为150。被试按照一定的引导程序发音。
[0016]步骤三：采集的音素信号的预处理
[0017]根据触发信号检测每次无声发音任务的肌电信号起始端点和终止端点，从而切割出无声发音任务的肌电信号并对其进行预处理。包括使用高通滤波器和低通滤波器进行滤波。其中，高通滤波器用于降低运动伪影，低通滤波器用于降低高频噪声。然后，用一组陷波滤波器对50HZ的电力线干扰及其谐波分量进行衰减。保留持续稳定的信号用于后续提取空间激活模式特征。
[0018]步骤四：提取音素信号的空间激活模式特征
[0019]用肌电任务信号的均方根(root mean square，RMS)特征来表征肌肉活动的空间分布。针对每次无声发音任务，构造5个64维的特征向量并分别归一化至均值为0、标准差为1，每个特征向量对应一片电极，每个维度对应一个特定通道。其中，RMS特征的公式为[6
‑
7]：
[0020][0021]式中，x
i
为采集的肌电信号离散值，N为数据长度。按照HD电极阵列中的各通道的相对位置，对每个肌电任务信号的RMS特征进行通道对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面颈部发音肌群激活的SSR电极贴片优化设计方法，其特征在于，选择与说话密切相关的颧肌、颊肌、提角肌、颈阔肌、胸锁乳突肌、环甲肌、甲状舌骨肌、颏肌、降下唇肌作为目标肌群，面部、颈部两侧及下巴区域作为肌电信号的采集区域并贴敷320通道高密度表面肌电采集阵列，从生理信号层面获取高精度的发音肌群神经放电信息和肌肉运动信息；通过量化肌群的空间激活模式来确定活跃区域和非活跃区域，并通过增加活跃区域的通道密度和减少非活跃区域的覆盖面积来优化电极布局；通过电极优化布局，在兼顾高密度电极阵列捕获丰富肌肉活动特征能力的同时，减少冗余通道并提高计算效率；具体步骤为：步骤一：采集音素信号的电极贴片的初步设计使用320通道高密度电极阵列采集用户无声发各音素时所产生的sEMG；电极贴片的布局初步设计如下：4个8
×
8的高密度电极阵列分别放置于面部和颈部两侧的中心，1个5
×
13的高密度电极阵列放置在下巴中心并保持电极阵列的上边缘和下嘴唇彼此平行；面部的两个电极分别记为A1、A2，颈部的两个电极分别记为A3、A4，下巴处的电极记为B1；8
×
8高密度电极阵列的凝胶电极通道设计为椭圆形，相邻通道之间有一定间距；5
×
13高密度电极阵列的凝胶电极通道设计为椭圆形，相邻通道之间有一定间距；A1和A2电极用于记录颧肌、颊肌和提角肌的肌肉活动信号；A3和A4电极用于记录颈阔肌、胸锁乳突肌、环甲肌和甲状舌骨肌的肌肉活动信号；B1电极用于记录颏肌和降下唇肌的肌肉活动信号；此外，参考电极被放置在耳后乳突上；步骤二：音素信号采集使用Quattrocento系统获取高密度sEMG信号，被试者按照一定的实验引导程序发音；步骤三：对采集的音素信号进行预处理根据触发信号检测每次无声发音任务的肌电信号起始端点和终止端点，从而切割出无声发音任务的肌电信号并对其进行预处理，包括使用高通滤波器和低通滤波器进行滤波；其中，高通滤波器用于降低运动伪影，低通滤波器用于降低高频噪声；然后，用一组陷波滤波器对50Hz的工频干扰及其谐波分量进行衰减，保留持续稳定的信号用于后续提取空间激活模式特征；步骤四：音素信号的空间激活模式特征提取用肌电任务信号的均方根(RMS)特征来表征肌肉激活模式的空间分布；针对每次无声发音任务，构造5个64维的特征向量，并分别归一化至均值为0、标准差为1，每个特征向量对应一片电极，每个维度对应一个特定通道；其中，RMS特征的公式为：式中，x
i
为采集的肌电信号离散值，n为数据长度；按照高密度电极阵列中各通道的相对位置，对每个肌电任务信号的RMS特征进行通道对齐，转换为实际高密度电极阵列的空间分布，称为RMS特征图；步骤五：基于RMS特征图，量化发音肌群空间激活模式，从而确定活跃区域和非活跃区域；通过增加活跃区域的通道密度和减少非活跃区域的覆盖面积来优化电极布局设计；通过电极布
局优化，在兼顾高密度电极阵列捕获丰富肌...

【专利技术属性】
技术研发人员：谭欣，戴晨赟，陈炜，刘翔宇，姜新雨，林展辉，
申请(专利权)人：复旦大学，
类型：发明
国别省市：