一种基于多模态特征融合的语音脑机接口解码方法技术

本发明专利技术公开了一种基于多模态特征融合的语音脑机接口解码方法，包括：（1）获取原始神经信号和面部肌电信号，同步获取对应的文本序列；（2）分别提取神经信号特征和肌电信号特征；对于文本序列，提取音素序列后提取文本特征和音素特征；（3）构建基于多模态特征融合的解码模型，包含编码器和解码器；（4）对于神经信号特征、肌电信号特征和音素特征，经过编码器中的嵌入层后两两组合计算特征相似度，基于对比损失函数训练编码器；（5）基于CTC损失函数对解码器进行训练；（5）应用过程中，将待解码的神经信号和肌电信号输入解码模型，最终得到预测文本。本发明专利技术可以解决神经信号不稳定与噪声干扰对解码性能的影响，增强解码模型的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及神经信号解码领域，尤其是涉及一种基于多模态特征融合的语音脑机接口解码方法。

技术介绍

1、脑机接口从神经信号中解码出文字信息，这对于揭示大脑语言处理机制、帮助语言障碍患者恢复交流能力具有重大意义。通过在大脑皮层内植入微电极阵列，提取语言表达区域的神经数据训练模型，基于模型实现对于神经信号的解码。

2、机器学习技术在神经解码中发挥重要的作用。通过训练模型建立神经信号到文本的映射关系，实现神经信号到文本的自动转换。如公开号为cn111973178a的中国专利文献公开了一种脑电信号识别系统及方法，根据已训练的识别模型中的解码器对编码信息进行解码，得到脑电信号对应的文本信息和情绪信息。

3、目前用于解码的机器学习模型方法包括循环神经网络、卡尔曼滤波器、贝叶斯解码器、集成学习方法等。这些方法中，循环神经网络及其变体非常适合处理时间序列数据，捕捉时间数据的长期依赖关系，在神经信号解码中取得较好的效果。

4、然而，神经信号的不稳定性以及噪声干扰是解码过程中面临的难题。在神经解码过程中，参与者的生理状态，如疲劳、情绪变化、本文档来自技高网...

【技术保护点】

1.一种基于多模态特征融合的语音脑机接口解码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（1）中，对神经信号进行预处理的过程如下：

3.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（2）的具体过程为：

4.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（4）中，采用线性模型构建嵌入层，特征相似度的计算公式为：

5.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（4）中，对比...

【技术特征摘要】

1.一种基于多模态特征融合的语音脑机接口解码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（1）中，对神经信号进行预处理的过程如下：

3.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（2）的具体过程为：

4.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（4）中，采用线性模型构建嵌入层，特征相似度的计算公式为：

5.根据权利要求1所述的基于多模态特征融合的语音脑机接口解码方法，其特征在于，步骤（...

【专利技术属性】
技术研发人员：祁玉，余嘉瑜，潘纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：