【技术实现步骤摘要】
本专利技术属于脑机交互，尤其涉及一种基于听觉的双向脑机接口系统。
技术介绍
1、世界卫生组织在2021年估计，神经系统疾病可能影响全球多达25％的患者，并导致包括意识模糊、意识水平改变和沟通障碍在内的症状。以脑卒中为例，脑卒中带来的经济、心理和社会影响不断增加，使患者无法与外界沟通，这种疾病切断了人们与他人的联系，严重降低了他们的生活质量。如今，人们普遍认为脑卒中后的恢复依赖于神经机制，该机制允许未受影响的大脑区域接管受损组织的功能。脑机接口技术应运而生。脑机接口是人类或动物大脑与计算机或其他电子设备之间的一种新型通信控制技术，它不依赖于传统的大脑信息输出电路，为患者提供了与外界交流的机会。
2、根据信号的传输方向可以将脑机接口分为单向脑机接口(大脑到计算机或计算机到大脑)和双向脑机接口。而双向脑机接口是指能够在大脑和计算机之间双向通信的系统。换句话说，就是可以从大脑读取和写入数据的脑机接口。相较于单向脑机接口，双向脑机接口能够提供实时的反馈机制，使用户能够感知和调整他们的脑活动。这对于神经反馈训练和康复过程非常有帮助，用户可以通过脑机接口获得实时的信息，有助于他们改进控制和调节大脑活动；同时，使得交互更加自然和直观。用户不仅可以通过脑机接口将命令发送到外部设备，而且外部设备也可以通过脑机接口向用户发送信息。这种双向交互模式更接近日常生活中的自然人机交互方式，提高了用户体验和交互效率。
技术实现思路
1、为解决上述技术问题，本专利技术提出了一种基于听觉的双向脑机接口系统
2、为实现上述目的，本专利技术提供了一种基于听觉的双向脑机接口系统，包括：
3、采集用户经运动想象发出声音后产生的脑电信号，对所述脑电信号进行预处理并构建脑电信号数据集；
4、构建匹配长短期记忆网络模型，通过所述脑电信号数据集对所述匹配长短期记忆网络模型进行训练，获取训练好的匹配长短期记忆网络模型，并利用所述训练好的匹配长短期记忆网络模型将所述脑电信号数据集转换为对应的文本数据；
5、构建声码器模型，将所述文本数据输入声码器模型中生成对应的语音信号，并构建语音信号数据集；
6、将所述语音信号数据集和所述脑电信号数据集进行预处理，并构建脑电-语音数据集；
7、对所述脑电-语音数据集进行分类识别，构建语音数据集、脑电-语音数据集和脑电数据集；
8、构建双边对偶生成网络模型，通过所述语音数据集、所述脑电-语音数据集和所述脑电数据集对所述双边对偶生成网络模型进行训练，获取训练好的双边对偶生成网络模型；
9、利用所述训练好的双边对偶生成网络模型，将所述语音信号进行转换，获取对应的脑电信号。
10、可选的，采集用户经运动想象发出声音后产生的脑电信号的过程包括：
11、要求用户自发想象发出声音或要求用户主动想象听到声音，通过想象引起用户的中枢神经系统发生生物电反应，产生电信号进而获得用户的脑电信号。
12、可选的，对所述脑电信号进行预处理并构建脑电信号数据集包括：
13、对所述脑电信号进行滤波和去噪处理，并按照时间顺序将预处理后的脑电信号划分为若干段，按照分段-重组法对分段后的脑电信号进行分类与设置标签，构建脑电信号数据集。
14、可选的，匹配长短期记忆网络模型包括输入门、遗忘门和输出门；
15、所述输入门与所述遗忘门共同决定了更新细胞状态c；
16、所述输入门控制输入脑电信号的关键特征进入细胞状态c的过程；
17、所述遗忘门决定保留或丢弃细胞状态中的脑电信号的关键特征；
18、所述输出门决定基于当前输入和细胞状态c的隐藏状态的脑电信号的关键特征将被输出到下一时刻。
19、可选的，匹配长短期记忆网络模型的输出门包括损失函数，所述损失函数设有惩罚项，通过所述惩罚项对所述输出门的权重进行惩罚。
20、可选的，将所述文本数据输入声码器模型中生成对应的语音信号的过程包括：
21、将所述文本数据输入到声码器模型与权重参数的高保真对抗生成网络，获取对应的语音信号。
22、可选的，利用所述训练好的匹配长短期记忆网络模型将所述脑电信号数据集转换为对应的文本数据包括：
23、将所述脑电信号数据集输入所述训练好的匹配长短期记忆网络模型中，通过参数调整至最优状态保存模型权重参数，匹配模块定义分段数据的标签并计算输出的序列与原字符的相似度，获取相似度最高的结果，并将所述相似度最高的结果保存为对应的文本数据。
24、可选的，对所述脑电-语音数据集进行分类识别，构建语音数据集、脑电-语音数据集和脑电数据集包括：将所述脑电信号数据集和所述语音信号数据集进行混合，组成多维混合矩阵，作为所述脑电-语音数据集；将预处理后的脑电信号作为脑电数据集；将预处理后的语音信号作为语音数据集。
25、本专利技术技术效果：本专利技术公开了一种基于听觉的双向脑机接口系统，通过结合深度学习，听觉诱发，运动想象以及脑机接口等技术，实现“人脑-计算机-人脑”双向脑机接口系统设计，能够实现脑电信号与语音信号之间的双向转换，即本专利技术既可以将脑电信号生成为对应的语音信号，也能够将语音信号重构为对应的脑电信号。生成的语音信号与真实语音信号相比准确率可以达到0.96，生成的语音信号在语音质量指标平均意见得分可以达到4.36，重构脑电信号与真实脑电信号相似度可达到0.95。结果表明，基于听觉的双向脑机接口系统最后实现的效果就是能够根据用户经运动想象发出声音产生的脑电信号，得到对应的语音信号是什么，也就是说能够通知脑电得知用户想说什么，同时，也能够通过这个语音信号重构出用户在想这句话时产生的脑电信号。
本文档来自技高网...【技术保护点】
1.一种基于听觉的双向脑机接口系统，其特征在于，包括：
2.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
3.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
4.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
5.如权利要求3所述的基于听觉的双向脑机接口系统，其特征在于，
6.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
7.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
8.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
【技术特征摘要】
1.一种基于听觉的双向脑机接口系统，其特征在于，包括：
2.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
3.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
4.如权利要求1所述的基于听觉的双向脑机接口系统，其特征在于，
【专利技术属性】
技术研发人员：郭一娜，贾欣雨，张萌，田文艳，武迎春，杨江涛，孙晓普，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。