【技术实现步骤摘要】
本专利技术涉及一种语音交流系统。特别是涉及基于64通道脑电采集设备的语音交流系统。
技术介绍
1、语言能力障碍通常表现为“言语不清”或“不会讲话”，这种现象的背后，是语言能力相关的神经机制的复杂性。在临床上，语言能力障碍有着广泛的意义，指的是从大脑皮层语言中枢及其相关结构到控制发音器官的神经和肌肉的通路上的任何一个部位的病变都可能造成语言障碍。
2、具体的语言障碍类型有很多种，其中有一些病症患者仍具有一定的主动语言能力，例如：
3、失语症：在神志清楚、意识正常、发音和构音没有障碍的情况下，由于神经中枢病损、大脑皮质语言功能区病变，导致的言语交流能力障碍，包括语言表达或理解障碍。失语症患者往往表现出抽象信号思维障碍，同时丧失口语、文字的表达和领悟能力。不同的大脑语言功能区受损，会有不同的临床表现。
4、构音障碍：由发音器官肌肉的功能障碍所导致，具体原因包括发声部位肌肉病变(如咽喉部神经、肌肉病变)、共济失调(如小脑病变或小脑与脑干、半球的联系纤维受损)或肌张力增高(如累及基底节的某些疾病)。这类病症的患者会表现出发音不清但用词准确的特点，与失语有着本质的区别。
5、在此背景下，脑机接口(brain-computer interface,bci)成为一种可用于语言能力障碍患者的解决方案。由于脑机接口能够在人脑神经与外部设备间建立直接连接通路来实现神经系统和外部设备间信息交互与功能整合，利用语音想象脑电信号成为一种可行的方案。作为一种用于大脑仍具语言理解能力的语言能力障碍患者的语音交流系
6、核心子波段在脑电信号eeg解码中起着至关重要的作用，由于人脑的复杂性，各频段间通常包含大量非线性联系，因而多频段分析成为提高eeg信号解码准确率提升的重要手段。例如，当受试者想象说话时，大脑语言区域的α和β节律频段会出现明显振荡，针对语音相关频段的分析能更好实现对患者语言意图的识别。
7、因此，对于语言能力障碍患者来说，利用脑机接口技术实现基于语音想象的交流系统是一种具有潜力的解决方案。这种方案能够直接利用大脑的语言功能信息，通过解读大脑的电信号来理解和生成语言，从而帮助患者更有效地进行语言交流。
技术实现思路
1、本专利技术所要解决的技术问题是利用语音相关核心子波段特征，提出基于语音想象的多频段特征融合网络(mbfnet)以提高语音想象脑电信号解码效果，本专利技术的目的在于实现基于64通道脑电采集设备的语音交流系统。
2、本专利技术所采用的技术方案是基于64通道脑电采集设备的语音交流系统，由脑电采集设备、mbfnet模块以及主动交流模块组成。脑电采集设备采集被试者根据常用交流词语表进行语音想象的脑电信号，并传递至mbfnet模块，实现信号的预处理、特征提取与融合、分类，将分类结果传输至主动交流模块，实现文字或声音的交流形式，帮助被试者实现基础交流。
3、所述脑电采集设备由上位机、采集模块和脑电帽组成。上位机用于实验程序的运行以及设备供电；采集模块包括虚拟串口通讯模块、数字电源模块与stm32h743iit6主控模块等数字模块以及ads1299采集模块、模拟电源模块等模拟模块；脑电帽电极分布的位置为依据10-20国际标准导联电极分布的fp1，fpz,fp2，af7，af3，af4，af8，f7，f5，f3，f1，fz，f2，f4，f6，f8，ft9,，ft7，fc5，fc3，fcz，fc2，fc4，fc6，ft8，ft10，t7，c5，c3，c1，cz，c2，c4，c6，t8，tp9，tp7，cp5，cp3，cp1，cpz，cp2，cp4，cp6，tp8，tp10，p7，p5，p3，p1，pz，p2，p4，p6，p8，po7，po5，po3，poz，po4，po6，po8，o1，oz，o2的64通道电极排布，采集大脑主要语言处理功能区的脑电信号，通过软排线与采集模块相连接，用于脑电信号的采集和传输。
4、所述脑电采集设备的具体工作流程如下：上位机运行相应的实验程序，对受试者进行相应范式的eeg诱发。受试者产生的eeg信号被脑电极帽采集，经过采集前端处理后以模拟信号的形式进入ads1299采集模块。ads1299采集模块将模拟信号转换为相应的数字信号，携带相应的设置字符串发送给stm32h743iit6主控模块。stm32h743iit6主控模块对数字信号进行排序与裁剪后，将处理后的数据通过虚拟串口模块发送给上位机。整个采集模块由上位机进行供电。spi隔离模块与电源隔离模块对数字模块与模拟模块之间的信号通讯与电源传输进行隔离，防止数字模块噪声对模拟信号采集造成影响。
5、所述mbfnet模块，具体方法是所提出的基于语音想象的多频段特征融合网络(mbfnet)，由预处理模块、特征提取模块、特征映射与融合模块和分类器模块构成，其中，预处理模块用于信号预处理，特征提取模块用于学习特定频段运语音想象eeg信号所包含的时空特征，特征映射与融合模块被用于全频段和α和β节律频段空间特征的交互，分类器模块被用于三个频段特征提取结果的分类。
6、所述语音想象脑电信号预处理过程如下：
7、通过五阶巴特沃斯带通滤波器对原始脑电信号进行带通滤波，下限频率是1hz，上限频率是45hz；对滤波后的脑电信号进行降采样，由500hz降至250hz，得到全频段脑电信号；信号频带分解过程，即利用带通滤波器对预处理后的脑电信号进行滤波分解，得到α频带(8-12hz)、β频带(12-30hz)脑电信号。
8、所述特征提取分支主要包含时间平滑、通道融合、特征提取三部分，其具体信息如下：
9、时间平滑模块以c个电极采集到的t个时间点的单次mi任务x∈rc×t作为输入，通过多尺度时域卷积对输入eeg信号进行平滑处理，避免了单一尺度平滑处理带来的信息损失，该模块描述如下：
10、fts＝bn(conv1(x)+conv2(x)+conv3(x))
11、其中，x为输入eeg信号，fts为时间平滑模块的输出特征图，conv(·)代表卷积操作，时间平滑模块中卷积核数目设置为16，卷积核大小分别为1×5、1×15和1×25。bn(·)表示批归一化，通过批归一化加速模型训练并避免过拟合。
12、通道融合模块以时间平滑模块的特征图fts为输入，采用可分离卷积提取多通道eeg信号中不同通道对应脑区位置的空间特征，该模块描述如下：
13、fcf＝bn(f(dconv(fts)))
14、其中，fcf为通道融合模块的输出特征图，f(·)代表rectified linear unit(relu)，dconv(·)代表深度卷积，时间平滑模块中卷积核数目设置为64，卷积核大小分别为c×1，c为eeg信号的通道数，本项目中c为16。
15、时间特征提取模块以通道融合模块的特征图fc本文档来自技高网...
【技术保护点】
1.基于64通道脑电采集设备的语音交流系统包括：脑电采集设备(1)、MBFNet模块(2)以及主动交流模块(3)，脑电采集设备(1)采集被试者根据常用交流词语表进行语音想象的脑电信号，并传递至MBFNet模块(2)，实现信号的预处理、特征提取与融合、分类，将分类结果传输至主动交流模块(3)，实现文字或声音的交流形式，帮助被试者实现基础交流。
2.根据权利要求1所述的基于64通道脑电采集设备的语音交流系统，其特征在于，使用者经上位机(11)诱发的的语音想象EEG信号被脑电极帽(13)采集以模拟信号的形式进入采集模块(13)；采集模块(12)将模拟信号转换为相应的数字信号并发送给上位机(12)；上位机(12)将处理后的数据通过虚拟串口发送给MBFNet模块(2)；MBFNet模块(2)包括预处理模块、特征提取模块、特征映射与融合模块和分类器模块，根据所提出的基于语音想象的多频段特征融合网络(MBFNet)实现语音想象多频段特征深度提取与融合，并实现高精度分类，分类结果传递至主动交流系统(3)，实现语音、文字形式的交流。
3.根据权利要求2所述的脑电采集设备(1
4.根据权利要求2所述的MBFNet模块(2)，具体方法是基于语音想象的多频段融合网络(MBFNet)，其特征在于，所述预处理模块，首先对脑电信号进行预处理，具体过程如下：
5.根据权利要求2所述的MBFNet模块(2)，具体方法是基于语音想象的多频段融合网络(MBFNet)，其特征在于，所述特征提取模块由三个特征提取分支、特征交互模块和分类器构成，三个特征提取分支具有相同的结构，单个分支可以被用于学习特定频段EEG信号所包含的时空特征；特征交互模块被用于三个频段时间特征的交互，最后，特征映射与融合被用于三个频段特征提取结果的融合，具体如下：
6.根据权利要求2所述的MBFNet模块(2)，其特征在于，特征映射与融合模块以特征提取分支输出特征图X∈RN×3*D×1×T′为输入，在模块中使用三个尺度的分组卷积，每组卷积只需要对部分特征图进行学习，不同频段的特征图将进入同一组卷积进行学习，实现多频段特征之间的融合，通过改变输入特征图的排列方式，即可实现三频段特征之间的融合；三个不同尺度的卷积核大小分别为8、16和32，扩张率设置为3，以充分提取大脑在执行语音想象任务时的时间特征；在进行特征融合以后，执行批归一化和池化操作，设置0.5的dropout以缓解过拟合。
7.根据权利要求2所述的MBFNet模块(13)，其特征在于分类器模块中，首先将特征图进行展平，然后通过线性层和Softmax得到每个频段的输出此外，将三个频段的输出加在一起以促进三个频段的深入交互，提高模型的分类性能，具体如下：
8.根据权利要求1所述的基于64通道脑电采集设备的语音交流系统，其特征在于所述主动交流模块(3)，是一款自主研发的可实现语音(发声)与文字(无声)交流的软件，具体的，患者可利用该程序查看语音想象实验词库中的设定词汇，产生的语音想象脑电信号由脑电采集设备(1)实时采集，由MBFNet模块(2)处理并分析，最后再将解码结果通过有线传输到交流软件实现对外交互，患者同样可在软件中查看对应词汇的识别率，从而进行专项训练。
...【技术特征摘要】
1.基于64通道脑电采集设备的语音交流系统包括：脑电采集设备(1)、mbfnet模块(2)以及主动交流模块(3)，脑电采集设备(1)采集被试者根据常用交流词语表进行语音想象的脑电信号，并传递至mbfnet模块(2)，实现信号的预处理、特征提取与融合、分类，将分类结果传输至主动交流模块(3)，实现文字或声音的交流形式，帮助被试者实现基础交流。
2.根据权利要求1所述的基于64通道脑电采集设备的语音交流系统，其特征在于，使用者经上位机(11)诱发的的语音想象eeg信号被脑电极帽(13)采集以模拟信号的形式进入采集模块(13)；采集模块(12)将模拟信号转换为相应的数字信号并发送给上位机(12)；上位机(12)将处理后的数据通过虚拟串口发送给mbfnet模块(2)；mbfnet模块(2)包括预处理模块、特征提取模块、特征映射与融合模块和分类器模块，根据所提出的基于语音想象的多频段特征融合网络(mbfnet)实现语音想象多频段特征深度提取与融合，并实现高精度分类，分类结果传递至主动交流系统(3)，实现语音、文字形式的交流。
3.根据权利要求2所述的脑电采集设备(1)，其特征在于，所述上位机(11)用于实验程序的运行以及设备供电；所述采集模块(12)包括虚拟串口通讯模块、数字电源模块与stm32h743iit6主控模块等数字模块以及ads1299采集模块、模拟电源模块等模拟模块；所述脑电极帽电极分布的位置为依据10-20国际标准导联电极分布的fp1，fpz,fp2，af7，af3，af4，af8，f7，f5，f3，f1，fz，f2，f4，f6，f8，ft9,，ft7，fc5，fc3，fcz，fc2，fc4，fc6，ft8，ft10，t7，c5，c3，c1，cz，c2，c4，c6，t8，tp9，tp7，cp5，cp3，cp1，cpz，cp2，cp4，cp6，tp8，tp10，p7，p5，p3，p1，pz，p2，p4，p6，p8，po7，po5，po3，poz，po4，po6，po8，o1，oz，o2的64通道电极排布，便于采集大脑主要语言处理功能区的脑电信号，通过软排线与采集模...
【专利技术属性】
技术研发人员：高忠科，李浩宇，孙新林，郝雨时，李文婕，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。