针对句子听力任务大脑动态功能网络交互模式的研究方法技术

本发明专利技术公开一种针对句子听力任务大脑动态功能网络交互模式的研究方法，包括如下步骤：1)句子听力任务下脑认知的EEG数据的动态特征提取；2)EEG的动态网络构建；3)相似性空间匹配通过fMRI数据库中提取语法、语义、韵律、工作记忆四个网络的空间特征提取与EEG动态网络进行匹配。空间相似性分析方法结合高时间和高空间两种新型技术，对句子听觉刺激从时间，空间，频率对脑电波进行更细节的分析得出了大脑功能网络和言语认知的关系。

【技术实现步骤摘要】
针对句子听力任务大脑动态功能网络交互模式的研究方法
本专利技术是言语的脑认知领域，特别是针对句子听力任务的言语动态交互网络研究领域，具体为针对句子听力任务大脑动态功能网络交互模式的研究方法。
技术介绍
自古以来人类的生活就离不开信息的传播和交流。人类的语言正是在这种需求下产生的，语言承载着传递信息的使命，一直以来人类都在对大脑的言语认知功能进行探究。近些年来，随着人工智能的发展，对脑的研究有了更迫切的需要。到上世纪80年代，随着脑功能成像技术的发展使得研究领域大大的拓宽，可以以正常人为对象探究各种语言任务大脑的活动模式。其中具有高空间分辨率的脑功能磁共振成像(functionalMagneticResonanceImaging,fMRI)技术可实现特定任务下的大脑区域活动定位。fMRI是一种特殊的磁共振成像(MagneticResonnanceImaging，MRI)扫描，用来测量大脑或脊髓的神经活动相关的血氧反应。fMRI技术空间分辨率极高达到1-2毫米，可以精细地提供大脑各个区域状况。但是我们知道大脑能在一瞬间完成一系列任务，fMRI虽然有极高的空间分辨率达到1-2毫米但是时间分辨率不高，无法检测大脑的动态加工过程。EEG是另一种常用的探究大脑机制的技术。EEG记录头皮电随时间反应变化，包含有关神经活动的丰富信息，并且时间分辨率达到1-2毫秒甚至更低的采集频率。这两种方法在时间和空间特性上各有其优劣。大脑活动特性除了复杂的空间结构和快速的动态时间特性外，越来越多的研究表明大脑通过频率同步各个脑区去完成同一个认知任务是一个网络现象。但是由于技术的局限性和大脑认知复杂性，我们通常无法同时从时间，空间和频率三个维度去探究大脑的复杂活动。因此言语的神经机制过程仍然是不清楚的，探索这一个高度复杂的过程仍然是一个极具挑战的目标。此外语法、语义、韵律和工作记忆都是自然语言中在大脑机制处理的最重要的特征。已有神经影像学的研究证明大脑处理语义和语法的神经基础是不同的，由于大脑语言处理过程十分复杂，传统认知神经科学使用人工设计的句法违反或者语义违反的语料来收集神经语影像数据进而研究这个问题。由于人工设计的语料脱离了人类通常的语言理解环境，结论通常无法泛化到实际语言场景中，另外受控刺激会引入语言理解之外的其它因素，因而无法探究人脑在自然语言理解情况下语义、语法、韵律和工作记忆表征。
技术实现思路
本专利技术的目的是阐明句子听力过程中涉及到的语法网络，语义网络，韵律网络，工作记忆表征在神经震荡调制下和抽象语言结构(音节，词汇，短语，句子)的时间进程隐式边界的关系映射。针对上述目标，本文提出了一个概念模型。根据语言学外界分块的时间线索探讨了句子听觉感知的动态功能网络的交互模式。它主要利用具有高时间分辨率EEG技术来测量句子听力任务中多通道脑电信号并结合具有高时间分辨率的fMRI数据库来弥补空间缺陷。此外，本研究在听力任务中使用句子而不是词汇来更好地模拟连续语音的发展过程，从而探索更多的功能性网络(如句法处理)。具体步骤如下：1)句子听力任务下脑认知的EEG数据的动态特征提取。2)EEG的动态网络构建。3)相似性空间匹配通过fMRI数据库中提取语法，语义，韵律，工作记忆四个网络的空间特征提取与EEG动态网络进行匹配。1)EEG数据的采集及预处理实验数据是在天津大学认知计算与应用实验室进行采集，针对概念模型的需求设计句子材料，设计实验方法，招募符合要求的被试。EEG数据采集完成后首先将原始的EEG数据进行预处理，主要包含以下步骤：步骤1——下采样：这里我们将数据从1000Hz降采样到250，下采样有助于压缩数据大小，并且它可以通过切除不必要的高频信息从而获得更好的独立成分分析结果。步骤2——滤波：这里应用高通滤波的目的是为了消除基线，高通滤波到1HZ，因为已经通过大量的证明1Hz可以使得更多的有效成分保留。步骤3——导入通道坐标信息：我们需要导入电极坐标文件对应的信号电极通道删除造成的“坏”频道信号信号漂移。步骤4——子空间重建并删除坏道：这里主要是对受损的部分进行重建以确保数据的完整性而采用的一种方法。因为直接全脑平均可能导致不对称的问题，所以这里需要把之前删掉的通道进行插入。步骤5——重参考：如果大脑皮层偶极电流分布和脑电图外部电源有相同数量的正极和负极的电荷则整个头皮地形的电压是零。所以这里我们通常会设置一个参考电极然后计算其它电极所在位置和参考电极之间的电位差。步骤6——分段：因为脑电数据是从实验开始到实验结束全程记录的。所以我们根据采集数据时的标记号要对感兴趣数据进行分段。2)EEG网络的构建通常眼动，眨眼，肌肉，心脏和线的噪音会干扰大脑信号。本专利技术应用了独立成分分析的方法(IndependentComponentAnalysis，ICA)将EEG的头皮层数据从通道基转化为成分基。进而从其它生物伪迹(肌肉运动，心脏跳动的干扰信号)中选出与任务相关的大脑成分。其中ICA作为主要有效成分提取方法，它的基本原理是对已知的n维观测信号矢量X，存在一个混合矩阵A和m维未知源信号矢量S(m<n),使得X＝AS，即x1(t)＝a11s1(t)+a12s2(t)x2(t)＝a21s1(t)+a22s2(t)也就是说，xj(t)＝aj1s1(t)+aj2s2(t)+…+ajn(t)sn其中每一个s成分统计独立，每一个成分具有非高斯的分布，混合矩阵A为方阵且可逆，从而求得A。假设A的逆矩阵为W，那么WX＝WAS大脑有效成分提取出来后通过偶极子溯源定位方法对大脑成分的源头进行定位。偶极子定位方法可根据头皮脑电的分布，运用电场理论和计算机技术，推算出产生这一脑电活动的假象源。最后我们还需要通过格兰杰因果分析方法对特定频段的皮层区域之间的不对称因果相互作用进行计算。格兰杰因果方法可以用来描述两个源之间的连接关系，它假设了在时间序列下，通过比较“已知上一时刻所有信息，这一时刻X的概率分布情况”和“已知上一时刻除Y以外的所有信息，这一时刻X的概率分布情况”，来判断Y对X是否存在因果关系。从而得到正在进行认知过程的大脑联通矩阵的变化结果。最后我们对涉及到的脑区在每个时间点和每个频段值计算连接强度来构建大脑动态网络。3)相似性空间匹配在语言学中，语言是由小的元素根据语法系统组合成更大的结构，从而形成语言单位的层次结构，如音节，词汇，短语和句子。日常生活交流中，从音节的几百毫秒到句子的几秒钟，听者必须构建一个不同大小的语言结构层次。其中感知一个句子，音节是听觉可以区分的语音结构的基本单位，词汇是语义的最小单元，短语则是语法建构成句子的最小单元。所以我们这里根据语言学的外界分块的时间线索探讨了句子听觉感知的动态功能网络的交互模式。这里使用了专业的斯坦福分词器。本研究使用EEG技术获取句子听觉感知任务中的脑电信号，然后构建EEG数据的动态时频网络，于此同时从fMRI功能网络数据库中提取出四个与句子感知任务相关的静本文档来自技高网...

【技术保护点】
1.针对句子听力任务大脑动态功能网络交互模式的研究方法，其特征在于，包括如下步骤：/n1)句子听力任务下脑认知的EEG数据的动态特征提取；/n2)EEG的动态网络构建；/n3)相似性空间匹配通过fMRI数据库中提取语法、语义、韵律、工作记忆四个网络的空间特征提取与EEG动态网络进行匹配；/n所述步骤2)具体：应用ICA方法将EEG的头皮层数据从通道基转化为成分基，进而从其它生物伪迹中选出与任务相关的大脑成分；/n其中ICA作为主要有效成分提取方法，它的基本原理是对已知的n维观测信号矢量X，存在一个混合矩阵A和m维未知源信号矢量S(m<n),使得X＝AS，即/nx

【技术特征摘要】
1.针对句子听力任务大脑动态功能网络交互模式的研究方法，其特征在于，包括如下步骤：
1)句子听力任务下脑认知的EEG数据的动态特征提取；
2)EEG的动态网络构建；
3)相似性空间匹配通过fMRI数据库中提取语法、语义、韵律、工作记忆四个网络的空间特征提取与EEG动态网络进行匹配；
所述步骤2)具体：应用ICA方法将EEG的头皮层数据从通道基转化为成分基，进而从其它生物伪迹中选出与任务相关的大脑成分；
其中ICA作为主要有效成分提取方法，它的基本原理是对已知的n维观测信号矢量X，存在一个混合矩阵A和m维未知源信号矢量S(m<n),使得X＝AS，即
x1(t)＝a11s1(t)+a12s2(t)
x2(t)＝a21s1(t)+a22s2(t)
也就是说，
xj(t)＝aj1s1(t)+aj2s2(t)+…+ajn(t)sn
其中每一个s成分统计独立，每一个成分具有非高斯的分布，混合矩阵A为...

【专利技术属性】
技术研发人员：党建武，陈敏波，张高燕，王龙标，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12