基于空间和语义一致的视听觉脑机接口拼写系统及其方法技术方案

本发明专利技术涉及一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法，在拼写系统中，视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；脑电信号采集装置采集被试者的脑电信号；计算机对脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；计算机对预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将分类结果发送至输出显示设备。本发明专利技术通过将视觉刺激和听觉刺激的空间特征和语义特征相结合，实现视听觉双模态刺激的空间和语义一致性，相比于单一的视觉刺激或者听觉刺激，能够诱发更大幅度的ERPs，从而提高脑机接口的性能。

【技术实现步骤摘要】
基于空间和语义一致的视听觉脑机接口拼写系统及其方法
本专利技术涉及脑机接口
，特别是涉及一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法。
技术介绍
脑机接口是一种新型的大脑和计算机之间直接交互的系统，它为肌萎缩患者(特别是肌萎缩性脊髓侧索硬化症患者)在大脑和外界设备之间建立一条直接的通信交流通道。目前常见的脑机接口系统是在头皮记录有关事件相关电位(Event-relatedPotentials，ERPs)的脑电信号，通过分析脑电信号，识别命令或输出字符。基于P300的拼写器就是一种基于oddball事件相关电位的字符拼写系统。现有的基于P300的拼写系统主要有以下几种：基于视觉的、基于听觉的和基于触觉的，虽然基于视觉的P300字符拼写系统性能要远优于基于听觉和基于触觉的P300字符拼写系统，但是基于视觉的P300字符拼写系统性能还不能令人满意，还有待提高，而且基于视觉的P300字符拼写系统对于眼睛肌肉控制受损或随时间退化的患者有一定的局限性，因此，提出一个性能优于视觉P300字符拼写系统且具有通用性的视听双模态的P300字符拼写系统具有很重要的意义。
技术实现思路
基于此，有必要针对目前的基于视觉的脑机接口性能并不能令人满意，而且基于视觉的脑机接口拼写系统对眼睛肌肉控制可能受损或随时间退化的患者有局限的问题，提供一种基于空间和语义一致的视听觉脑机接口拼写系统及其方法，该基于空间和语义一致的视听觉脑机接口拼写系统既可以提高基于视觉的脑机接口拼写系统的性能，又可以提高其通用性(既适用于听觉受限的患者，又适用于视觉受限的患者)。有研究显示视觉刺激和听觉刺激的空间和语义一致性会影响视听双模态刺激的整合效应，即会诱发幅度增加的ERPs波形，本专利技术提出将空间和语义一致的视听觉刺激应用于P300字符拼写器构建一个视听双模态的字符拼写系统，既可以提高基于视觉的P300字符拼写系统的性能，又可以提高基于视觉的P300字符拼写系统的通用性。为解决上述问题，本专利技术采取如下的技术方案：一种基于空间和语义一致的视听觉脑机接口拼写系统，该系统包括视听觉刺激装置、脑电信号采集装置和计算机；所述视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；所述脑电信号采集装置采集被试者的脑电信号，并将采集到的脑电信号数据发送至所述计算机；所述计算机对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；所述计算机对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。相应地，本专利技术还提出一种基于空间和语义一致的视听觉脑机接口拼写方法，该方法包括以下步骤：采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；采集被试者的脑电信号，得到脑电信号数据；对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。与现有技术相比，本专利技术具有以下技术效果：本专利技术所提出的视听觉脑机接口拼写系统及其方法采用基于空间和语义一致的视听觉实验范式对被试者产生关于想要拼写的目标字符的视觉刺激和听觉刺激，通过将视觉刺激和听觉刺激的空间特征和语义特征相结合，实现视听觉双模态刺激的空间和语义一致性，相比于单一的视觉刺激或者听觉刺激，本专利技术的视听觉双模态刺激能够诱发更大幅度的ERPs，从而提高脑机接口的性能，同时，本专利技术所提出的视听觉脑机接口拼写系统既适用于听觉受限的患者，又适用于视觉受限的患者，具有较强的通用性。附图说明图1为本专利技术其中一个实施例中基于空间和语义一致的视听觉脑机接口拼写系统的结构示意图；图2为视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激的流程示意图；图3为目标字符突出显示时字符初始界面的示意图；图4为闪烁显示时组区域界面的示意图；图5为闪烁显示时子区域界面的示意图。具体实施方式下面将结合附图及较佳实施例对本专利技术的技术方案进行详细描述。在其中一个实施例中，如图1所示，本专利技术公开一种基于空间和语义一致的视听觉脑机接口拼写系统，该系统包括视听觉刺激装置、脑电信号采集装置和计算机，其中，视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；脑电信号采集装置采集被试者的脑电信号，并将采集到的脑电信号数据发送至计算机；计算机对脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；计算机对预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将分类结果发送至输出显示设备，输出显示设备用于输出字符。具体地，在本实施例中，视听觉刺激装置用于对被试者产生关于被试者想要拼写的目标字符的视觉和听觉刺激，以使被试者产生脑电信号。视听觉刺激装置对被试者产生视觉和听觉刺激时，采用基于空间和语义一致的实验范式，该实验范式在空间上将目标字符的声音来源位置与目标字符的视觉呈现位置保持一致，在语义上将目标字符的听觉发音与视觉呈现保持一致，从而实现视听觉双模态刺激的空间语义一致性，诱发较大幅度的ERPs。脑电信号采集装置用于采集被试者的脑电信号，并将采集到的脑电信号数据发送至计算机。本实施例中的脑电信号采集装置可以采用Neuroscan公司开发研制的Scan4.5数字采集系统，所用电极均为Ag/AgCl电极，并且选择覆盖视听整合及注意和认知相关脑区的32导电极，其中参考电极REF放置在右耳乳突处，AFz为接地电极，VEOG和HEOG分别用于记录垂直眼动和水平眼动，阻抗小于5KΩ。脑电信号的采样频率为250Hz，带通滤波为0.5～100Hz。计算机对脑电信号采集装置采集的脑电信号数据进行数据预处理，其中数据预处理包括对脑电信号数据依次进行去眼电处理、分段处理、去伪迹处理和滤波处理。去眼电处理，即去除眨眼对脑电信号的干扰；对去眼电处理后的脑电信号数据进行脑电分段，截取刺激前100毫秒到刺激后800毫秒共900毫秒时长的脑电信号数据，对分段后的脑电信号数据进行基线校正，其中刺激前100毫秒用于基线校正；对分段后的脑电信号数据进行去伪迹处理，例如选用±80μV对脑电信号数据去除伪迹；最后，对去伪迹处理后的脑电信号数据进行带通滤波处理，例如采用0.1赫兹至30赫兹或者0.1赫兹至24赫兹的带通滤波对去伪迹处理后的脑电信号数据进行带通滤波处理。计算机对得到的预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将分类结果发送至输出显示设备(显示器)，输出显示设备用于输出字符，以使得用户可以直接跟外界交流。脑电信号的特征主要包含时域特征和空间特征，其中时域特征是指在刺激后某个时间窗内波形的幅度大小，其对应时间采样点；空间特征是指在刺激后某个时间点大脑的激活区域，即对应电极个数。特征提取即提取有利于分类的时间采样点和电极个数。本专利技术采用主成分分析的方法进行特征提取。本专利技术使用的分类算法是贝叶斯线性判别分析，线性判别分析的目标是使用超平面来分离代表不同类型的数据，关于二分类，特征向量的分类取决于向量在超平面的哪一侧。线性判别分本文档来自技高网...

【技术保护点】
1.一种基于空间和语义一致的视听觉脑机接口拼写系统，其特征在于，包括视听觉刺激装置、脑电信号采集装置和计算机；所述视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；所述脑电信号采集装置采集被试者的脑电信号，并将采集到的脑电信号数据发送至所述计算机；所述计算机对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；所述计算机对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。

【技术特征摘要】
1.一种基于空间和语义一致的视听觉脑机接口拼写系统，其特征在于，包括视听觉刺激装置、脑电信号采集装置和计算机；所述视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激；所述脑电信号采集装置采集被试者的脑电信号，并将采集到的脑电信号数据发送至所述计算机；所述计算机对所述脑电信号数据进行数据预处理，得到预处理后的脑电信号数据；所述计算机对所述预处理后的脑电信号数据进行特征提取与分类，得到分类结果，并将所述分类结果发送至输出显示设备，所述输出显示设备用于输出字符。2.根据权利要求1所述的基于空间和语义一致的视听觉脑机接口拼写系统，其特征在于，所述视听觉刺激装置包括显示模块和发音模块，所述视听觉刺激装置采用基于空间和语义一致的视听觉实验范式对被试者产生关于目标字符的视觉和听觉刺激的过程包括以下步骤：步骤一：所述显示模块显示字符初始界面，所述字符初始界面包括矩阵式组区域块，每一所述组区域块内显示若干个字符，且每一所述组区域块均具有区域编号；步骤二：对所述目标字符进行突出显示；步骤三：所述字符初始界面切换至组区域界面，在所述组区域界面，各个所述组区域块等概率随机闪烁显示对应的区域编号，每一所述组区域块至少闪烁显示一次对应的区域编号，且所述发音模块在各个所述组区域块闪烁显示对应的区域编号时发出对应的区域编号听觉发音；步骤四：所述组区域界面切换至子区域界面，所述子区域界面包括矩阵式子区域块，所述子区域界面为所述目标字符所在的目标组区域块内显示的全部所述字符在各个所述子区域块上的展开显示，每一所述子区域块显示其中一个所述字符；步骤五：各个所述子区域块等概率随机闪烁显示对应的字符，每一所述子区域块至少闪烁显示一次对应的字符，且所述发音模块在各个所述子区域块闪烁显示对应的字符时发出对应的字符听觉发音。3.根据权利要求2所述的基于空间和语义一致的视听觉脑机接口拼写系统，其特征在于，所述矩阵式组区域块包括6个所述组区域块，所述矩阵子区域块包括6个所述子区域块，且6个所述组区域块和6个所述子区域块均呈3×2阵列分布；在所述字符初始界面，每一所述组区域块内显示6个字符，且任意两个所述组区域块内显示的字符不同。4.根据权利要求3所述的基于空间和语义一致的视听觉脑机接口拼写系统，其特征在于，所述发音模块包括左耳发音子模块和右耳发音子模块；当所述组区域界面上3×2阵列的第一列中任意一个所述组区域块闪烁显示对应的区域编号时，仅由所述左耳发音子模块发出对应的区域编号听觉发音；当所述组区域界面上3×2阵列的第二列中任意一个所述组区域块闪烁显示对应的区域编号时，仅由所述右耳发音子模块发出对应的区域编号听觉发音；当所述子区域界面上3×2阵列的第一列中任意一个所述子区域块闪烁显示对应的字符时，仅由所述左耳发音子模块发出对应的字符听觉发音；当所述子区域界面上3×2阵列的第二列中任意一个所述子区域块闪烁显示对应的字符时，仅由所述右耳发音子模块发出对应的字符听觉发音。5.根据权利要求4所述的基于...

【专利技术属性】
技术研发人员：李奇，卢朝华，高宁，武岩，杨菁菁，李修军，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22