一种隐式注视脑机接口的意识状态检测系统技术方案

本发明专利技术公开了一种隐式注视脑机接口的意识状态检测系统，包括视听觉刺激模块、脑电信号采集模块、脑电信号处理模块；视听觉刺激模块采用语义一致和不一致的视听数字随机播放给受试者；脑电信号采集模块实时记录受试者进行规定任务的脑电信号；脑电信号处理模块实时输出在线检测结果。本发明专利技术设计隐式注视的视听觉刺激范式，使用脑机接口技术去对受试者进行意识状态检测。在线分析准确率实时反馈给受试者，对其意识状态进行准确检测。本发明专利技术通过语义一致和不一致的视听刺激检测受试者的意识状态，提高受试者意识检测的准确率。

A Consciousness Detection System for Implicit Watching Brain-Computer Interface

The invention discloses a state of consciousness detection system for implicit gaze brain-computer interface, which includes audiovisual stimulation module, electroencephalogram signal acquisition module and electroencephalogram signal processing module; audiovisual stimulation module uses audiovisual digits with consistent semantics and inconsistent semantics to randomly broadcast to subjects; EEG signal acquisition module records real-time EEG signals of subjects for specified tasks; The processing module outputs the on-line test results in real time. The invention designs a visual and auditory stimulus paradigm of implicit gaze, and uses brain-computer interface technology to detect the subject's state of consciousness. The accuracy of on-line analysis was fed back to the subjects in real time, and their conscious state was detected accurately. The invention detects the subject's consciousness state by audiovisual stimuli with consistent and inconsistent semantics, and improves the accuracy of the subject's consciousness detection.

【技术实现步骤摘要】
一种隐式注视脑机接口的意识状态检测系统
本专利技术涉及脑机接口技术与电生理事件相关诱发电位的
，尤其是指一种隐式注视脑机接口的意识状态检测系统。
技术介绍
意识是一个内涵丰富的概念，可分成两个主要部分：觉醒(arousal)和觉知(awareness)。对于严重脑损伤患者来说，他们在度过急性阶段后将进入病情稳定的恢复阶段。相对于急性期，此阶段的病情评估需要尽可能的全面，并且希望能够反应预后及转归。根据觉知水平的不同，该类患者可分为多个临床状态。有些患者可能会进入到植物状态(vegetativestate,VS)，他们有睡眠-觉醒的周期，但完全丧失对自身及外部环境的觉知能力。有些患者则可能恢复到最小意识状态(minimallyconsciousstate,MCS)，即存在微弱但确定的觉知能力。由此可见，MCS与VS的区分在于是否有证据表明患者具有觉知能力。另一方面，闭锁综合症(locked-insyndrome,LIS)患者是觉醒的并且具有完好的觉知能力，但身体完全瘫痪。这样也有可能导致与植物状态或最小意识状态的混淆。一般来说，不同意识障碍程度的患者需要不同的治疗方案，因此，准确判定患者的意识障碍水平显得异常重要。目前，临床上评定患者的意识障碍程度主要依靠量表(例如，Glasgow格拉斯哥昏迷量表、JFK昏迷恢复量表等)以及临床经验，通过检查眼睛、言语和运动三方面刺激所引起的反应来进行综合评价。以2004年美国JFK医学中心Giacino等人修改的昏迷恢复量表(JFKComaRecoveryScale-Revised，CRS-R)为例，分为6个项目：听觉、视觉、运动、言语反应、交流及唤醒水平。当使用昏迷恢复量表CRS-R对患者的意识状态进行评定时，若患者某个项目的分值小于或等于评分标准(听觉2分，视觉1分，运动2分，言语反应2分，交流0分，唤醒度不评分仅作参考)，则其意识状态被评定为VS；若某个项目高于评分标准为MCS；若运动项目达到6分或交流项目达到2分为脱离MCS。这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于VS和MCS患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况，因此行为判断往往带有一定主观性和不可预测性。此外，对于严重意识障碍患者，他们用以交流的运动表达系统可能存在不同程度的损伤，同时其觉醒水平具有局限性且经常不稳定，因此行为判断本身在操作上的准确性也不易保证。已有文献证实对VS意识障碍患者进行常规行为诊断的误诊率高达37％-43％。因此，采用更加客观和科学的方法来检测患者的意识状态是十分必要的。脑机接口(braincomputerinterface，BCI)是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路(外周神经系统及肌肉组织)，是一种全新的人机接口方式。自从上个世纪初发现头皮脑电(electroencephalogram，EEG)信号后，它就被应用于神经系统疾病辅助诊断、脑功能康复的研究等方面。脑机接口在意识状态检测中的一个重要优势就是能实时地产生检测结果。反过来，如果该患者是有意识的话，这些实时的结果能对患者起到一个有用的反馈作用。使用脑机接口进行意识状态检测在起步阶段，我们需要开发更强大的脑机接口来提高检测的性能。目前用于检测意识状态的脑机接口方法全部采用基于听觉刺激来实现。听觉脑机接口的一个通病就是准确率低。目前从正常人的使用情况来看，视觉脑机接口要比听觉脑机接口的准确率要好得多。本专利技术设计的就是采用视觉脑机接口来进行意识障碍患者的意识检测。由于部分意识障碍患者缺乏控制眼部运动的能力，所以使用注视相关的视觉BCI来检测对于他们来说并不合适，或者难以获得准确的诊断结果。本专利技术设计了基于视听觉结合的实验范式设计脑机接口系统，创新性地将语义一致和不一致的视听数字作为系统的偏差刺激和标准刺激。提供一种注视无关的视听觉脑机接口来检测他们的知觉。此外，所有的视听刺激都是单独呈现的，因此该范式是完全与注视无关的。
技术实现思路
本专利技术的目的在于针对现有检测意识障碍患者状态的系统缺乏，患者一般丧失控制眼部运动的能力，难以获得准确的结果等问题，提出了一种隐式注视脑机接口的意识状态检测系统，该系统基于无损的脑机接口技术，设计隐式注视的视听觉刺激范式，构建脑电采集、脑电处理模块的脑机接口系统去进行意识状态检测，并分析受试者在视听一致和视听不一致刺激后的EEG数据。为实现上述目的，本专利技术所提供的技术方案为：一种隐式注视脑机接口的意识状态检测系统，包括：视听觉刺激模块、脑电信号采集模块、脑电信号处理模块；其中：所述视听觉刺激模块，采用语义一致和不一致的视听数字随机播放给受试者；在LED显示器的中心位置放置了一个可视按钮，两个扬声器位于LED显示器的背面，用于展现听觉刺激；其中，视觉刺激包括10个视觉数字：0，1，…，9，而听觉刺激包括10个口语数字：0，1，…，9；每个刺激呈现包括一对语义上相同的视觉和口语数字或不一致的视觉和口语数字，两个连续刺激之间存在间隔时间，且所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置，因此，范式是隐式注视的；关于隐式注视脑机接口意识检测的范式，首先构建了四对视听刺激，其中一对在语义上是一致的，而另外三对在语义上是不一致的；在语义一致性/不一致性条件下，这些视觉刺激和听觉刺激是从视觉和口语数字：0，1，…，9中随机选择的；每次试验都以视听觉的任务提示开始，持续设定时间段，指令是“默数视觉数字和口语数字相同的次数”，在指令提示之后，四对视听刺激以随机顺序分别展示设定次数，具体地说，四个视觉数字按照随机顺序以出现到消失的形式进行闪烁，每个出现持续设定时间，并且在两个连续出现之间间隔设定时间；视觉数字的出现伴随一个预设时间的口语数字，受试者要求默数一致的视听刺激即目标的出现次数，同时忽略不一致的视听刺激即非目标，以这种方式，产生了“oddball”效应，经过设定时间后，脑机接口系统在线进行P300检测，以确定受试者所关注的视听刺激对，由脑机接口系统确定的反馈结果出现在显示器的中心，如果检测结果正确，掌声将会作为反馈用来增加受试者的积极性；根据受试者的疲劳程度，每个trial之间有休息时间，由于有四对视听刺激，其中之一为目标，准确检测的概率水平是25％；所述脑电信号采集模块，用于实时记录受试者进行规定任务的脑电信号，具体是采用NuAmps便携式放大器来记录头皮脑电信号，然后将头皮脑电信号传输至脑电信号处理模块；在信号采集过程中，受试者头戴LT37型的32通道的脑电采集帽，记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外；脑电采集过程中，所有电极的阻抗值皆为5Ω以下；脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；所述脑电信号处理模块，用于实时输出在线检测结果，在刺激任务呈现完毕后，对数据进行存储或处理，并根据实时结果播放正性/负性反馈声音，其中正性反馈声音是欢快的掌声，负性反馈声音是叹息声，其具体情况如下：由脑电信号采集模块采集到的原始EEG信号，先在0.1-20Hz频率范围内本文档来自技高网...

【技术保护点】
1.一种隐式注视脑机接口的意识状态检测系统，其特征在于，包括：视听觉刺激模块、脑电信号采集模块、脑电信号处理模块；其中：所述视听觉刺激模块，采用语义一致和不一致的视听数字随机播放给受试者；在LED显示器的中心位置放置了一个可视按钮，两个扬声器位于LED显示器的背面，用于展现听觉刺激；其中，视觉刺激包括10个视觉数字：0，1，…，9，而听觉刺激包括10个口语数字：0，1，…，9；每个刺激呈现包括一对语义上相同的视觉和口语数字或不一致的视觉和口语数字，两个连续刺激之间存在间隔时间，且所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置，因此，范式是隐式注视的；关于隐式注视脑机接口意识检测的范式，首先构建了四对视听刺激，其中一对在语义上是一致的，而另外三对在语义上是不一致的；在语义一致性/不一致性条件下，这些视觉刺激和听觉刺激是从视觉和口语数字：0，1，…，9中随机选择的；每次试验都以视听觉的任务提示开始，持续设定时间段，指令是“默数视觉数字和口语数字相同的次数”，在指令提示之后，四对视听刺激以随机顺序分别展示设定次数，具体地说，四个视觉数字按照随机顺序以出现到消失的形式进行闪烁，每个出现持续设定时间，并且在两个连续出现之间间隔设定时间；视觉数字的出现伴随一个预设时间的口语数字，受试者要求默数一致的视听刺激即目标的出现次数，同时忽略不一致的视听刺激即非目标，以这种方式，产生了“oddball”效应，经过设定时间后，脑机接口系统在线进行P300检测，以确定受试者所关注的视听刺激对，由脑机接口系统确定的反馈结果出现在显示器的中心，如果检测结果正确，掌声将会作为反馈用来增加受试者的积极性；根据受试者的疲劳程度，每个trial之间有休息时间，由于有四对视听刺激，其中之一为目标，准确检测的概率水平是25％；所述脑电信号采集模块，用于实时记录受试者进行规定任务的脑电信号，具体是采用NuAmps便携式放大器来记录头皮脑电信号，然后将头皮脑电信号传输至脑电信号处理模块；在信号采集过程中，受试者头戴LT37型的32通道的脑电采集帽，记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外；脑电采集过程中，所有电极的阻抗值皆为5Ω以下；脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；所述脑电信号处理模块，用于实时输出在线检测结果，在刺激任务呈现完毕后，对数据进行存储或处理，并根据实时结果播放正性/负性反馈声音，其中正性反馈声音是欢快的掌声，负性反馈声音是叹息声，其具体情况如下：由脑电信号采集模块采集到的原始EEG信号，先在0.1‑20Hz频率范围内进行带通滤波，并进行1/5下采样；把每个通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从0到设定时间内以向量的形式表示；然后连接30个通道的向量，得到额定个数据点的新数据向量；接着，通过平均所有n次重复闪烁对应的向量来提高信噪比SNR，n＝1，2，3，…，为每个视听刺激对构建包含额定个数据点的特征向量，这些特征在刺激开始后900毫秒内包含了多个ERP成分；接着，利用训练阶段数据的特征向量训练SVM分类器，SVM分类器是基于LBSVM与线性核工具箱，SVM的参数通过五次交叉验证来确定，最后，在每次在线试验中，对四对视听刺激对应的四个特征向量应用SVM分类器，从而得到四个SVM得分，通过该试验获得的检测结果被确定为对应于SVM得分的最大值的视听刺激对；如果探测到的视听刺激对是视听刺激一致的实际目标，则这个任务正确响应，最后，计算出意识检测的准确率，即正确响应的任务数与在线测试总的任务数的比值，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：...

【技术特征摘要】
1.一种隐式注视脑机接口的意识状态检测系统，其特征在于，包括：视听觉刺激模块、脑电信号采集模块、脑电信号处理模块；其中：所述视听觉刺激模块，采用语义一致和不一致的视听数字随机播放给受试者；在LED显示器的中心位置放置了一个可视按钮，两个扬声器位于LED显示器的背面，用于展现听觉刺激；其中，视觉刺激包括10个视觉数字：0，1，…，9，而听觉刺激包括10个口语数字：0，1，…，9；每个刺激呈现包括一对语义上相同的视觉和口语数字或不一致的视觉和口语数字，两个连续刺激之间存在间隔时间，且所有的视听刺激都是单独呈现的，视觉刺激出现在屏幕的同一位置，因此，范式是隐式注视的；关于隐式注视脑机接口意识检测的范式，首先构建了四对视听刺激，其中一对在语义上是一致的，而另外三对在语义上是不一致的；在语义一致性/不一致性条件下，这些视觉刺激和听觉刺激是从视觉和口语数字：0，1，…，9中随机选择的；每次试验都以视听觉的任务提示开始，持续设定时间段，指令是“默数视觉数字和口语数字相同的次数”，在指令提示之后，四对视听刺激以随机顺序分别展示设定次数，具体地说，四个视觉数字按照随机顺序以出现到消失的形式进行闪烁，每个出现持续设定时间，并且在两个连续出现之间间隔设定时间；视觉数字的出现伴随一个预设时间的口语数字，受试者要求默数一致的视听刺激即目标的出现次数，同时忽略不一致的视听刺激即非目标，以这种方式，产生了“oddball”效应，经过设定时间后，脑机接口系统在线进行P300检测，以确定受试者所关注的视听刺激对，由脑机接口系统确定的反馈结果出现在显示器的中心，如果检测结果正确，掌声将会作为反馈用来增加受试者的积极性；根据受试者的疲劳程度，每个trial之间有休息时间，由于有四对视听刺激，其中之一为目标，准确检测的概率水平是25％；所述脑电信号采集模块，用于实时记录受试者进行规定任务的脑电信号，具体是采用NuAmps便携式放大器来记录头皮脑电信号，然后将头皮脑电信号传输至脑电信号处理模块；在信号采集过程中，受试者头戴LT37型的32通道的脑电采集帽，记录32个通道的脑电信号，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动...

【专利技术属性】
技术研发人员：李远清，潘家辉，肖君，黄健涛，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44