一种基于P300的视听双通道竞争机制脑-机接口方法技术

本发明专利技术公开了一种基于P300的视听双通道竞争机制脑‑机接口方法，包括：设置第一范式作为视听干扰范式，视觉刺激为单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为相同的单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；设置第二范式作为视听无关范式，听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式；通过64导联的脑电电极帽采集脑电信号，对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。

A brain computer interface method based on P300 audio-visual dual channel competition mechanism

【技术实现步骤摘要】
一种基于P300的视听双通道竞争机制脑-机接口方法
本专利技术涉及脑-机接口领域，尤其涉及一种基于P300的视听双通道竞争机制脑-机接口方法。
技术介绍
脑-机接口(Brain-ComputerInterface，BCI)作为一种新型交互方式，脑-机接口不从肢体或者神经肌肉而是直接从人脑活动所伴随的神经电信号中获取信息，建立了人和周围环境之间不依赖于外周神经的输出通路。依据其依赖的信号类型，脑机接口被分为不同种类，其中基于事件相关电位的BCI系统(ERP-BCI)被认为是相对高效稳定的。事件相关电位(event-relatedpotential，ERP)与大脑对特定发生事件的处理过程密切相关。它的幅值信息包含在相对幅值较大的背景脑电中，通常需要对特定事件所诱发的信号进行多次叠加平均而得到。叠加平均后的ERP由一系列正负电位信号组成，称为事件相关成分。事件相关系列正/负成分将随着刺激事件类型、频率和大脑对刺激事件认知过程的不同而变化。相对于传统的认知心理学研究手段，脑机接口通过人体的大脑信号展现客观状态下的认知表现是更为真实的数据体现。而视觉和听觉作为人体最重要的两个感官通道，被广泛用于BCI中的诱发实验，尝试在娱乐、康复等领域应用。但人类复杂的认知过程会使得各个通道相互影响，从而产生“1+1>1”或“1+1<1”的效果。所谓“1+1>1”，即为视听通道同时使用所产生的整合效应，两者相辅相成，产生远大于其单通道本身的效果；“1+1<1”则是视觉和听觉的不匹配造成的交叉干扰，两者相互抑制所产生的效果。目前针对视听竞争BCI的研究仍旧不足，而竞争效应的影响效应在各个领域都存在，故而针对该方向提出创新型实验范式并进行深入研究是十分必要的。
技术实现思路
本专利技术提供了一种基于P300的视听双通道竞争机制脑-机接口方法，该方法创新的提出了以ERP-BCI的方式研究人的视觉、听觉同时呈现，且为竞争关系过程中认知状态的变化，该研究能够为视、听脑机接口范式的优化设计提供参考，进一步的为脑机接口应用于临床及生活等实验室外场景提供理论支持，详见下文描述：一种基于P300的视听双通道竞争机制脑-机接口方法，以视听觉双通道信号为输入，研究视觉和听觉并行条件下的竞争响应机制，所述方法包括：设置第一范式作为视听干扰范式，即视觉刺激为A/B/C/D/E/G这单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为与视觉刺激相同的六个单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；设置第二范式作为视听无关范式，用于对比实验，即听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式，以更好地诱发视听双通道的竞争效应；通过64导联的脑电电极帽采集脑电信号，绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机，线性判别分析对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。其中，所述注意力调制方式为注意视觉和注意听觉，注意视觉时，忽略听觉刺激，听觉刺激作为竞争模态；注意听觉时，忽略视觉刺激，视觉刺激作为竞争模态。进一步地，所述刺激呈现序列为：首先为0.15s的提示，接下来要计数的目标刺激，两秒后呈现随机序列，序列呈现时每个视觉刺激对应同时出现且时长相同都为0.15s的听觉刺激，序列中每个视听同步刺激的刺激间间隔相同。其中，所述方法还包括：视听刺激同步呈现，视觉与听觉在6个刺激中分别以随机顺序呈现，6个刺激循环结束后继续开始下一轮6个刺激循环。进一步地，所述竞争响应机制为：范式一同时呈现的有语义关系视听刺激作为竞争模态，范式二同时呈现的无语义相关性的视听刺激是相对无竞争模态；范式一与范式二的响应对比能得到视听竞争的响应特点。本专利技术提供的技术方案的有益效果是：1、本专利技术分析不同感官信息通道间的关系，来探究视听交互刺激间的竞争关系研究，以期为视听觉脑-机接口范式的优化提供参考，使其能达到最佳脑机信息交互处理效率；2、本专利技术设计了一种基于P300的视听双通道竞争机制脑-机接口(BCI)范式，该项专利技术有益于对人体重要感官通道——视听觉的认识和深入研究，可以帮助脑机接口在临床、康复、娱乐等领域的应用，完善脑机接口系统的设计。附图说明图1为本专利技术实验及数据处理方法示意图；图2为范式1与范式2刺激序列示意图；图3为实验刺激序列流程图；图4为某实验任务条件下目标刺激与非目标刺激诱发脑电信号的ERP波形；图5为某实验任务下不同时间段的ERP平均后的脑电地形图；图6为SVM(支持向量机)最佳分类平面示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例设计了一种基于ERP中P300信号的视觉、听觉竞争条件下的脑机接口(BCI)范式。P300是Sotton在1965年最早发现，属于脑电中的事件相关电位(Event-RelatedPotential,ERP)的一种，因为是诱发刺激出现后300ms在头部出现的正(Positive)电位故叫做P300，反映了人的认知状态的变化。如果在重复刺激序列中加入一个不同的视觉或听觉刺激，那么这个刺激被称作偏差刺激，大脑会被诱发出响应信号。本申请方案将人类主要感觉通道视、听相结合，按照oddball范式重复刺激，设计刺激范式，从而诱发出视、听诱发电位，通过分析对比，探究视觉与听觉人认知过程中的竞争关系。设计流程为：在阅读视觉、听觉脑机接口相关众多文献后，设计范式刺激类型、刺激长度、视听刺激的同步性及相关性等参数，以更好地诱发视听双通道的竞争效应，通过64导联的Neuroscan脑电电极帽采集新范式刺激下的诱发脑电信号。在预处理后进行特征提取和后续处理。绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机(SupportVectorMachine,SVM)，线性判别分析(LDA)等分类方法对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。实施例2图1为本专利技术实验流程示意图。该设计包括脑电电极位点选择、参考电极放置，基于MATLAB的Psychtoolbox的视觉、听觉刺激输出系统和Neuroscan脑电采集系统。受试者坐在呈现视觉刺激的显示屏前，注视计算机屏幕上的字母/图片变换，同时以头戴式耳机双耳输出音频刺激，音频与视觉刺激以oddball同时呈现，根据主试指令在心中默数视觉或者听觉偏差刺激数目。在计数偏差刺激的时候，大脑的认知过程会反应在大脑皮层电信号中，从而出现事件相关电位。用Neuroscan脑电采本文档来自技高网...

【技术保护点】
1.一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，以视听觉双通道信号为输入，研究视觉和听觉并行条件下的竞争响应机制，所述方法包括：/n设置第一范式作为视听干扰范式，即视觉刺激为A/B/C/D/E/G这单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为与视觉刺激相同的六个单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；/n设置第二范式作为视听无关范式，用于对比实验，即听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；/n设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式，以更好地诱发视听双通道的竞争效应；/n通过64导联的脑电电极帽采集脑电信号，绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机，线性判别分析对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。/n

【技术特征摘要】
1.一种基于P300的视听双通道竞争机制脑-机接口方法，其特征在于，以视听觉双通道信号为输入，研究视觉和听觉并行条件下的竞争响应机制，所述方法包括：
设置第一范式作为视听干扰范式，即视觉刺激为A/B/C/D/E/G这单音节字母显示在屏幕中央，且颜色互不相同；听觉刺激为与视觉刺激相同的六个单音节字母，以入耳式耳机双声道输出，该声音刺激设置使得其与视觉刺激相同的语义，且视觉、听觉刺激时间相同；
设置第二范式作为视听无关范式，用于对比实验，即听觉刺激仍为与第一范式相同的单音节字母，但视觉刺激则为六个形状和颜色均不同的几何图形，且这些图形与听觉刺激的字母无任何相关性；
设置不同的刺激时间间隔、刺激长度、刺激呈现序列和注意力调制方式，以更好地诱发视听双通道的竞争效应；
通过64导联的脑电电极帽采集脑电信号，绘制ERP波形图、脑电地形图、作R-square可分性分析，并运用支持向量机，线性判别分析对不同任务下被试脑电信号进行对比，分析视听觉之间的竞争关系的定量、定位体现。


2.根据权利要求1所述的一种基于P300的视听双通道竞争机制脑-机接口方法，其特征...

【专利技术属性】
技术研发人员：陈露，安兴伟，明东，杨远骋，周向通，柯余峰，刘爽，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12