一种基于眼动和脑机接口技术的人机交互方法技术

本发明专利技术公开了一种基于眼动和脑机接口技术的人机交互方法。通过结合眼动追踪和脑机接口技术提高系统效率和使用体验。本发明专利技术中人与计算机的交互将被拆分为眼动初选、脑电终选两个阶段来完成。第一阶段，程序通过眼动仪实时采集当前眼睛注视的位置，一旦检测到注视的停留，则找到该位置附近的元素并激活，并进入第二阶段；被激活的元素会提供视觉刺激或者视觉提示，系统同步采集人的脑电信号，通过脑电信号识别出具体的目标后，触发该目标相应的操作。本发明专利技术具有使用控制速度快、精度高、效果好、工作稳定以及使用门槛低等优点，可为渐冻人等由于外界或自身因素无法移动身体或计算机鼠标情况下使用，并提供尽可能与鼠标操作接近的使用体验。

【技术实现步骤摘要】
一种基于眼动和脑机接口技术的人机交互方法
本专利技术涉及脑机接口领域，尤其是一种基于眼动和脑机接口技术的人机交互方法。
技术介绍
脑机接口(BrainComputerInterface)是一种非肌肉通信方法，它使患有严重神经系统疾病且在交流方面有困难的人们重新获得使用外部设备与外界进行交流的能力。一些神经系统疾病例如颅脑外伤，脑干中风，肌萎缩性侧索硬化症(ALS)和格林-巴利综合征(Guillain-Barrésyndrome)，可导致严重或完全的运动性麻痹，通常被称为“锁定综合征”，即患者虽然保留意识，但除了眼动和眨眼外不能进行肢体活动或口头交流。脑机接口可以实现人脑与计算机之间的直接通信，并允许这些患者重新获得使用外部设备与外界通信的能力。随着技术在我们日常生活中的迅速融合，使用计算机、互联网的能力在决定一个人的生活质量方面起着重要作用。帮助运动损伤患者重新获得通过计算机、互联网进行通信或访问信息的能力并不容易，因为大多数网页都是为鼠标和键盘操作而设计的，而很少考虑运动损伤患者的可访问性。而最近，一些研究通过开发各种脑机接口系统来尝试改善患者的生活质量。现有可提供计算机控制和交流的系统以网络浏览器最具代表性，这些脑机接口网络浏览器在保持原有页面格式和内容的情况下赋予运动损伤患者浏览、使用互联网的能力。如基于慢皮层电位(SCP)的Descartes和Nessi，使用二叉决策树进行元素选择，其都具有简单的用户界面，但患者需要较长的训练时间才能正常操作，并且操作速度较慢；如基于P300的浏览器，使用功能按钮来控制鼠标以实现与网页的交互；也有对网页上的元素进行独立的编号，然后通过类似打字机的方式让用户通过输入特定编号来选择目标的方法；基于SSVEP的网络浏览器是目前最快的网络浏览器。该系统的平均准确率为86.08±15.46％，但依然然需要大约20秒的时间来完成一次目标元素的选择；除了上述系统的性能都与鼠标操作有巨大的差距外，上述系统都需要提供除了网页本身内容之外的额外界面来操作整个系统，从而使得系统使用起来较为复杂，交互不友好。
技术实现思路
本专利技术旨在提供一种基于眼动和脑机接口技术的人机交互方法，通过结合眼动仪和脑机接口技术解决系统效率低下的问题，使得识别目标的时长尽可能与鼠标操作接近。通过该整合技术整合的优势，将被控制的界面与控制指令完美融合在一起，降低使用门槛和使用体验。本专利技术方法通过以下步骤实现：(1)基于眼动的快速目标初选：利用眼动追踪方法检测到注视点停留时，以注视点为圆心构建初选激活区，并激活区域半径内的多个元素；(2)基于脑机接口的精确目标终选：被激活的各个元素周围会生成不同颜色和样式的边框，同时在边框底部的中间会生成一个刺激位点，利用脑机接口技术在激活的元素中选出最终的目标。其中所述步骤(1)中,对于不同的脑电信号类型将提供不同的刺激类型和最大可激活元素数量：(a)如果将SSVEP用于目标的终选方法，则在界面上的刺激位点提供稳定频率的闪烁视觉刺激。最大可激活数量由所选用的频率数量决定，通常在4至40之间；(b)如果将P300用于目标的终选方法，则在界面上的刺激位点将依次随机闪烁1次。最大可激活数量可为任意设置值；(c)如果将运动现象的ERD/ERS作为目标的终选方法，则在界面上的刺激位点提供运动现象的视觉提示。由于运动现象通常使用3分类(静息/左手/右手)或5分类(静息/左手/右手/双脚/舌头)，因此最大可激活数量通常是2或4。其中所述步骤2中,对于不同的脑电信号类型做不同的处理：(a)如果将SSVEP用于目标的终选方法，计算机对头皮脑电信号中包含的SSVEP信息预处理方法为陷波滤波、带通滤波，特征提取是滤波器组典型相关分析法，特征值最大的频率即为目标频率；(b)如果将P300作为目标的终选方法，计算机对头皮脑电信号中包含的P300信息预处理方法为带通滤波，特征提取是以选择的电极的信号幅值作为特征，分类算法为支持向量机算法；(c)如果将运动现象的ERD/ERS作为目标的终选方法，计算机对头皮脑电信号中包含的运动想象ERD/ERS信息预处理方法为降采样、带通滤波和CAR滤波，特征提取是以采用共同空域模式提取的空间投影后的信号方差作为特征，分类算法为线性判别分析法。提高人机交互中的系统效率和增强使用体验。本专利技术的另一个目的是所述方法在提高人机交互中的系统效率和增强使用体验中的应用，尤其提高渐冻人与计算机交互中的系统效率和增强使用体验，渐冻人由于外界或自身因素无法移动身体或计算机鼠标，在此情况下，利用本方法可使其使用计算机并提供尽可能与鼠标操作接近的使用体验。本专利技术以网页浏览器为例，采用在页面元素下方呈现视觉刺激或者视觉提示的方式来完成整个交互流程，使得控制指令与网页内容较好地融合在一起，使用门槛低、浏览体验好。本专利技术采用页面内弹出式文本输入界面，交互的方式与网页其他元素相同，因此页面输入与网页交互的使用体验一致。本专利技术兼容多种不同的刺激、提示形式，这使得使用不同的脑电信号成为可能，包括但不限于SSVEP、P300、运动想象ERD/ERS。可以根据使用者情况选择合适的脑电信号和刺激形式。本专利技术的技术优势主要是采用眼动初选和脑电终选两个阶段来完成人机交互(如人与网页的交互)。在第一阶段中，本专利技术充分利用了眼动高效定位目标的优势，根据与注视位点的距离，筛选出一定数量的元素(这个数量远小于页面元素总数量)。在第二个阶段中，充分利用了脑电的识别精度优势，在眼动初选的结果中进行终选，大大提高了识别的效率。在整个过程中，由于眼动只完成初选，因此眼动精度低的问题被规避，而脑电只完成初选结果中的终选，由于选项数量少，脑电可以在尽可能段的时间内完成识别并保证较高的准确率。本专利技术通过结合眼动追踪和脑机接口技术(包括但不限于SSVEP、P300、运动想象ERD/ERS、SCP)来提高系统效率和使用体验。在本专利技术所述的方法中，人与计算机的交互将被拆分为眼动初选、脑电终选两个阶段来完成。第一阶段，程序通过眼动仪实时采集当前眼睛注视的位置，一旦检测到注视的停留，则找到该位置附近的元素并激活，并进入第二阶段；在第二阶段中，被激活的元素会提供视觉刺激或者视觉提示，系统同步采集人的脑电信号，通过脑电信号识别出具体的目标后，触发该目标相应的操作。本专利技术具有使用控制速度快、精度高、效果好、工作稳定以及使用门槛低等优点，可为渐冻人等由于外界或自身因素无法移动身体或计算机鼠标情况下使用，并提供尽可能与鼠标操作接近的使用体验。附图说明图1为本专利技术所述方法的人机交互系统结构示意图。图2为本专利技术操作实施流程图。图3为本专利技术使用SSVEP作为信号时的采集使用电极分布图。图4为本专利技术使用P300或运动现象ERD/ERS作为信号时的采集使用电极分布图。图5为本专利技术使用SSVEP作为信号时的脑电数据处理流程图。图6为本专利技术使用P300作为信号时的脑电数据处理流程图。图7为本发本文档来自技高网...

【技术保护点】
1.一种基于眼动和脑机接口技术的人机交互方法，其特征在于，通过以下步骤实现：/n(1)基于眼动的快速目标初选：利用眼动追踪方法检测到注视点停留时，以注视点为圆心构建初选激活区，并激活区域半径内的多个元素；/n(2)基于脑机接口的精确目标终选；被激活的各个元素周围会生成不同颜色和样式的边框，同时在边框底部的中间会生成一个刺激位点，利用脑机接口技术在激活的元素中选出最终的目标。/n

【技术特征摘要】
1.一种基于眼动和脑机接口技术的人机交互方法，其特征在于，通过以下步骤实现：
(1)基于眼动的快速目标初选：利用眼动追踪方法检测到注视点停留时，以注视点为圆心构建初选激活区，并激活区域半径内的多个元素；
(2)基于脑机接口的精确目标终选；被激活的各个元素周围会生成不同颜色和样式的边框，同时在边框底部的中间会生成一个刺激位点，利用脑机接口技术在激活的元素中选出最终的目标。


2.根据权利要求1所述的一种基于眼动和脑机接口技术的人机交互方法，其特征在于，所述步骤(1)中,对于不同的脑电信号类型将提供不同的刺激类型和最大可激活元素数量：
(a)如果将SSVEP用于目标的终选方法，则在界面上的刺激位点提供稳定频率的闪烁视觉刺激，最大激活数量由所选用的频率数量决定，选择4-40之间；
(b)如果将P300用于目标的终选方法，则在界面上的刺激位点将依次随机闪烁1次，最大可激活数量为任意设置值；
(c)如果将运动现象的ERD/ERS作为目标的终选方法，则在界面上的刺激位点提供运动现象的视觉提示，由于运动现象通常使用3分类或5分类，因此最大激活数量选择2-4。

【专利技术属性】
技术研发人员：林歆远，张韶岷，陈光弟，张建民，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33