【技术实现步骤摘要】
本专利技术涉及脑科学与认知科学，特别涉及一种使用多模态运动想象技术实现虚拟鼠标的方法。
技术介绍
1、脑机接口(brain computer interface,bci)是搭建在人与机器之间的交互系统通常脑机接口的信号采集可以分为非侵入式，半侵入式以及侵入式三种。其中，非侵入式因为其不对人体造成伤害而有可能在未来最早地被应用于现实生活。按照脑电信号是否由外界刺激引起，可以将脑机接口技术分为诱发式与自发式。常见的诱发式脑机接口技术有稳态视觉电位(steady-state visual evoked potential,ssvep)与事件相关电位(eventrelated potential，erp)等。ssvep主要是当被试注视以固定频率进行黑白闪烁的视觉刺激时，其脑电被诱发相应频率的谐波信号，从而判别被试意图的方法。erp属于长潜伏期诱发电位，主要反映认知过程中大脑的神经电生理变化。经典的erp根据潜伏期可将主要成分分为p1、n1、p2、n2、p3,p或n代表正向或负向，1、2或3分别代表波峰在视觉刺激后约100ms、200ms或300ms出现。最经典的应用就是1988年由farewell和donchin等人提出的p300speller,其刺激范式主要由靶刺激与非靶刺激随机闪烁构成。当概率较小的靶刺激出现后大约300ms,在被试的脑电中能够观察到一个正向波峰，称为p300信号，通过检测该信号，可以判别被试意图。诱发式脑机接口技术通常受限于刺激范式，除此之外，不论是ssvep还是erp都需要长时间对被试的眼睛进行闪烁刺激，很容易造
2、mi技术不依赖于外界刺激，是一种内源性自发脑电信号。只需要被试想象进行特定运动任务，而不需要被试进行实际运动即可在不同脑区检测出特异性的波形，从而判别被试意图。当被试在想象身体某个肢体运动时，就会引起大脑感觉运动皮层不同节律(感觉运动节律,sensorimotor rhythms,smrs)的变化。不同的肢体部位的运动想象引起的smrs具有不同的时空分布特性，其eeg(electroencephalogram,脑电波)具有较高的可区分性因此可以通过模式识别方法，解码eeg中的mi模式，并将其转化为控制指令，从而实现对外部设备的操控。但是mi技术受限于其可分类数量，目前可以实现较好分类的有双手、双脚及舌头，也就是说，一次分类只能输出5种类别，难以直接输出更多的指令来实现较复杂的任务。诱发式脑机接口技术之所以可以实现更多数量的目标识别是通过将多任务排布在显示器上实现的。而自发式脑机接口更灵活，更符合人的操作习惯。由此引发了我们对如何在mi有限的输出类别和任务排布之间搭建起转化桥梁的思考。
3、脑磁图(meg)，它在源深度和电导率敏感性方面具有互补的信息，但也有径向/切向偶极子检测。虽然先前的研究已经证明了基于脑磁图活动的bc和神经反馈的可行性，但与脑电图(eeg)信号结合的潜在好处尚未得到充分的探索。基于光泵磁强计的便携式磁强传感器的发展，这种集成可能会产生实际的影响。为了解决这一知识缺口，我们考虑了一组健康受试者在基于mi的脑机接口任务中同时记录高密度脑电图和脑磁图信号。
4、眼动仪是心理学基础研究的重要仪器，通常用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。目前许多笔记本电脑开始搭载眼动仪作为卖点，例如alienware 17r5搭载了tobii的眼动仪。但是因为其只能追踪人眼视觉的注视轨迹，而不具备确认等功能，在日常生活中的实际用途十分有限，通常用于游戏，或者专业性的心理学分析。
5、目前传统的结合眼动仪与异步运动想象技术实现虚拟鼠标的方法，仍然存在许多问题，如操作反馈准确率较低、鼠标定位不精确、去抖动算法较为复杂且操作过于单一。
6、针对上述问题，本方案提出多种优化办法。首先，通过使用多模态运动想象技术提高操作反馈的准确率；然后，保证了系统较高的响应速度，虽然引入多个行为的分类器，但并没有使用非常复杂模型；其次，使用基于三角增量法的最小圆覆盖算法替代常规去抖动算法，解决了鼠标定位不准确和算法时间复杂度高的问题；最后，用多分类器区分更多行为模式，并将六种操作逻辑与行为模式关联，远程实现如点击鼠标左右键，上下滚轮功能，软键盘开关功能。
技术实现思路
1、本专利技术的目的在于解决基于眼动仪和脑电运动想象技术的操作反馈准确率较低、鼠标定位不精确和操作过于单一的问题。
2、为了实现上述目的本专利技术采用以下技术手段：
3、本专利技术提供了一种使用多模态运动想象技术实现电脑操控的方法，包括如下步骤：
4、步骤s1、使用多模态信号采集设备来记录运动想象信号；
5、步骤s2、利用算法对提取的eeg、mag和grad多模态信号进行预处理和特征提取；
6、步骤s3、构建分类器，使用基于加权平均的贝叶斯融合方法，将更高的权重分配给对数据进行最佳分类的模式；
7、步骤s4、利用分类结果，将运动想象信号关联到点击鼠标左右键，上下滚轮功能，软键盘开关功能上，结合眼动仪实现远程操控计算机。
8、上述技术方案中，s1具体步骤如下，
9、s11：使用多模态设备是指，在基于运动想象mi的任务中同时记录高密度脑电图和脑磁图信号，使用74个脑电通道系统和f1ekta neuromag triux机器分别同时记录脑电图和脑磁图数据，头皮上电极位置遵循10-10蒙太奇标准，参考电极位于左肩胛骨；
10、s12：同时考虑脑电图和脑磁图的活动，其中脑磁图由磁强计和梯度仪信号组成。
11、上述技术方案中，s2具体步骤如下，
12、s21：定位eeg、mag和grad信号电极，剔除无用电极；
13、s22：对脑电图原始信号依次进行滤波、分段、降噪和去伪影操作；
14、s22：对脑磁图原始信号使用maxfilter进行时域信号空间分离，去除环境噪声；
15、s22：脑磁图所有信号下行采样至250hz，并将其分割成与目标周期相对应的5秒周期；
16、s23：专家目视检查脑磁图去除伪影，为更好的模拟在线场景，不采用其他的伪影去除算法，验证之后，保留所有可用的频带；
17、s24：使用离散扁球体序列作为正交窗函数，实现多窗口频率变换方法，对频谱进行平滑操作，该算法使用fieldtrip工具箱实现；
18、s25：对采集的每个信号周期，eeg、mag和grad功率谱提取对应的特征矩阵mi，eeg、mag和grad提取mi的维数分别为74×36、102×36和204×36；
19、s26：采用特征提取算法从矩阵mi中提取最相关的特征，关注对侧运动区域的传感信号，eeg、mag和grad的特征矩阵大小分别为11×36、15×36本文档来自技高网...
【技术保护点】
1.一种使用多模态运动想象技术实现电脑操控的方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，S1具体步骤如下，
3.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，S2具体步骤如下，
4.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，S3具体步骤如下，
5.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，S4具体步骤如下，
6.根据权利要求5所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，具体键鼠操作的关联是指包括想象左手握拳对应点击鼠标左键；想象右手握拳对应点击鼠标右键；想象双手握拳对应向上滚动滚轮；想象双手张开对应向下滚动滚轮；想象双脚张开对应打开软键盘；想象双脚合并对应关闭软键盘。
【技术特征摘要】
1.一种使用多模态运动想象技术实现电脑操控的方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s1具体步骤如下，
3.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s2具体步骤如下，
4.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s3具体步骤如下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。