基于运动想象脑‑机接口的字符拼写器及测试方法技术

本发明专利技术涉及运动想象脑‑机接口技术领域，为提出一种基于MI‑BCI的字符拼写器，提供一种新的指令编码思路，与传统MI‑BCI系统相比，能够有效的扩展MI‑BCI的指令集。该发明专利技术可以为MI‑BCI的发展开辟新的发展方向，进一步研究可以得到完善的BCI系统，有望获得可观的社会效益和经济效益。本发明专利技术采用的技术方案是，基于运动想象脑‑机接口的字符拼写器，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成。本发明专利技术主要应用于脑‑机接口场合。

【技术实现步骤摘要】

本专利技术涉及运动想象脑-机接口
，具体讲,涉及基于运动想象脑-机接口的字符拼写器。
技术介绍
脑-机接口(Brain-ComputerInterface，BCI)技术在大脑和外部设备之间提供了一种新型信息交互通路，不依赖于大脑外围神经与肌肉的正常输出通道。其主要的工作原理是：采集人在不同任务状态下的脑电信号，使用信号处理的方法分析不同的脑电模式，然后通过一定的工程技术手段在人的大脑和外部设备之间建立信息交互的通道，实现了一种全新的控制过程。该技术的发展不仅为人类解码大脑的意识提供新思路，更为思维正常但是肢体瘫痪的残疾患者提供了一种与外界交流的有效途径。因此，BCI技术得到研究者们越来越多的关注。基于运动想象的BCI(Brain-ComputerInterfaceBasedonMotorImagery,MI-BCI)是一种重要的应用范式。MI可以看作是对运动行为的内心演练，而没有明显的运动输出。当人们想象自己某一肢体的运动时，特定脑区alpha频带(8-12Hz)和beta(13-30Hz)频带的脑电信号的幅值会减弱或者增强(事件相关去同步或事件相关同步(Event-RelatedDe-synchronization/Synchronization,ERD/ERS))，从而产生相应的脑电模式。因此，通过解码运动相关的脑电模式，就可以解码人的运动意图。MI-BCI是唯一一种不需要外界刺激的BCI范式，使用者仅需要自主的控制自己的意念输出指令，真正的实现了“意念控制”。并且MI-BCI是中风患者的有效康复手段之一，具有重要的应用价值。但是，传统的MI-BCI系统的指令集中指令个数较少，这对于实现交流必需的字符拼写控制具有极大的难度。传统的MI-BCI的控制指令主要包括左、右手，双脚，舌等简单肢体运动想象的指令。近些年来，研究者们对于指令集进行进一步的扩展，增加了复合肢体运动想象的指令，如左手右脚，右手左脚，双手等协同运动想象指令。也增加了连续的肢体运动作为指令控制，如左手-右手-右脚等。但是，这些指令扩展的方法操作程度复杂，在扩展指令集的同时，也极大的增加了使用者的操作难度，同时更为紧迫的是这些方法并不足以将指令集有效的扩展到一个可以实现字符输出的大指令集。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种基于MI-BCI的字符拼写器，提供一种新的指令编码思路，与传统MI-BCI系统相比，能够有效的扩展MI-BCI的指令集。该专利技术可以为MI-BCI的发展开辟新的发展方向，进一步研究可以得到完善的BCI系统，有望获得可观的社会效益和经济效益。本专利技术采用的技术方案是，基于运动想象脑-机接口的字符拼写器，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成；特征提取模块采用短时傅里叶变换进行提取：一个有限宽度的观察窗W(t)对信号x(t)进行观察，随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征，其中，ω是角频率，W*(τ-t)是W(τ-t)的复共轭函数，τ是积分变量。模式识别模块采用支持向量机SVM进行识别，过程如下：离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的时频特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的在线脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类，每秒输出一个识别结果。基于运动想象脑-机接口的字符拼写测试方法，步骤是：利用64导联电极帽和脑电放大器采集脑电信号；短时傅里叶变换步骤：首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到，这里ω是角频率，W*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即在二维的时频平面上得到信号的频谱分布随时间变化的信息，从而得到脑电信号的二维时频图谱；利用支持向量机SVM在离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类。在离线建模阶段，受试者需要根据提示音，根据提示音1s一次，连续想象50次左手按键，50次右手按键，50次双手按键以及50s静息，采集的200个样本经过信号处理用于建立四类运动想象分类：左手、右手、双手、静息的模型；在线测试阶段，受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，根据提示音1s一次；采集的脑电经过信号处理实时进行分类识别，如果连续检测出三个非静息的运动想象指令，根据检测出的序列输出相对应的字符。受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，具体是按照字符编码表想象相应动作，字符编码表表中，1表示想象左手按键，2表示想象右手按键，3表示想象双手按键；在字符输出过程中，受试者需要根据提示音进行连续的三次运动想象，受试者希望输出字符“M”，则根据1秒一次的提示音连续想象右手按键1秒、右手按键1秒、左手按键1秒，采集的脑电经过信号处理实时模式识别，如果连续判断出“右”，“右”，“左”，则在屏幕上输出字符“M”，其它字符按表类推。本专利技术的特点及有益效果是：根据以上字符编码的设计，有效的扩展了MI-BCI的指令集，使得原有传统的MI-BCI系统能够克服指令集较少，对于字符拼写的任务受到限制这一缺点。本专利技术设计的基于MI-BCI的字符拼写器，与传统范式的字符拼写器(如基于P300的Oddball范式)相比，不需要外界刺激，使用者仅需要自主的控制自己的意念输出指令，可真正实现意念控制。本专利技术提出的编码方式，为MI-BCI系统大指令集操作奠定基础。附图说明：图1基于MI-BCI的字符拼写器结构示意图。具体实施方式本专利技术提供了一种基于运动想象脑-机接口(MI-BCI)的字符拼写器。运动想象可以看作是对运动行为的内心演练，而没有明显的运动输出。当人们想象自己某一肢体的运动时，特定脑区特定频带的脑电信号的幅值会减弱或者增强(事件相关去同步或事件相关同步(ERD/ERS))，从而产生相应的脑电模式。本装置设计将传统的基于单一肢体的运动想象指令集进行混合循环编码，从而实现大指令集的字符拼写的功能。其技术流程是：设计新的字符拼写器实验，搭建实验平台，实时读取使用者脑电数据，将采集的数据进行预处理、特征提取，使用支持向量机进行模式识别，根据实时的拼写结果计算拼写器的分类正确率和信息传输率。图1为本专利技术装置的结构示意图。该装置包括脑电信号采集模块，脑电信号处理模块，和字符显示及输出模块。其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中，通过MATLAB软件实现各种功能。受试者坐在显示器前方1m处，实验全程采集受试者64导联脑电信号，根据10-20国际标准导联位置摆放，以鼻尖为参考，前额叶为地，采样频率1000Hz，采本文档来自技高网...

【技术保护点】
一种基于运动想象脑‑机接口的字符拼写器，其特征是，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成；特征提取模块采用短时傅里叶变换进行提取：一个有限宽度的观察窗W(t)对信号x(t)进行观察，随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征，STFT(t,ω)=∫-∞+∞x(τ)W*(τ-t)e-jωτdτ---(1)]]>其中，ω是角频率，W*(τ‑t)是W(τ‑t)的复共轭函数，τ是积分变量；模式识别模块采用支持向量机SVM进行识别，过程如下：离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的时频特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的在线脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类，每秒输出一个识别结果。

【技术特征摘要】
1.一种基于运动想象脑-机接口的字符拼写器，其特征是，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成；特征提取模块采用短时傅里叶变换进行提取：一个有限宽度的观察窗W(t)对信号x(t)进行观察，随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征，STFT(t,ω)=∫-∞+∞x(τ)W*(τ-t)e-jωτdτ---(1)]]>其中，ω是角频率，W*(τ-t)是W(τ-t)的复共轭函数，τ是积分变量；模式识别模块采用支持向量机SVM进行识别，过程如下：离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的时频特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的在线脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类，每秒输出一个识别结果。2.一种基于运动想象脑-机接口的字符拼写测试方法，其特征是，步骤如下：利用64导联电极帽和脑电放大器采集脑电信号；短时傅里叶变换步骤：首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到，STFT(t,ω)=∫-∞+∞x(τ)W*(τ-t)e-jωτdτ---(1)]]>这里ω是角频率，W*(τ-t)是W(...

【专利技术属性】
技术研发人员：明东，王坤，许敏鹏，綦宏志，何峰，杨佳佳，赵欣，周鹏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12