一种基于混合脑机接口的多功能字符输入系统技术方案

本发明专利技术公开了一种基于混合脑机接口的多功能字符输入系统，包括：混合脑电信号刺激模块，用于刺激产生P300和SSVEP的混合脑电信号，主要是进行中、英文字符和功能键的视觉刺激；脑电信号处理模块，主要进行用户的实时脑电数据采集并对脑电数据进行预处理、特征提取、信号分类；异步控制模块，用于系统的状态切换，基于EOG进行异步控制，可在字符输入状态和空闲状态进行随时切换；中英文字符输入模块，采用P300+SSVEP的混合脑电方法进行字符的输入选择，采用汉语拼英进行中文字符拼写，还可进行英文字符的拼写。本发明专利技术采用基于混合脑电的方法进行中英文字符输入，可有效提高中英文字符的输入准确率和效率，同时还可对使用者的意识状态进行检测。状态进行检测。状态进行检测。

A multifunctional character input system based on hybrid brain computer interface

【技术实现步骤摘要】
一种基于混合脑机接口的多功能字符输入系统


[0001]本专利技术涉及脑机接口的
，尤其是指一种基于混合脑机接口的多功能字符输入系统。

技术介绍

[0002]脑机接口技术可将脑电信息转化为具体的指令信息，在大脑思维、意识受到外界的视觉刺激时，人脑的神经系统可产生相应的脑电活动变化。可通过采集脑电信息，经过信息处理可以转化为具体的识别指令，从而实现人的大脑与外界进行交互的功能。采用脑机接口技术可以直接检测到使用者的脑电信息，不需要使用者进行肢体活动即可进行字符输入，从而能够与外界进行交流。
[0003]目前基于脑机接口的字符输入系统，存在很多问题。在传统的脑机接口字符输入系统的研究中，主要集中在英文和数字的输入方法。英文字符输入功能单一，只能是以字母或英文单词的形式呈现。对于不熟悉英文的使用者来说，这无疑是一个阻碍。而且，以往的字符输入系统很多采用的是单一的脑机接口技术，在字符识别准确率和识别速度上还有待提高，而混合脑机接口能够有效的提高这些性能指标。在字符输入中的范式设计中，主要是以行列矩阵为主，在刺激时间上较长，效率较低。在同步字符输入脑机接口中，字符输入的指令和控制指令是由程序设定好的，使用者需要按照对应的时间间隔进行字符输入。在输入任务中，使用者会出现疲劳状态，但是无法停止输入过程，造成输入准确率降低。不能够决定输入状态和空闲状态，具体的应用中不够灵活。对于一些重症患者的康复治疗中，无法知道其意识状态，对于康复治疗来说造成了一定的干扰。
[0004]针对以上问题，本文专利技术了一种基于混合脑机接口的多功能字符输入系统。可以为这些人群提供一个中文交流互动的平台，极大的方便了使用者、家人和护理人员。对于使用者的康复治疗也有促进作用。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于混合脑机接口的多功能字符输入系统，通过SSVEP脑电信号与P300脑电信号混合的方式进行字符的识别输入，采用EOG进行异步状态转换，让特定人群能够采用该系统进行中文文字进行异步交互，还可对特定人群进行意识状态的检测。
[0006]为实现上述目的，本专利技术所提供的技术方案为：一种基于混合脑机接口的多功能字符输入系统，包括：
[0007]混合脑电信号刺激模块，用于刺激产生P300和SSVEP的混合脑电信号，并对脑电信号数据采集和保存；
[0008]脑电信号处理模块，用于脑电信号采集后的数据预处理、特征提取和信号分类；
[0009]异步控制模块，用于系统输入状态与空闲状态的切换，基于EOG进行异步控制；
[0010]中英文字符输入模块，用于根据混合脑电信号的分类识别结果进行中、英文字符
的输入显示。
[0011]进一步，所述混合脑电信号刺激模块包含SSVEP刺激范式模块和P300刺激范式模块，其中：
[0012]所述SSVEP刺激范式模块用于一级区域字符选择，SSVEP刺激范式以R行C列的形式均匀分布尺寸和样式相同的刺激区域，分别有英文字符刺激区域、功能键刺激区域和数字刺激区域，这些刺激区域之间的行距和列距分别保持相同，其中1<＝R<＝8,取整数，1<＝C<＝8,取整数；在每个英文字符刺激区域中能够包含N个英文字符，1<＝N<＝8,取整数，英文字符的排列按照字母表顺序；在功能键刺激区域中显示为shift文本，该刺激区域能够根据系统功能，设置为不同的功能键；在数字刺激区域中，每个刺激区域中只包含一个整数数字，数字为0到9的整数，数字刺激区域不相邻；所有刺激区域以不同的固定频率进行闪烁，频率的设置范围在8
‑
15Hz,任意频率之间倍数频率不能相同，当用户注视某一个刺激区域，则会产生所注视的刺激区域的SSVEP脑电信号，产生SSVEP脑电信号后即进行保存；
[0013]所述P300刺激范式模块用于二级区域字符选择，P300刺激区域以M行N列的形式均匀分布尺寸和样式相同的刺激区域，其中1<＝M<＝8,取整数，1<＝N<＝8,取整数，每个刺激区域之间的行距和列距分别保持相同；在进行二级区域字符选择时，用户注视某一刺激区域，每个刺激区域闪烁一次后，即可产生对应的P300脑电信号，并对脑电信号进行保存。
[0014]进一步，所述脑电信号处理模块包含P300脑电信号处理模块和SSVEP脑电信号处理模块；
[0015]所述P300脑电信号处理模块和SSVEP脑电信号处理模块的处理过程相同，包含以下步骤：
[0016]1)脑电信号预处理，采用了变换域自适应滤波算法；在P300和SSVEP刺激范式中产生了P300或SSVEP脑电信号后，对采集到的脑电信号使用变换域自适应滤波算法进行滤波处理；设计一个N阶滤波器，N为阶数。定义n为时刻；定义X(n)为n时刻的输入向量；定义W(n)为n时刻N阶变换域自适应滤波的参数矩阵；定义y(n)为n时刻的滤波输出信号；定义d(n)为n时刻的期望输出信号；定义e(n)为n时刻的误差信号。
[0017]X(n)＝[x(n),x(n+1),
…
,x(n
‑
N+1)]T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]W(n)＝[w0(n),w1(n),
…
,w
N
‑1(n)]T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0019]其中，x(j)为n时刻的对应的输入值，j＝n,n+1,
…
,n
‑
N+1；w
i
(n)为n时刻的第i个权值，i＝0,1,
…
N
‑
1；T表示转置；N阶滤波器的输出为：
[0020]y(n)＝W(n)
T
X(n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0021]滤波器的误差信号为：
[0022]e(n)＝d(n)
‑
y(n)＝d(n)
‑
W(n)
T
X(n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0023]根据最小均方差准则，定义最小化目标函数为J(W),W为参数矩阵W(n)的简写；
[0024]J(W)＝E{|e(n)|2}＝E{|d(n)
‑
W(n)
T
X(n)|2}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0025]对J(W)对W求导，令导数为0可得：
[0026][0027]其中为求导符号，经过式(6)的求导可得最适应W；经过变换域自适应滤波算法的脑电信号用于脑电信号特征提取中；
[0028]2)采用快速傅里叶变换对经过变换域自适应滤波算法得到的脑电信号进行特征
提取，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合脑机接口的多功能字符输入系统，其特征在于，包括：混合脑电信号刺激模块，用于刺激产生P300和SSVEP的混合脑电信号，并对脑电信号数据采集和保存；脑电信号处理模块，用于脑电信号采集后的数据预处理、特征提取和信号分类；异步控制模块，用于系统输入状态与空闲状态的切换，基于EOG进行异步控制；中英文字符输入模块，用于根据混合脑电信号的分类识别结果进行中、英文字符的输入显示。2.根据权利要求1所述的一种基于混合脑机接口的多功能字符输入系统，其特征在于：所述混合脑电信号刺激模块包含SSVEP刺激范式模块和P300刺激范式模块，其中：所述SSVEP刺激范式模块用于一级区域字符选择，SSVEP刺激范式以R行C列的形式均匀分布尺寸和样式相同的刺激区域，分别有英文字符刺激区域、功能键刺激区域和数字刺激区域，这些刺激区域之间的行距和列距分别保持相同，其中1<＝R<＝8,取整数，1<＝C<＝8,取整数；在每个英文字符刺激区域中能够包含N个英文字符，1<＝N<＝8,取整数，英文字符的排列按照字母表顺序；在功能键刺激区域中显示为shift文本，该刺激区域能够根据系统功能，设置为不同的功能键；在数字刺激区域中，每个刺激区域中只包含一个整数数字，数字为0到9的整数，数字刺激区域不相邻；所有刺激区域以不同的固定频率进行闪烁，频率的设置范围在8
‑
15Hz,任意频率之间倍数频率不能相同，当用户注视某一个刺激区域，则会产生所注视的刺激区域的SSVEP脑电信号，产生SSVEP脑电信号后即进行保存；所述P300刺激范式模块用于二级区域字符选择，P300刺激区域以M行N列的形式均匀分布尺寸和样式相同的刺激区域，其中1<＝M<＝8,取整数，1<＝N<＝8,取整数，每个刺激区域之间的行距和列距分别保持相同；在进行二级区域字符选择时，用户注视某一刺激区域，每个刺激区域闪烁一次后，即可产生对应的P300脑电信号，并对脑电信号进行保存。3.根据权利要求1所述的一种基于混合脑机接口的多功能字符输入系统，其特征在于：所述脑电信号处理模块包含P300脑电信号处理模块和SSVEP脑电信号处理模块；所述P300脑电信号处理模块和SSVEP脑电信号处理模块的处理过程相同，包含以下步骤：1)脑电信号预处理，采用了变换域自适应滤波算法；在P300和SSVEP刺激范式中产生了P300或SSVEP脑电信号后，对采集到的脑电信号使用变换域自适应滤波算法进行滤波处理；设计一个N阶滤波器；定义n为时刻；定义X(n)为n时刻的输入向量；定义W(n)为n时刻N阶变换域自适应滤波的参数矩阵；定义y(n)为n时刻的滤波输出信号；定义d(n)为n时刻的期望输出信号；定义e(n)为n时刻的误差信号；X(n)＝[x(n),x(n+1),
…
,x(n
‑
N+1)]
T
ꢀꢀꢀꢀꢀ
(1)W(n)＝[w0(n),w1(n),
…
,w
N
‑1(n)]
T
ꢀꢀꢀꢀꢀꢀ
(2)其中，x(j)为n时刻的对应的输入值，j＝n,n+1,
…
,n
‑
N+1；w
i
(n)为n时刻的第i个权值，i＝0,1,
…
N
‑
1；T表示转置；N阶滤波器的输出为：y(n)＝W(n)
T
X(n)
ꢀꢀꢀꢀꢀꢀ
(3)滤波器的误差信号为：e(n)＝d(n)
‑
y(n)＝d(n)
‑
W(n)
T
X(n)
ꢀꢀꢀꢀꢀ
(4)根据最...

【专利技术属性】
技术研发人员：贺霖，邬文静，李远清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：