一种基于图标脑电控制的数字界面交互方法技术

一种基于图标脑电控制的数字界面交互方法，有：图标搜集与处理步骤从多款数字界面搜集图标，运用图形图像处理软件对图标图片处理；获取图标图片的用户计算机功能控制命令步骤包括脑电设备与测试用计算机的通信，测试过程，原始信号离线分析，群组平均脑电信号时域和频域特征的提取和微处理器处理；目标图标图片的脑电信号的时域和频域特征提取步骤；相似度计算和激发目标图标图片的控制指令步骤。本发明专利技术是一种基于图标脑电控制的数字界面交互方法，直接采集人对不同图标图片的脑电信号，依据脑电信号的不同实现了图标对数字界面的脑机交互，提高了数字界面的交互效率。

【技术实现步骤摘要】
—种基于图标脑电控制的数字界面交互方法
本专利技术涉及，属于神经科学与人机交互的交叉领域，为一种全新的数字界面交互方式，采用脑机接口技术实现图标对数字界面的交互和控制，可作为无手操作的新型的数字界面交互方式，适用于残疾人等特殊人群和军事人员。
技术介绍
随着科学技术的发展和进步，数字界面已广泛应用于汽车驾驶、核电厂控制、航空舰载操控、战场指挥等复杂系统领域，并取代传统人-机硬件界面成为主要的功能载体和交互载体。图标是数字界面的重要组成部分，图标的应用可方便用户更快速的理解界面，消除用户与计算机的沟通障碍，使用户与计算机之间的交流更简单、自然、友好和方便。本专利技术中“图标”指数字界面中的功能标识符号。计算机用户界面经历了以符号为主的命令语言式界面、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统界面等四个阶段。人机交互方式也越来越多样化，除了传统的鼠标、键盘之外，语音控制、手势操作、人脸识别、触摸控制等交互方式都在数字界面上得到了不同程度的应用，各项技术正在不断发展、日益成熟。目前,脑机接口(Brain-computer Interface,BCI)已变成一种新型的人机交互方式，BCI通过采集和传送大脑神经系统的电活动信号，然后进行信号处理与模式识别，使计算机能够识别用户的脑电信号，最终完成用户希望的控制行为。脑机接口应用系统主要分为两大类应用:其一是直接用脑电信号控制家电、医疗器材等智能设备，其二是实现`对计算机的控制。本专利技术属于第二种应用，属于视觉诱发事件相关电位的脑机接口，基于图标脑电控制实现对数字界面的交互。
技术实现思路
本专利技术的目的提供了，通过获取数字界面中不同图标的脑电信号特征，依据不同图标脑电信号的差异，实现对数字界面的脑电控制，使得特殊场合和特殊人群的人机交互更加友好方便。—种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤:步骤I图标搜集与处理:从多款数字界面中搜集i个功能图标图片，i=l、2、……、10,运用Photoshop, Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，步骤2获取图标图片的用户计算机功能控制命令:步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信，步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为:将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号@@为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号yi(t)，t为采样时间点且t =1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号yi(t)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号yi(t)进行叠加平均得到; 步骤2.4分别对各图标图片的群组平均脑电信号;^进行时域和频域特征的提取，所述的时域特征万包括均值万、绝对平均幅值5、方差万、均方根值&、峰峰值万、波形因子万峭度因子偏斜度因子万，所述的频域特征忑包括频谱平均振幅g、频谱方差€第一频谱特征频车^和第二频谱特征频车i步骤2.5分别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，步骤3目标图标图片的脑电信号的时域和频域特征提取:将事件相关电位ERP脑电设备与用户计算机连接，用户佩戴由事件相关电位ERP脑电设备中配置的电极帽，观察既定的目标图标图片，使既定的目标图标图片对用户产生1000ms的刺激，使用事件相关电位ERP脑电设备中配置的Scan软件采集受刺激时的用户的原始脑电信号且采样率为500赫兹，对所采集到的受刺激时的用户的原始脑电信号进行预览、去除眼电伪迹、基线矫正及去除伪迹，再对去除伪迹后的脑电信号y/ (t’)进行时域特征1和频域特征提取，所述y/ (t’)为去除伪迹后的受既定的目标图标图片刺激时的脑电信号的表达通式，表示第i个图标图片所对应的既定的目标图标图片的脑电信号，t’为观察既定的目标图标图片时脑电采样时间点，既定的目标图标图片刺激开始为计时零点，且t’ = 2n其中η为既定的目标图标图片刺激原始脑电信号的采样个数且η为[1，500]区间上的整数，所述的时域特征Yi包括均值Υη、绝对平均幅值Yi2、方差Yi3、均方根值Yi4、峰峰值Yi5、波形因子Yi6、峭度因子Yi7和偏斜度因子Yi8，所述的频域特征Si包括频谱平均振幅sn、频谱方差Si2、第一频谱特征频率Si3和第二频谱特征频率si4，步骤4相似度计算和激发目标图标图片的控制指令:计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的时域特征Yi与相对应的图标图片的群组平均脑电信号的时域特征$的时域相似度A，再计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的频域特征Si与相对应的图标图片的群组平均脑电信号的频域特征$的频域相似度B，若时域相似度A及频域相似度B都大于90%，则激发既定目标图标图片的控制指令，实现图标诱发脑电信号对界面的控制，所述的i指第i个图标图片。与现有技术相比，本专利技术具有如下优点:本专利技术首次将图标认知的相关神经信号应用于数字界面之中，是一种全新范式下的脑-机接口。与传统的人机交互方法相比，本专利技术不需要任何语言和动作，直接通过图标交互实现对数字界面的脑电控制，因此，适用于残疾人等特殊人群，也可用于正常人不便本文档来自技高网...

【技术保护点】
一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤：步骤1图标搜集与处理：从多款数字界面中搜集i个功能图标图片，i=1、2、……、10，运用Photoshop，Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片，步骤2获取图标图片的用户计算机功能控制命令：步骤2.1将事件相关电位ERP脑电设备与装载E‑prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E‑prime软件的测试用计算机的通信，步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为：将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留，步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号，所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号yi(t)，t为采样时间点且t＝1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号yi(t)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号yi(t)进行叠加平均得到步骤2.4分别对各图标图片的群组平均脑电信号进行时域和频域特征的提取，所述的时域特征包括均值绝对平均幅值方差均方根值峰峰值波形因子峭度因子和偏斜度因子所述的频域特征包括频谱平均振幅频谱方差第一频谱特征频率和第二频谱特征频率步骤2.5分别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，步骤3目标图标图片的脑电信号的时域和频域特征提取：将事件相关电位ERP脑电设备与用户计算机连接，用户佩戴由事件相关电位ERP脑电设备中配置的电极帽，观察既定的目标图标图片，使既定的目标图标图片对用户产生1000ms的刺激，使用事件相关电位ERP脑电设备中配置的Scan软件采集受刺激时的用户的原始脑电信号且采样率为500赫兹，对所采集到的受刺激时的用户的原始脑电信号进行预览、去除眼电伪迹、基线矫正及去除伪迹，再对去除伪迹后的脑电信号yi'(t')进行时域特征Yi和频域特征Si的提取，所述yi'(t')为去除伪迹后的受既定的目标图标图片刺激时的脑电信号的表达通式，表示第i个图标图片所对应的既定的目标图标图片的脑电信号，t'为观察既定的目标图标图片时脑电采样时间点，既定的目标图标图片刺激开始为计时零点，且t'＝2n其中n为既定的目标图标图片刺激原始脑电信号的采样个数且n为[1，500]区间上的整数，所述的时域特征Yi包括均值Yi1、绝对平均幅值Yi2、方差Yi3、均方根值Yi4、峰峰值Yi5、波形因子Yi6、峭度因子Yi7和偏斜度因子Yi8，所述的频域特征Si包括频谱平均振幅Si1、频谱方差Si2、第一频谱特征频率Si3和第二频谱特征频率Si4，步骤4相似度计算和激发目标图标图片的控制指令：计算去除伪迹后的受既定的目标图标图片刺激时的脑电信号的时域特征Yi与相对应的图标图片的群组平均脑电信号的时域特征的时域相似度A，再计算去除伪迹后的受既定 的目标图标图片刺激时的脑电信号的频域特征Si与相对应的图标图片的群组平均脑电信号的频域特征的频域相似度B，若时域相似度A及频域相...

【技术特征摘要】
1.一种基于图标脑电控制的数字界面交互方法，其特征在于，包括以下步骤: 步骤I图标搜集与处理:从多款数字界面中搜集i个功能图标图片，i=l、2、……、.10,运用Photoshop, Illustrator或Coreldraw图形图像处理软件对图标图片处理，得到面积和像素均为48px*48px的png格式的图标图片，将png格式的图标图片放入面积为.1024px*768px的白色背景图片中央，生成文件格式为bmp的图标图片， 步骤2获取图标图片的用户计算机功能控制命令: 步骤2.1将事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机连接，以实现事件相关电位ERP脑电设备与装载E-prime软件的测试用计算机的通信， 步骤2.2选取20名被试者，每名被试者对张图标图片均进行10次重复测试，每张图标图片获得200个测试样本并将200个测试样本组成一个群组，所述测试的过程为:将一张测试图像呈现在被试者的面前并对被试者的视觉形成刺激，使用佩戴在被试者头上的由事件相关电位ERP脑电设备中配置的电极帽以及Scan软件采集被试者对所述一张测试图像的刺激时段的原始脑电信号且采样率为500赫兹，遍历所有单张测试图像，得到被试者对所有测试图像的刺激时段的原始脑电信号，所述一张测试图像的呈现包括提示阶段、图标图片视觉刺激呈现阶段及空屏阶段，在提示阶段，屏幕中央将呈现面积为32px*32px黑色十字叉，呈现1000ms后消失，该阶段被试者需集中注意力；在图标图片视觉刺激呈现阶段，屏幕中央将呈现面积为48px*48px的任一单张图标图片，被试者仔细观察任一单张图标图片，呈现1000ms后消失；在空屏阶段，屏幕呈现白色空屏，呈现时间1000ms，以消除被试者的视觉残留， 步骤2.3用Scan软件对原始脑电信号离线分析，所述离线分析包括对各原始脑电信号进行预处理和各群组叠加平均，获取各图标图片的群组平均脑电信号@@为图标图片的群组平均脑电信号的表达通式，表示第i个图标图片的群组平均脑电信号， 所述预处理是分别对各个原始脑电信号进行预览和去除眼电伪迹，再对原始脑电信号进行分段提取，得到第i图标图片视觉刺激原始脑电信号yi(t)，t为采样时间点且t =1000+2m，m为图标图片视觉刺激原始脑电信号的采样个数且m为[1，500]区间上的整数，最后对图标图片视觉刺激原始脑电信号yjt)进行基线矫正及去除伪迹，所述群组叠加平均是分别对20名被试者的10次测试所得的去除伪迹后的图标图片视觉刺激原始脑电信号Yi (t)进行叠加平均得到 步骤2.4分别对各图标图片的群组平均脑电信号;^进行时域和频域特征的提取，所述的时域特征7包括均值E、绝对平均幅值 方差5、均方根值f峰峰值F波形因子&、峭度因子f和偏斜度因子I，所述的频域特征g包括频谱平均振幅g、频谱方差Sn、第一频谱特征频率4和第二频谱特征频率-S1i4， 步骤2.5分 别将已提取的各图标图片的群组平均脑电信号的时域特征值和频域特征值，送入微处理器处理，转换为用户计算机可识别的数字信号，并通过USB或其它通用输入端口送入用户计算机的控制信号输入端，作为相应图标图片的用户计算机的功能控制命令，存储于用户计算机的图标激发命令模块，步骤3目...

【专利技术属性】
技术研发人员：薛澄岐，牛亚峰，王海燕，李晶，陈默，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32