由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法技术

本发明专利技术公开了一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法。以100ms脑电信号为单次信号源，首先利用肌电伪迹能量占比进行脑控微表情属性判定。其次执行脑控状态启/停脑控微表情检测及其有效性判定，判定为真性脑控微表情后启动脑控状态，进入脑控状态后，判定脑控微表情属性后进行脑控微表情识别及其有效性判定，判定为真性脑控微表情后生成脑控指令用于控制被控对象或停止脑控状态。本发明专利技术基于脑控微表情实现脑控状态启/停及8种被控对象动作操作，有效提高了脑控方法的实时性、灵活性与精确性，并增加异步脑控接口检测及脑控微表情有效性判定，提高脑控方法的实用价值，能广泛应用于多种脑控系统中。

【技术实现步骤摘要】
由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法
本专利技术涉及脑-机接口
，具体涉及一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法。
技术介绍
脑-机接口(BrainComputerInterface,BCI)技术，即以使用者脑电信号为信号源，利用先进的计算机信息处理技术实现对使用者意图的解码，避开使用者可能受损的外周神经/肌肉系统，建立使用者意识与外设间的直接通信。其在康复医疗、高危操作、游戏娱乐、航天军事等领域均具有重大的应用价值。传统脑-机接口多基于稳态视觉诱发(SteadyStateVisualEvokedPotential,SSVEP)及运动想象(MotorImagery,MI)范式实现，其中SSVEP具有正确率高、可识别类目多的优点，但由于其范式原理制约，需要附加的视觉刺激器及视觉刺激时间，在脑控问题上存在设备冗余和响应实时性受限的问题；MI具有符合人脑自发脑电产生过程的优点，但由于想象运动的执行难度，需要额外的受试者适应时间，在脑控问题上存在用户友好性低和可识别类目受限的问题。且现有研究多基于同步脑-机接口展开，即仅允许使用者在系统设定的特定时间段发送指令，无法提供使用者自主支配发送控制指令时间的权限，在实际脑控问题上应用受限。为解决上述传统脑-机接口设备冗余、用户友好性低的问题，中国专利201510423224、中国专利201510423398等均公开了基于表情驱动型脑-机接口范式的脑控方法。其所涉及的表情驱动型脑控方法，在表情动作方面，未考虑其在实际应用过程中与其余日常面部表情的区别，及用户使用过程的美观程度；在脑电信号通道选择方面仅包括前额叶皮质与边缘系统，忽略了面部表情作为一种面部肌肉动作在大脑运动皮质的信息表达；在所提供的脑控表情动作方面，仅适用于4种以内控制目标的操作，控制目标数有限；在脑控接口的工作过程中，未引入异步脑控接口，无法实现使用者脑控状态的自主启动/停止，缺少实际应用价值。以上基于脑-机接口技术所衍生的脑控方法，现阶段均不同程度的存在实时性低(控制指令输出频率低)、附加刺激器冗余、异步脑-机接口(脑控接口)功能缺失、用户友好性低等问题。
技术实现思路
本专利技术针对现有脑控方法存在的问题，提出了一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法。为达到以上目的，本专利技术采用了以下技术方案：一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，包括以下步骤：第一阶段——启动脑控状态根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，若识别到的有效脑控微表情(本专利技术称之为真性脑控微表情)为脑控状态启/停脑控微表情，则进入脑控状态；第二阶段——脑控状态下异步实时控制在脑控状态下，根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，根据识别到的与被控对象控制指令匹配的有效脑控微表情控制被控对象动作，或根据识别到的有效的脑控状态启/停脑控微表情停止脑控状态。优选的，所述脑电信号的采样周期为100～150ms。优选的，所述脑电信号的采集通道包括大脑前额叶皮质、大脑边缘系统及大脑运动皮质通道位置(例如F7、F8、FC5、FC6、FCz、C3、C4和Cz)。优选的，以在单个采样周期获得的脑电信号为信号源，计算该信号源中大脑前额叶皮质通道(例如F7和F8)信号的肌电伪迹能量占比，当该能量占比处于一定阈值区间内时(该阈值区间可由使用者自行调整)，则判断使用者面部表情为脑控微表情。大脑前额叶皮质区域由于距离人面部肌肉较近，故而以该区域信号的肌电伪迹能量占比，确定是否属于脑控微表情。优选的，所述脑控微表情选自提眉、皱眉、左撇嘴、右撇嘴、微笑、嘟嘴、张嘴、咬牙或静息，各脑控微表情根据利用脑电信号预先生成的分类模型进行识别。优选的，所述有效性判定中，若脑控微表情在连续n个脑电信号采样周期的识别结果保持一致(n由使用者设定)，则判断为有效的脑控微表情，并生成相对应的脑控指令(控制被控对象动作的控制指令或者被控对象脑控状态启/停指令)。本专利技术根据上述脑控方法还提出了一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控系统，包括脑电信号采集模块、脑电信号数据客户端以及被控对象，所述脑电信号数据客户端包括脑电信号源模块、脑控微表情属性判定模块、真性脑控微表情判定模块及脑控指令生成和发送模块，所述脑电信号源模块用于接收脑电信号采集模块周期性采集的使用者脑电信号，所述脑控微表情属性判定模块用于根据所述脑电信号确定使用者所做出的面部表情中的脑控微表情，所述真性脑控微表情判定模块用于对使用者做出的脑控微表情进行类型识别以及确定所识别的脑控微表情的有效性，所述脑控指令生成和发送模块用于比对及匹配有效的脑控微表情所对应的脑控指令并将该指令发送至被控对象。本专利技术的有益效果体现在：本专利技术在表情驱动型脑-机接口范式的基础上，从脑控方法的实用化角度出发，以操作过程中使用者面部微表情动作下的脑电信号为信号源，使用者根据被控对象操作目标，做出相应脑控微表情，不仅实现脑控状态下对于被控对象的异步实时控制，而且增加了被控对象的可用脑控指令数量，从而提高了脑控操作的实时性、灵活性与精确性。进一步的，本专利技术所述脑控微表情较传统脑控表情弱化了面部表情的动作幅度，便于使用者日常操作，且提供更多可供操作的表情类别。进一步的，本专利技术增加异步脑控接口检测(异步脑控接口脑控状态启动检测及脑控状态下脑控微表情检测)、脑控微表情幅度调节(肌电伪迹能量占比处于一定阈值区间内时，肌电伪迹能量占比高，则微表情动作幅度大；肌电伪迹能量占比低，则微表情动作幅度小)及脑控微表情有效性判定环节，提高脑控方法的实用价值，有效提高了脑控操作的稳定性，能广泛应用于多种脑控系统中。进一步的，本专利技术中脑控指令信号源由采样周期(100～150ms)较短的微表情脑电信号构成，显著缩短了脑控信号源时长，有效提高了脑控操作的实时性。附图说明图1为本专利技术实施例中的异步实时脑控系统示意图。图2为本专利技术实施例中脑电信号采集模块的电极布置位置示意图。图3为本专利技术实施例中脑控微表情的示意图；其中，(a)为提眉、(b)为皱眉、(c)为左撇嘴、(d)为右撇嘴、(e)为微笑、(f)为嘟嘴、(g)为张嘴、(h)为咬牙、(i)为静息状态；为展示需要，加强微表情动作幅度，咬牙进行张嘴演示。图4为本专利技术实施例中基于弱肌电伪迹微表情脑电信号驱动的异步实时脑控算法流程图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。所述实施例仅用于解释说明本专利技术的技术构思及特点，并不能以此实施例来限制本专利技术的保护范围。图1以实例方式展示了一种由脑控微表情驱动的异步实时脑控系统，该系统包括脑电信号采集模块、脑电信号数据客户端以及被控对象。其中，脑电信号采集模块包括使用者佩戴的脑电信号采集设备，其脑电帽通道位置布置符合国际10-20标准，采集的多通道脑电信号(100msEEG)可经由局域网传输至脑电信号数据客户端；脑电信号数据客户端利用计算机接收脑电信号采样数据，并通过微表情式脑控程序完成脑电信号数据处理工作，微表情式脑控程序基于Matlab平台，其根据本专利技术提出本文档来自技高网...

【技术保护点】
1.一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：包括以下步骤：1)启动脑控状态根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，若识别到的有效脑控微表情为脑控状态启/停脑控微表情，则进入脑控状态；2)脑控状态下异步实时控制在脑控状态下，根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，根据识别到的与被控对象控制指令匹配的有效脑控微表情控制被控对象动作，或根据识别到的有效的脑控状态启/停脑控微表情停止脑控状态。

【技术特征摘要】
1.一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：包括以下步骤：1)启动脑控状态根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，若识别到的有效脑控微表情为脑控状态启/停脑控微表情，则进入脑控状态；2)脑控状态下异步实时控制在脑控状态下，根据脑电信号的肌电伪迹判定使用者面部表情的属性，若所述面部表情属于脑控微表情，则对该面部表情进行脑控微表情识别及有效性判定，根据识别到的与被控对象控制指令匹配的有效脑控微表情控制被控对象动作，或根据识别到的有效的脑控状态启/停脑控微表情停止脑控状态。2.根据权利要求1所述一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：所述脑电信号的采样周期为100～150ms。3.根据权利要求1或2所述一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：所述脑电信号的采集通道包括大脑前额叶皮质、大脑边缘系统及大脑运动皮质通道位置。4.根据权利要求1或2所述一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：以在单个采样周期获得的脑电信号为信号源，计算该信号源中大脑前额叶皮质通道信号的肌电伪迹能量占比，当该能量占比处于一定阈值区间内时，则判断使用者面部表情为脑控微表情。5.根据权利要求4所述一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：所述阈值区间由使用者在5％～50％范围内指定。6.根据权利要求1所述一种由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法，其特征在于：所述脑控微表情选自提眉、皱眉、左撇嘴、右撇嘴、微笑、...

【专利技术属性】
技术研发人员：张小栋，陆竹风，李瀚哲，孙晓峰，张腾，李睿，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61