一种假手柔顺抓取操作的串行多模态脑控方法技术

本发明专利技术公开了一种假手柔顺抓取操作的串行多模态脑控方法，当受试者进行主动表情驱动及场景动画视觉诱发时，脑电采集设备采集侧额叶皮质区F7、F8通道和枕叶区O1、O2通道脑电信号，进行放大和带通滤波预处理。信号处理设备提取预处理后的脑电信号的时频域特征值，并根据串行控制方法判断四种主动表情驱动，产生的脑电信号对应的假手基本动作类型以及由四个不同场景动画视觉诱发画面产生的脑电信号对应的假手基本动作过程的时频域特征值。最后，根据识别结果控制假手完成四种基本动作。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，具体涉及一种假手柔顺抓取操作的串行多模态脑控方法。
技术介绍
脑-机接口技术建立了脑电信号与计算机两者间的直接联系，随着国内外脑-机接口技术的不断发展，脑控技术这一新概念应运而生。“脑控”技术是以脑-机接口技术为基础，通过提取人或动物的脑皮层产生的EEG信号，来推测大脑的思维活动，并将之翻译成相应的命令来控制外围的计算机或其它机电设备，以实现对人或动物的外围设备的意念控制。混合脑控技术是在传统脑控技术的基础上提出的新研究方向，它在单一脑控系统的基础上，加入新的生理电信号，从而得到混合脑控系统。其中，新的生理电信号包括眼电、心电、血流变换等信号模式。混合脑控方法根据其控制顺序的不同可分为串行控制模式和并行控制模式，其中，基于串行模式的混合脑控方法可以实现两种脑电信号的协同控制，增加其控制目标，在提升系统可靠性的同时，减少了系统的误操作。目前，混合脑控技术在残疾人神经功能辅助方面的研究尚处于起步阶段，尤其是在脑控假手技术方面。专利CN201110196026.4公开了一种基于多模态脑机接口的智能轮椅的控制系统，专利CN201110268891.5公开了一种多模态脑机接口的自动车控制方法，上述专利技术专利均未涉及到假手的多模态混合脑控方法。基于此，本专利技术提出了一种假手柔顺抓取操作过程的串行多模态脑控方法与装置，以解决假手柔顺抓取操作过程中脑控系统的连续性、准确性以及可靠性等关键问题。
技术实现思路
本专利技术针对现有脑电信号控制假手方法的基础上，以提高假手柔顺抓取操作过程中脑控系统的正确率为目的，提供了一种假手柔顺抓取操作的串行多模态脑控方法。为达到以上目的，本专利技术的技术方案是这样实现的：一种假手柔顺抓取操作的串行多模态脑控方法，包括下述步骤：1、事先在场景动画视觉诱发模块中植入基于残疾人手喝水过程分解的四个具有连续性的动作场景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉宽调制。所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz。所述的场景动画视觉诱发模块为计算机显示器、电视屏幕、手机或平板电脑之一。2、受试者通过四种主动表情驱动下产生的脑电信号来控制假手完成动作的开始、动作的结束、返回上一个动作、及进入下一个动作的基本动作类型选择；所述提眉对应于假手动作的开始、皱眉对应于假手动作的结束、左撇嘴对应于假手返回上一个动作的转换、右撇嘴对应于假手进行下一个动作的转换。四种主动表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情在驱动过程中至少重复三次；3、受试者通过注视四个不同场景动画视觉诱发画面来控制假手完成四种基本动作过程；4、采集受试者侧额叶皮质区F7、F8通道和枕叶区的O1、O2通道脑电信号；5、对采集到的脑电信号进行放大和带通滤波预处理，所述滤波范围为4-40Hz；6、经带通滤波后的脑电信号包含由主动表情驱动下产生的alpha频带特征信息以及由场景动画视觉诱发画面产生的稳态视觉诱发电位特征信息。采用小波变换模均值的方法提取由主动表情驱动产生的F7、F8通道脑电信号时频域特征，采用快速傅里叶变换的方法提取场景动画视觉诱发产生的O1、O2通道脑电信号时频域特征。7、根据时频域特征值，采用前向反馈神经网络算法，通过串行分析的顺序依次判断假手的四个基本动作类型及四个基本动作过程。所述的串行分析顺序为首先进行由主动表情驱动下产生的脑电信号时频域特征判断假手的基本动作类型；在确定了假手的基本动作类型后，进行由场景动视觉诱发画面产生的脑电信号时频域特征，判断假手的基本动作过程。8、假手控制器根据步骤7的判断结果控制假手完成基本动作类型或基本动作过程。本专利技术针对传统单一范式下脑电信号控制假手，其优越性在于：1、本专利技术采用的串行多模态脑控方法，可有效提高假手脑控系统的信息传输率与准确性，降低了整个系统的误操作率，实现假手完整抓取动作的柔顺控制。2、传统的脑控假手，往往只能实现动作过程的控制，并不能有效的实现假手动作的起、停与动作切换。本专利技术提供的串行多模态脑控方法提供了四个有效的动作类型选择指令与四个有效的动作过程选择指令，这对假手的实时性需求非常重要。附图说明图1脑电采集通道分布图根据场景动画视觉诱发及主动表情驱动产生机理图。图2为基于场景动画视觉诱发的示意图。其中，(a)为手张开示意图；(b)为手抓握示意图；(c)为腕内旋示意图；(d)为腕外旋示意图。每种场景中，左侧为动作场景；中间和右侧分别为经过灰度处理后的两张黑白分明反转色图片。图3为场景动画视觉诱发刺激界面图。其中，(a)为手张开图；(b)为手抓握图；(c)为腕内旋图；(d)为腕外旋图。图4为本专利技术的算法流程图。其中(a)为控制方法流程框图；(b)为控制装置结构框图。具体实施方式下面结合附图及实施例对本专利技术作进一步说明。参考图1、图4(b)，图1中，采集受试者头部枕叶区的O1、O2位置和位于侧额叶皮质区的F7、F8位置脑电信号，选用双侧耳后位置放置参考电极。本专利技术涉及的一种假手柔顺抓取操作的串行多模态脑控装置包括置于受试者头部的脑电信号采集模块310，置于受试者面前的场景动画视觉诱发模块370。优先采用便携化16通道无线脑电采集设备，选取国际标准10/20下位于枕叶区的O1、O2位置与位于侧额叶皮质区的F7、F8位置的脑电信号。脑电信号采集模块对采集到的脑电信号进行放大、滤波之后通过蓝牙传输模块320，将其送入便携化的信号处理模块330。信号处理模块330接收经由通信模块340传来的脑电信号，进行串行多模态脑电信号的识别方法。采用小波变换模均值方法与快速傅里叶变换的方法提取特征值向量，采用BP神经网络方法识别假手的四种基本动作类型与四种基本动作过程。信号处理模块可选用随身携带的嵌入式微处理器。通信模块将识别结果通过蓝牙技术传输给假手的控制驱动模块。假手的控制驱动模块350由电机控制子模块与电机驱动子模块组成。接收经由通信模块传输的假手基本动作类型识别结果。识别结果传给电机控制子模块后转换为0,1电平控制指令传给电机驱动子模块。电机驱动子模块根据电平控制指令，控制假手360完成四种基本动作。如识别结果为本文档来自技高网...

【技术保护点】
一种假手柔顺抓取操作的串行多模态脑控方法，其特征在于，按以下步骤进行：1)事先在场景动画视觉诱发模块中植入基于残疾人手喝水过程分解的四个具有连续性的动作场景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉宽调制，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2‑30Hz；2)受试者通过四种主动表情驱动下产生的脑电信号来控制假手完成动作的开始、动作的结束、返回上一个动作、及进入下一个动作的基本动作类型选择；提眉对应于假手动作的开始、皱眉对应于假手动作的结束、左撇嘴对应于假手返回上一个动作的转换、右撇嘴对应于假手进行下一个动作的转换；所述四种主动表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情在驱动过程中至少重复三次；3)受试者通过注视四个不同场景动画视觉诱发画面来控制假手完成四种基本动作过程；4)采集受试者侧额叶皮质区F7、F8通道和枕叶区的O1、O2通道脑电信号；5)对采集到的脑电信号进行放大和带通滤波预处理，所述滤波范围为4‑40Hz；6)经带通滤波后的脑电信号包含由主动表情驱动下产生的alpha频带特征信息以及由场景动画视觉诱发画面产生的稳态视觉诱发电位特征信息，采用小波变换模均值的方法提取由主动表情驱动产生的F7、F8通道脑电信号时频域特征，采用快速傅里叶变换的方法提取场景动画视觉诱发产生的O1、O2通道脑电信号 时频域特征；7)根据时频域特征值，采用前向反馈神经网络算法，通过串行分析的顺序依次判断假手的四个基本动作类型及四个基本动作过程；8)假手控制器根据步骤(7)的判断结果控制假手完成基本动作类型或基本动作过程。...

【技术特征摘要】
1.一种假手柔顺抓取操作的串行多模态脑控方法，其特征在于，按以下步骤进行：
1)事先在场景动画视觉诱发模块中植入基于残疾人手喝水过程分解的四个具有连续性的动作场景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉宽调制，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz；
2)受试者通过四种主动表情驱动下产生的脑电信号来控制假手完成动作的开始、动作的结束、返回上一个动作、及进入下一个动作的基本动作类型选择；
提眉对应于假手动作的开始、皱眉对应于假手动作的结束、左撇嘴对应于假手返回上一个动作的转换、右撇嘴对应于假手进行下一个动作的转换；
所述四种主动表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情在驱动过程中至少重复三次；
3)受试者通过注视四个不同场景动画视觉诱发画面来控制假手完成四种基本动作过程；
4)采集受试者侧额叶皮质区F7、F8通道和枕叶区的O1、O2通道脑电信号；
5)对采集到的脑电...

【专利技术属性】
技术研发人员：张小栋，李睿，赖知法，张黎明，陆竹风，刘畅，马伟光，尹贵，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61