一种假手完整抓取操作的并行多模态脑控方法技术

本发明专利技术公开一种假手完整抓取操作的并行多模态脑控方法，在现有脑电信号控制智能假手方法的基础上，综合利用了基于场景动画视觉诱发及表情驱动脑控范式的可靠性，以提高假手完整抓取操作的正确率。以受试者注视不同场景动画视觉诱发下产生的脑电信号及不同表情驱动时产生的脑电信号同时作为控制信息源，通过提高不同类别脑电信号间的个体差异性，实现假手的精密性控制，进一步提高了脑控假手系统的准确率与信息传输率。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，具体涉及一种假手完整抓取操作的并行多模态脑控方法。
技术介绍
随着我国经济的不断发展，各类残疾人总量和占总人口比例都有所上升，其中因为截肢、肌萎缩性脊髓侧索硬化症(AmyotrophicLateralSclerosis，ALS)等缺乏肢体行动能力或肌肉控制能力的残疾人数量众多，其家庭在照顾护理上往往投入了大量的人力与财力。近年来，基于脑电控制源的假手控制策略逐渐被人们所采用。它将脑电信号作为驱动假手动作的信号源，建立两者间的直接联系，从而帮助一些例如脊髓或外周神经受损而中枢神经系统完好的残疾人获得能够与外界进行交流的能力，不仅符合国家政策，也将减轻社会的负担，必将产生巨大的经济效益。混合脑控技术是在传统脑机接口技术上提出的新研究方向，它在传统的单一范式的脑机接口中，加入新的生理电信号，从而得到混合脑控系统。其中，新的生理电信号包括眼电、心电、血流变换等信号模式。混合脑控方法按其混合的方式可分为并行模式和串行模式。其中，基于并行模式的混合脑控方法可以实现两种脑电信号的协同控制策略，在增加了系统可靠性的同时，提高了整个系统的控制精度。由于目前国内学者还停留在用单一范式下的脑电信号作为智能假手的控制源，并未对基于混合脑控技术下的假手控制技术进行深入的研究。因此，本专利技术根据场景动画视觉诱发脑控范式与表情驱动脑控范式下脑电信号特征的不同，提出了一种假手完整抓取操作的并行多模态脑控方法，通过加强不同类别脑电信号间的各体差异性，以解决智能假手完整抓取操作脑控系统的正确率、信息传输率、可靠性等关键问题。
技术实现思路
本专利技术的目的在于克服上述现有技术不足，在现有脑电信号控制智能假手方法的基础上，综合利用了基于场景动画视觉诱发及表情驱动脑控范式的可靠性，以提高假手完整抓取操作的正确率为目的，提供了一种假手完整抓取操作的并行多模态脑控方法。为达到以上目的，本专利技术是采取如下技术方案予以实现的：一种假手完整抓取操作的并行多模态脑控方法，包括下述步骤：(1)为受试者佩戴脑电采集模块，其中所有电极均处于国际10/20系统的标准位置，根据场景动画视觉诱发脑电信号产生机理采集大脑皮层枕叶区O1、O2通道的脑电信号，根据表情驱动脑电信号产生机理采集侧额叶皮质区F7、F8通道的脑电信号。(2)事先在场景动画视觉诱发模块中植入由一残疾人日常喝水简易操作同时进行四种不同表情驱动的全过程，分解得到的四个具有连续性的动作场景图像。其中，每一个图像中残疾人面部呈现一种不同表情，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发。所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz。所述的由分解得到的四个具有连续性的动作场景图像分别定义为场景动画一、场景动画二、场景动画三、场景动画四；所述四种不同表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴。其中，提眉出现在场景动画一中；皱眉出现在场景动画二中；左撇嘴出现在场景动画三中；右撇嘴出现在场景动画四中。(3)受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来表达控制意图。脑电采集模块同时提取受试者的O1、O2、F7、F8四通道脑电信号后进行离线分析。(4)首先，脑电采集模块对采集到的O1、O2、F7、F8四通道脑电信号经放大、滤波预处理后，经由蓝牙模块，无线传输给信号处理模块，信号处理模块采用功率谱密度方法对四通道脑电信号进行频谱分析,提取alpha频带的能量谱密度值。计算场景动画视觉诱发同时进行表情驱动下，由场景动画视觉诱发产生的O1、O2通道脑电信号alpha频带的能量谱密度及由表情驱动产生的F7、F8通道脑电信号alpha频带的能量谱密度比重权值ω。其次，采用并行控制方法，根据场景动画稳态视觉诱发及表情驱动脑控范式下产生的脑电信号特性，通过功率谱密度方法同时提取四通道alpha频带的时频域特征值。其中，场景动画视觉诱发脑电信号alpha频带的时频域特征提取算法为快速傅里叶变换；表情驱动脑电信号alpha频带的时频域特征提取算法为小波变换模均值。(5)根据步骤(4)计算得到的权值ω确定两种不同脑控范式下产生的特征脑电信号的训练样本数，并将其输入BP神经网络分类器中进行训练；(6)样本训练完成后，受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来表达控制意图，脑电采集模块同时提取受试者的O1、O2、F7、F8四通道脑电信号后，返回步骤(4)，进行在线目标识别,根据步骤(5)的训练结果与所提取的脑电特征信号采用BP神经网络进行在线分类；(7)由步骤(6)得到的识别结果经通信模块无线传输给假手臂筒内的驱动控制模块，驱动控制模块控制假手本体模块完成基本动作。上述方法中，所述四种表情分别为提眉、皱眉、左撇嘴、右撇嘴，每次驱动时每种表情至少重复3次。所述提眉与场景动画一控制假手张开；皱眉与场景动画二控制假手抓握；左撇嘴与场景动画三控制假手腕关节内旋；右撇嘴与场景动画四控制假手腕关节外旋。本专利技术针对传统单一范式下脑电信号控制假手，其优越性在于：针对单一范式下的脑控假手方法，本专利技术提出来一种假手完整抓取操作的并行多模态脑控方法，以受试者注视不同场景动画视觉诱发下产生的脑电信号及不同表情驱动时产生的脑电信号同时作为控制信息源，通过提高不同类别脑电信号间的个体差异性，实现假手的精密性控制，进一步提高了脑控假手系统的准确率与信息传输率。附图说明图1为本专利技术脑电采集模块的布置示意图。图2为基于场景动画视觉诱发的示意图。其中(a)假手张口与提眉场景示意图；(b)假手抓握与皱眉场景示意图；(c)假手腕内旋与左撇嘴场景示意图；(d)假手腕外旋与右撇嘴场景示意图。每种场景中，左侧为动作场景；中间和右侧分别为经过灰度处理后的两张黑白分明反转色图片；图3为智能假手的场景动画视觉诱发的刺激界面图。图4为本专利技术的控制系统原理图。其中(a)为控制方法流程框图；(b)为控制装置结构框图。具体实施方式一种基于假手完整抓取操作的并行多模态脑控假手装置,包括：佩戴于受试者者头部的脑电信号采集模块，置于受试者腰部的便携化信号处理模块，假手驱动控制模块，假手本体模块，蓝牙传输模块，通信模块以及置于受试者可视范围之内的场本文档来自技高网...

【技术保护点】
一种假手完整抓取操作的并行多模态脑控方法，其特征在于，包括下述步骤：(1)为受试者佩戴脑电采集模块，其中所有电极均处于国际10/20系统的标准位置，根据场景动画视觉诱发脑电信号产生机理采集大脑皮层枕叶区O1、O2通道的脑电信号，根据表情驱动脑电信号产生机理采集侧额叶皮质区F7、F8通道的脑电信号；(2)事先在场景动画视觉诱发模块中植入由一残疾人日常喝水简易操作同时进行四种不同表情驱动的全过程，分解得到的四个具有连续性的动作场景图像，其中，每一个图像中残疾人面部呈现一种不同表情，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2‑30Hz；所述的由分解得到的四个具有连续性的动作场景图像分别定义为场景动画一、场景动画二、场景动画三、场景动画四；所述四种表情分别为提眉、皱眉、左撇嘴、右撇嘴，其中，提眉出现在场景动画一中；皱眉出现在场景动画二中；左撇嘴出现在场景动画三中；右撇嘴出现在场景动画四中；(3)受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来表达控制意图，脑电采集模块同时提取受试者的O1、O2、F7、F8四通道脑电信号后进行离线分析；(4)首先，脑电采集模块对采集到的O1、O2、F7、F8四通道脑电信号经放大、滤波预处理后，经由蓝牙模块，无线传输给信号处理模块，信号处理模块采用功率谱密度方法对四通道脑电信号进行频谱分析,提取alpha频带的能量谱密度值，计算场景动画视觉诱发同时进行表情驱动下，由场景动画视觉诱发产生的O1、O2通道脑电信号alpha频带的能量谱密度值及由表情驱动产生的F7、F8通道脑电信号alpha频带的能量谱密度值的比重权值ω；其次，采用并行控制方法，根据场景动画稳态视觉诱发及表情驱动脑控范式下产生的脑电信号特征，通过功率谱密度方法同时提取四通道alpha频带的时频域特征值，其中，场景动画视觉诱发脑电信号alpha频带的时频域特征提取算法为快速傅里叶变换；表情驱动脑电信号alpha频带的时频域特征提取算法为小波变换模均值；(5)根据步骤(4)计算得到的权值ω确定两种不同脑控范式下产生的特征脑电信号的训练样本数，并将其输入BP神经网络分类器中进行训练；(6)样本训练完成后，受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来表达控制意图，脑电采集模块同时提取受试者的O1、O2、F7、F8四通道脑电信号后，返回步骤(4)，进行在线目标识别,根据步骤(5)的训练结果与所提取的脑电特征信号采用BP神经网络进行在线分类；(7)由步骤(6)得到的识别结果经通信模块无线传输给假手臂筒内的驱动控制模块，驱动控制模块控制假手本体模块完成基本动作。...

【技术特征摘要】
1.一种假手完整抓取操作的并行多模态脑控方法，其特征在于，包括下述
步骤：
(1)为受试者佩戴脑电采集模块，其中所有电极均处于国际10/20系统的
标准位置，根据场景动画视觉诱发脑电信号产生机理采集大脑皮层枕叶区O1、O2
通道的脑电信号，根据表情驱动脑电信号产生机理采集侧额叶皮质区F7、F8通
道的脑电信号；
(2)事先在场景动画视觉诱发模块中植入由一残疾人日常喝水简易操作同
时进行四种不同表情驱动的全过程，分解得到的四个具有连续性的动作场景图
像，其中，每一个图像中残疾人面部呈现一种不同表情，每一个动作场景图像经
过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面
前进行视觉诱发，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频
率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz；
所述的由分解得到的四个具有连续性的动作场景图像分别定义为场景动画
一、场景动画二、场景动画三、场景动画四；所述四种表情分别为提眉、皱眉、
左撇嘴、右撇嘴，其中，提眉出现在场景动画一中；皱眉出现在场景动画二中；
左撇嘴出现在场景动画三中；右撇嘴出现在场景动画四中；
(3)受试者通过注视不同场景动画视觉诱发界面同时进行不同表情驱动来
表达控制意图，脑电采集模块同时提取受试者的O1、O2、F7、F8四通道脑电信
号后进行离线分析；
(4)首先，脑电采集模块对采集到的O1、O2、F7、F8四通道脑电信号经放
大、滤波预处理后，经由蓝牙模块，无线传输给信号处理模块，信号处理模块采
用功率谱密度方法对四通道脑电信号进行频谱分析,提取alpha频带的能量...

【专利技术属性】
技术研发人员：张小栋，李睿，马伟光，张黎明，刘畅，陈江城，赖知法，张强，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61