融合可视图与深度学习的运动想象意念控制方法及应用技术

一种融合可视图与深度学习的运动想象意念控制方法及应用，获取运动想象EEG脑电信号并进行预处理；对预处理后的运动想象EEG脑电信号采用可视图理论构建可视图复杂网络，得到大脑多层复杂网络；对于每一个可视图复杂网络，分别提取网络指标数据；对于任一被试者在每一个运动场景下的大脑多层复杂网络，获得所述各个网络指标数据，组成一维序列，并构建样本集，搭建初始深度卷积神经网络模型，使用样本集对初始深度卷积神经网络模型进行有监督的训练，得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数。本发明专利技术能够实现对运动想象EEG脑电信号的有效辨识和进行正确分类，并转化为脑控指令，实现对机械外骨骼的控制。

【技术实现步骤摘要】
融合可视图与深度学习的运动想象意念控制方法及应用
本专利技术涉及一种运动想象意念控制方法。特别是涉及一种融合可视图与深度学习的运动想象意念控制方法及应用。
技术介绍
脑机接口(BCI)是指人脑与计算机或其他电子设备间建立的交流与控制通道，可以通过获取脑电信号，提取其中有效信息，进而对连接的其它设备进行控制。脑电信号的获取范式有SSVEP、P300、运动想象三种，且这些获取方法的实现不受脑外围神经、肌肉输出的限制，对于残疾人士的恢复治疗有重要的意义。其中，运动想象由于不需要附加刺激界面，在设备要求便携化、小型化时，具有独特的优点。运动想象范式是在没有肢体运动的情况下，被试者自主进行思维活动，想象某一特定的运动场景，产生连续的EEG脑电信号，由BCI感知并对其特征进行分析的过程。此过程中得到的脑电特征提取结果与被试者初始思维活动相关，从而可以转化成与之对应的控制指令，控制被试者穿戴的机械外骨骼带动被试者进行运动。需要下达该控制指令时，仅需进行某固定的运动场景想象，即可实现对外界设备的控制。近年来，复杂网络获得快速发展。作为前沿的数据融合、分析理论，复杂网络为复杂系统的研究提供了新的视角。特别的，可视图复杂网络作为复杂网络时间序列分析的主要方法之一，已经在包括经济、多相流、交通等诸多领域有了成功的应用，其计算快速，形象直观的特点使其能够很好地刻画复杂系统的内在运行机理。深度学习作为机器学习中一种基于对数据进行表征学习的方法，在计算机视觉、语音识别和自然语言处理等领域有重要应用。其中深度卷积神经网络作为应用较为广泛的技术，在处理序列上也有重要贡献。通过构建深度卷积神经网络进行有监督学习，将对序列进行充分的数据挖掘，有着较好的实时性和准确性。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能够利用虚拟现实技术，设计实验获取运动想象EEG脑电信号，结合复杂网络和深度学习理论实现数据分析、分类并最终实现脑机控制的融合可视图与深度学习的运动想象意念控制方法及应用。本专利技术所采用的技术方案是：一种融合可视图与深度学习的运动想象意念控制方法，使用虚拟现实技术生成不同运动场景，被试者通过虚拟现实设备观察不同运动场景的同时，想象相应的具体动作，诱发运动想象EEG脑电信号，通过脑电采集设备实现采集，而后结合可视图复杂网络和深度卷积神经网络模型，实现对运动想象EEG脑电信号的有效辨识以及分类，以分类结果为基础，生成相应的控制指令，控制机械外骨骼实现多自由度运动，辅助被试者完成各种运动；具体包括如下步骤：1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理；2)对预处理后的运动想象EEG脑电信号其中，L为每个信号的数据长度，Xc,g表示第c个电极采集的信号中第g个数值，采用可视图理论构建可视图复杂网络Ac，得到大脑多层复杂网络；3)对于每一个可视图复杂网络Ac，分别提取网络指标数据，所述的网络指标数据包括：网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径；4)对于任一被试者在每一个运动场景下的大脑多层复杂网络，获得上述各个网络指标数据，组成一维序列，通过运动场景编号为该一维序列设定标签，构建样本集，搭建初始深度卷积神经网络模型，使用样本集对初始深度卷积神经网络模型进行有监督的训练，得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数，其中，所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。步骤1)所述的获取运动想象EEG脑电信号，是通过EEG脑电信号采集设备，分别获取被试者对应于P3，P4，O1，O2，C3，C4，Cz七个电极的运动想象EEG脑电信号，电极分布符合10～20国际标准导联；包括：(1)使用虚拟现实(VR)技术生成Q种以上运动场景，其中Q≥2，为各个场景分别设置编号1,2,...,Q；(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时，想象相应场景的具体动作；(3)在每一个运动场景下，当被试者想象相应的具体动作时，通过运动想象EEG脑电信号采集设备完成运动想象EEG脑电信号的采集。步骤1)所述的对运动想象EEG脑电信号进行预处理，是对运动想象EEG脑电信号进行带通滤波并去除伪迹，得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号：其中，L为每个信号的数据长度，Xc,g表示第c个电极采集的信号中第g个数值。步骤2)包括：(1)对每一个电极的运动想象EEG脑电信号采用可视图理论进行处理，若其中任意两点和以及两点之间的任意一点满足条件：则称和可视，设定运动想象EEG脑电信号中任意相邻的两点可视，以中的每个点为网络节点，根据各点之间的可视性确定网络连边，即：若两点可视，则建立连边，若不可视，则没有连边，得到可视图复杂网络其中，分别为第c个通道的运动想象EEG脑电信号中的第g1、g2、g3个数值；(2)对7个电极的运动想象EEG脑电信号分别重复第(1)步，建立7个可视图复杂网络，得到大脑多层复杂网络{A1,A2,...,A7}。步骤4)所述的初始深度卷积神经网络模型依次包括：一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；三个一维卷积层：卷积核数量为8，卷积核大小为1×7，激活函数是一个线型修正单元，采用Relu激活函数fRelu(x)＝max(0,x)；一个最大池化层：池化核大小为1×4，具体过程描述为Pp＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出；四个一维卷积层：卷积核数量为16，卷积核大小为1×7，采用Relu激活函数fRelu(x)＝max(0,x)；一个最大池化层：池化核大小为1×4；分类器：作为神经网络的输出层，输出分类结果，并用H个神经元表示，通过Softmax函数处理，Softmax函数本质上是归一化的指数函数，定义为其中h＝1···H，e为自然对数值，zh为第h个神经元的输出，式子中的分母充当了正则项的作用，使得步骤4)所述的训练包括：(1)将样本集中80％的数据作为训练集，用于训练初始深度卷积神经网络模型，确定初始深度卷积神经网络模型参数，20％的数据作为测试集，用于测试已经训练好的深度卷积神经网络模型的泛化能力；(2)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述的超参数包括学习率、权值衰减、学习率衰减；(3)通过反向传播算法对初始深度卷积神经网络模型进行训练；(4)在训练中通过梯度下降法对网络权值进行调整，公式为W是更新前的网络权值，Wnew是更新后的网络权值，ξ是学习率，是误差对网络权值的偏导；(5)当损失函数停止收敛或者网络训练迭代次数超过设定值M时，停止训练。一种融合可视图与深度学习的运动想象意念控制方法的应用，包括如下步骤：1)设定4个运动场景，编号为场景1，场景2，场景3，场景4，分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景，在不同场景下，想象不同的具体的动作；获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理；2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象EEG脑电信号进行处理本文档来自技高网...

【技术保护点】
1.一种融合可视图与深度学习的运动想象意念控制方法，其特征在于，使用虚拟现实技术生成不同运动场景，被试者通过虚拟现实设备观察不同运动场景的同时，想象相应的具体动作，诱发运动想象EEG脑电信号，通过脑电采集设备实现采集，而后结合可视图复杂网络和深度卷积神经网络模型，实现对运动想象EEG脑电信号的有效辨识以及分类，以分类结果为基础，生成相应的控制指令，控制机械外骨骼实现多自由度运动，辅助被试者完成各种运动；具体包括如下步骤：1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理；2)对预处理后的运动想象EEG脑电信号

【技术特征摘要】
1.一种融合可视图与深度学习的运动想象意念控制方法，其特征在于，使用虚拟现实技术生成不同运动场景，被试者通过虚拟现实设备观察不同运动场景的同时，想象相应的具体动作，诱发运动想象EEG脑电信号，通过脑电采集设备实现采集，而后结合可视图复杂网络和深度卷积神经网络模型，实现对运动想象EEG脑电信号的有效辨识以及分类，以分类结果为基础，生成相应的控制指令，控制机械外骨骼实现多自由度运动，辅助被试者完成各种运动；具体包括如下步骤：1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理；2)对预处理后的运动想象EEG脑电信号其中，L为每个信号的数据长度，Xc,g表示第c个电极采集的信号中第g个数值，采用可视图理论构建可视图复杂网络Ac，得到大脑多层复杂网络；3)对于每一个可视图复杂网络Ac，分别提取网络指标数据，所述的网络指标数据包括：网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径；4)对于任一被试者在每一个运动场景下的大脑多层复杂网络，获得各个所述网络指标数据，组成一维序列，通过运动场景编号为该一维序列设定标签，构建样本集，搭建初始深度卷积神经网络模型，使用样本集对初始深度卷积神经网络模型进行有监督的训练，得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数，其中，所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。2.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法，其特征在于，步骤1)所述的获取运动想象EEG脑电信号，是通过EEG脑电信号采集设备，分别获取被试者对应于P3，P4，O1，O2，C3，C4，Cz七个电极的运动想象EEG脑电信号，电极分布符合10～20国际标准导联；包括：(1)使用虚拟现实(VR)技术生成Q种以上运动场景，其中Q≥2，为各个场景分别设置编号1,2,...,Q；(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时，想象相应场景的具体动作；(3)在每一个运动场景下，当被试者想象相应的具体动作时，通过运动想象EEG脑电信号采集设备完成运动想象EEG脑电信号的采集。3.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法，其特征在于，步骤1)所述的对运动想象EEG脑电信号进行预处理，是对运动想象EEG脑电信号进行带通滤波并去除伪迹，得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号：其中，L为每个信号的数据长度，Xc,g表示第c个电极采集的信号中第g个数值。4.根据权利要求1所述的基于可视图复杂网络的运动想象意念控制方法，其特征在于，步骤2)包括：(1)对每一个电极的运动想象EEG脑电信号采用可视图理论进行处理，若其中任意两点和以及两点之间的任意一点满足条件：则称和可视，设定运动想象EEG脑电信号中任意相邻的两点可视，以中的每个...

【专利技术属性】
技术研发人员：高忠科，党伟东，侯林华，蔡清，冯彦华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12