基于运动想象脑‑机接口的无人机虚拟控制方法及系统技术方案

一种基于运动想象脑‑机接口的无人机虚拟控制方法及系统，控制方法包括：1)实验开始，被试者观看虚拟无人机界面，想象不同的肢体运动，采集脑电信号；2)依次经过时间滤波、空间滤波、特征提取和特征转化将脑电信号转化为控制信号；3)脑电控制信号传递到虚拟无人机控制程序，通过虚拟无人机控制程序控制虚拟无人机飞行，通过虚拟无人机界面呈现反馈的无人机飞行状态，被试者实时监视自己的控制效果，调整运动想象状态，直至成功完成虚拟无人机飞行任务或者触发失败条件。控制系统包括虚拟无人机界面、脑电采集设备、信号处理模块以及接口。本发明专利技术能够训练被试者控制虚拟无人机，为控制真实无人机做准备。

Motor imagery UAV virtual machine interface control method and system based on

A system and method for controlling the motion of virtual human brain computer interface based on imagine, control method includes: 1) the beginning of the experiment, participants watched the UAV virtual interface, imagine different limb movements, EEG signal; 2) followed by time filtering, spatial filtering, feature extraction and transformation of the brain the electrical signal into a control signal; 3) EEG control signal is transmitted to the virtual UAV control program, through the virtual control program of virtual control of UAV UAV flight, the UAV flight status of UAV virtual interface feedback is presented, the effect of control subjects real-time monitor their state, imagine adjusting movement, until success complete virtual UAV flight tasks or trigger failure conditions. The control system includes virtual UAV interface, EEG acquisition equipment, signal processing module and interface. The invention can train the subjects to control the virtual unmanned aerial vehicle, and prepare for controlling the real uavs.

【技术实现步骤摘要】
基于运动想象脑-机接口的无人机虚拟控制方法及系统
本专利技术涉及脑-机接口领域，具体涉及一种基于运动想象脑-机接口的无人机虚拟控制方法及系统，满足无人机飞控手脑电控制无人机的训练需求。
技术介绍
第一届脑-机接口(braincomputerinterface，BCI)国际会议把脑-机接口定义为一种不依赖大脑正常神经和肌肉输出通路的脑-机通信系统。许多研究表明，特定的想象任务能够产生特定的脑电信号，比如想象肢体某侧运动，可以引起大脑对侧区域脑电信号的某些成分同步减弱或者增强，这种想象被称为时间相关同步和时间相关去同步。基于该原理，运动想象成为脑-机接口控制的重要范式。随着脑电采集和处理技术的发展，BCI系统功能大大增强，其应用范围也越来越广泛。BCI技术用于无人机控制领域，将提高无人机的控制性能。但是控制无人机并不容易，每个无人机飞控手都需要大量的遥控飞行练习，而对于刚接触脑电的无人机飞控手来说，利用脑电控制无人机无疑增加了控制难度。针对这一问题，有必要建立虚拟控制平台对无人机飞控手进行训练，并根据结果评价飞控手的利用脑电控制无人机的能力。
技术实现思路
本专利技术的目的在于针对上述现有技术中的问题，提供一种基于运动想象脑-机接口的无人机虚拟控制方法及系统，模拟真实无人机的控制策略(场景)，满足训练的需求。为了实现上述目的，本专利技术基于运动想象脑-机接口的无人机虚拟控制方法包括以下步骤：1)实验开始，被试者观看虚拟无人机界面，想象不同的肢体运动，采集脑电信号；2)依次经过时间滤波、空间滤波、特征提取和特征转化将脑电信号转化为控制信号；3)脑电控制信号传递到虚拟无人机控制程序，通过虚拟无人机控制程序控制虚拟无人机飞行，通过虚拟无人机界面呈现反馈的无人机飞行状态，被试者实时监视自己的控制效果，调整运动想象状态，直至成功完成虚拟无人机飞行任务或者触发失败条件。通过Blender软件进行虚拟无人机界面的建模，通过Scan4.5软件采集脑电信号，通过BCI2000软件将脑电信号转化为控制信号。脑电信号采集设备使用Neuroscan研制的SynAmps2放大器以及64导湿电极脑电帽，且脑电帽的电极排布方式按照国际10-20系统进行排列。所述脑电信号的空间滤波利用拉普拉斯空间滤波器，简化为在每个时间点t，中心电机的点位减去4个向量的电极的加权和：式中权重wh,i是目标电极h和它附近电极i之间距离dh,i的函数。所述脑电信号的特征提取采用自回归最大熵谱法将Mu节律和Beta节律从时域信号转化为频域特征，所述的Mu节律为8Hz-12Hz，Beta节律为18Hz-25Hz。所述脑电信号的特征转化包括分类识别和归一化处理；分类识别引入Fisher鉴别准则表达式，使投影后的样本具有最大的类间离散度和最小的类内离散度；归一化处理通过对控制信号进行线性变换，使输出的控制信号处于特定范围内。脑电控制信号通过UDP无连接的传输协议发送到信号中转软件中，信号中转软件读取本地端口的脑电控制信号，然后通过内存映射传递到Blender虚拟环境当中。本专利技术基于运动想象脑-机接口的无人机虚拟控制系统包括：虚拟无人机界面以及用于采集被试者想象不同肢体运动时所产生脑电信号的脑电采集设备；用于将脑电信号转化为控制信号的信号处理模块；以及用于将脑电控制信号传递到虚拟无人机虚拟环境的接口。脑电采集设备采集到的脑电信号通过脑电信号放大器传输至信号处理模块。与现有技术相比，本专利技术基于运动想象脑-机接口的无人机虚拟控制方法及系统具有如下的有益效果：通过被试者观看虚拟无人机界面，熟悉运动想象流程，在实验开始前，被试者需要了解虚拟无人的控制规则，本方案中假设虚拟无人机匀速向前飞行，当想象左手运动，无人机向左运动，想象右手运动，无人机向右运动，想象双手同时运动，无人机向上运动，想象双腿运动，无人机向下运动。利用脑电采集设备来采集产生的脑电信号，脑电信号转化为控制信号传递到虚拟无人机控制程序，通过虚拟无人机控制程序控制虚拟无人机飞行。本专利技术能够训练被试者控制虚拟无人机，从而为控制真实无人机做准备，能够用于电子娱乐、工业控制等领域，并能够得到完善的脑-机接口系统，有望获得客观的社会经济效益。附图说明图1本专利技术脑-机接口的结构示意图；图2本专利技术脑-机接口的软件连接示意图；图3本专利技术脑-机接口的信号处理流程和控制方式示意图；图4本专利技术虚拟无人机界面示意图。具体实施方式下面结合附图对本专利技术做进一步的详细说明。参见图1，本专利技术基于运动想象脑-机接口的无人机虚拟控制系统包括虚拟无人机界面以及用于采集被试者想象不同肢体运动时所产生脑电信号的脑电采集设备；用于将脑电信号转化为控制信号的信号处理模块；以及用于将脑电控制信号传递到虚拟无人机虚拟环境的接口。鉴于无人机控制的复杂性，被试者在进行本专利技术方法之前需进行一定的一维运动想象训练，熟悉运动想象流程。在实验开始前，被试应了解虚拟无人的控制方法(规则)：假设虚拟无人机匀速向前飞行，当想象左手运动，无人机向左运动；想象右手运动，无人机向右运动；想象双手同时运动，无人机向上运动；想象双腿运动，无人机向下运动。参见图2，本专利技术脑电采集软件为Scan4.5，脑电处理软件为BCI2000，虚拟无人机界面(相当于简单的游戏)建模软件为Blender。其中所建立的虚拟无人机模型为四旋翼无人机，并且利用Blender自带的游戏引擎编写控制程序。实验进行时虚拟无人机匀速向前飞行，并根据控制信号向左、右转向，上升或者下降。脑电采集设备使用的是由Neuroscan研制的SynAmps2放大器，64导湿电极脑电帽，脑电帽的电极排布方式按照国际10-20系统进行排列。当实验开始时，被试者观看虚拟无人机界面，想象不同的肢体运动。通过脑电信号放大器以及脑电帽采集到脑电信号，Scan4.5读取脑电信号，通过TCP/IP协议将信号传递给BCI2000软件，BCI2000软件对信号进行一系列的处理。1)BCI2000接收Scan4.5传递过来的所有脑电信号，但我们实际只关注与运动想象相关的13个电极C3、C4、C5、CZ等的信号。因此进行信号处理的为这13个通道的信号。此外还需要关注的属性为数据块(sampleblock)大小和采样频率(sampleRate)。BCI2000软件内部各模块之间数据并非实时传递，而是按照数据块(sampleBlock)大小进行传递。2)进行空间滤波，空间滤波的目的是为了减少空间模糊的影响，提高信号的保真度。本专利技术利用拉普拉斯空间滤波器，简化后的算法为在每个时间点t，中心电机的点位减去4个向量的电极的加权和：式中权重wh,i是目标电极h和它附近电极i之间距离dh,i的函数。在本实验中，采用更简单的实现方式，即用中心电势减去四个最近电极的平均值。3)然后特征提取，理论研究表明，运动想象会是Mu(8Hz-12Hz)或Beta节律(18Hz-25Hz)频带产生变化。特征提取的一般目的就是把Mu节律和Beta节律从时域信号转化为频域特征。BCI要求系统能够在一秒钟提供多次反馈，这里基于自回归模型的最大熵法MEM在给定的频率分辨率比FFT和小波变换有更好地时间分辨率，更适合BCI系统，因此这里采用的是自回归最大熵谱进行特征提取。最大熵外推自相关函数的方法与本文档来自技高网...

【技术保护点】
一种基于运动想象脑‑机接口的无人机虚拟控制方法，其特征在于，包括以下步骤：1)实验开始，被试者观看虚拟无人机界面，想象不同的肢体运动，采集脑电信号；2)依次经过时间滤波、空间滤波、特征提取和特征转化将脑电信号转化为控制信号；3)脑电控制信号传递到虚拟无人机控制程序，通过虚拟无人机控制程序控制虚拟无人机飞行；根据虚拟无人机界面反馈的无人机飞行状态，被试者实时监视自己的控制效果，调整运动想象状态，直至成功完成虚拟无人机飞行任务或者触发失败条件。

【技术特征摘要】
1.一种基于运动想象脑-机接口的无人机虚拟控制方法，其特征在于，包括以下步骤：1)实验开始，被试者观看虚拟无人机界面，想象不同的肢体运动，采集脑电信号；2)依次经过时间滤波、空间滤波、特征提取和特征转化将脑电信号转化为控制信号；3)脑电控制信号传递到虚拟无人机控制程序，通过虚拟无人机控制程序控制虚拟无人机飞行；根据虚拟无人机界面反馈的无人机飞行状态，被试者实时监视自己的控制效果，调整运动想象状态，直至成功完成虚拟无人机飞行任务或者触发失败条件。2.根据权利要求1所述基于运动想象脑-机接口的无人机虚拟控制方法，其特征在于：通过Blender软件进行虚拟无人机界面的建模，通过Scan4.5软件采集脑电信号，通过BCI2000软件将脑电信号转化为控制信号。3.根据权利要求1所述基于运动想象脑-机接口的无人机虚拟控制方法，其特征在于：脑电信号采集设备使用Neuroscan研制的SynAmps2放大器以及64导湿电极脑电帽，且脑电帽的电极排布方式按照国际10-20系统进行排列。4.根据权利要求1所述基于运动想象脑-机接口的无人机虚拟控制方法，其特征在于：所述脑电信号的空间滤波利用拉普拉斯空间滤波器，简化为在每个时间点t，中心电机的点位减去4个向量的电极的加权和：式中权重wh,i是目标电极h和它附近电极i之间距离dh,i的函数。5.根据权利要求...

【专利技术属性】
技术研发人员：李长军，荣海军，董继尧，陈霸东，黄辉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61