基于动态SSVEP范式的脑机接口系统实现方法及装置制造方法及图纸

本发明专利技术公开基于动态SSVEP范式的脑机接口系统实现方法及装置，所述实现方法包括：获取实时画面，得到待识别的环境信息；构建并训练物体追踪模型，将环境信息输入到物体追踪模型，得到环境信息中物体的实时位置信息；根据物体的位置信息，采用不同频率的SSVEP闪烁块分别对画面中不同的物体进行标记，并根据物体的实时位置信息对SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并呈现给待测者，采集待测者的脑电信号序列；采用FBCCA方法对脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。本发明专利技术能够有效解决传统SSVEP范式控制不直观，用户交互感不高的问题，提高了脑机信号分类的准确率。

Implementation method and device of brain computer interface system based on dynamic SSVEP paradigm

【技术实现步骤摘要】
基于动态SSVEP范式的脑机接口系统实现方法及装置
本专利技术涉及脑机接口
，特别是涉及一种基于动态SSVEP范式的脑机接口系统实现方法及装置。
技术介绍
脑机接口(Brain-ComputerInterface，BCI)能够自动识别人的意图，利用的是大脑的信号，不依赖于神经系统和肌肉去控制外部设备，进而与外界交流互动。该技术广泛用于术后康复训练，重症及残障人士的护理，智能假肢以至机械设备控制等方面。与其他方法相比，SSVEP(SteadyStateVisualEvokedPotential，稳态视觉诱发电位)需要记录的脑电数据通道少，无需训练，还可以获得较高的识别度。然而，目前研究通常采用在一块静态背景的不同位置上输出不同频率闪烁，每一个闪烁对应一种固定频率，同时对应着某个固定的指令，如用于脑控轮椅的方向信息，用于脑控打字的字母信息等。例如，OmidDehzangi及其团队就在黑色屏幕背景的上，下，左，右四个方向上分别施加不同频率的闪烁刺激，实现了重症病人的医护人员召唤及食物请求等不同需求。国内清华大学高上凯教授团队实现了利用SSVEP脑控打字，可以输出26个英文字母，10个数字以及部分功能按键等，在他们的研究中，字母、数字等以阵列闪烁的形式存在，使用者依次注视不同的字母，即可实现字符的输入与输出。这些范式主要是在静态背景下输出刺激闪烁，被试无法直观地获取被脑电控制物体的实时状态，而且可能更容易导致视觉疲劳。所以近期部分研究者提出了基于增强现实的SSVEP研究。例如：HakimSi-Mohammed及其团队的在2018年使用基于增强现实的SSVEP实现了脑电对智能车的控制，研究者们使用固定摄像机的采集图像，而非纯色背景，在增强现实背景上叠加SSVEP闪烁刺激，分别对应前进，左转，右转，并以此控制车按指定路线前进。ChenguangYang及其团队于2018年基于物体追踪实现了增强现实背景与增强现实刺激的脑控机械臂系统，并以脑电控制机械臂直接抓取物体。然而，当前的SSVEP范式存在以下问题：1)其刺激方式为闪烁的黑白块，固定在某些位置，而实际应用中所识别的目标物体大多是动态的；2)当前SSVEP范式控制不直观，用户交互感不高。因此，如何提供一种能够解决该问题的脑机接口系统实现方法及装置，是本领域技术人员目前亟需解决的问题。
技术实现思路
本专利技术的目的是提供一种基于动态SSVEP范式的脑机接口系统实现方法及装置，以解决现有技术中存在的技术问题，能够有效解决传统SSVEP范式控制不直观，用户交互感不高的问题，提高了脑机信号分类的准确率。为实现上述目的，本专利技术提供了如下方案：本专利技术提供基于动态SSVEP范式的脑机接口系统实现方法，包括如下步骤：S1、获取实时画面，得到待识别的环境信息；S2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；S3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面；S4、将叠加有SSVEP信息的画面呈现给待测者，并采集待测者的脑电信号序列；S5、采用滤波器组典型相关分析FBCCA方法对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。优选地，所述步骤S2中，通过所述物体追踪模型得到所述环境信息中物体的实时位置信息的具体方法包括：S21、利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；S22、分别计算m个动态物体所在区域的密度直方图；S23、重复步骤S21、S22，计算第n+1帧画面中所有动态物体所在区域的密度直方图；S24、将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；S25、重复步骤S21～S24，得到物体的实时位置。优选地，所述步骤S2中，所述物体追踪模型通过迁移学习方法进行训练，具体包括：1)采集含有待追踪物体的画面，作为训练样本数据；2)对所述训练样本数据进行样本增强，得到样本数据集，并将所述样本数据集划分为训练集、验证集；3)通过所述训练集对所述物体追踪模型进行训练；4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于预设阈值，则所述物体追踪模型训练完成，否则重复步骤4)。优选地，所述步骤S5中，采用FBCCA方法对所述脑电信号序列进行解析的具体方法包括：对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；基于标准脑电信号序列，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号；对所述脑电模板信号和实时采集的脑电信号序列进行标准化处理，并采用CCA求解出实时采集的脑电信号序列与各脑电模板信号之间的相关系数；所述相关系数最大时，脑电模板信号对应的SSVEP闪烁块即为待测者所注视的物体。优选地，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号，具体包括如下步骤：通过若干个具有不同带通的无限脉冲响应IIR滤波器对所述标准脑电信号序列进行子带分解，得到所述标准脑电信号序列的子带分量，将所述子带分量分别进行标准典型相关分析CCA，得到所述子带分量和预设参考信号的相关值，根据所述相关值构造所述SSVEP闪烁块对应的脑电模板信号；其中，所述预设参考信号为所述SSVEP闪烁块的闪烁频率。本专利技术还提供基于动态SSVEP范式的脑机接口系统实现装置，包括：获取模块、追踪模块、标注模块、脑电采集模块、脑电分析模块、屏幕；所述获取模块分别与所述追踪模块、标注模块相连，所述追踪模块与所述标注模块相连，所述标注模块与所述屏幕相连；所述脑电采集模块与所述脑电分析模块相连；所述获取模块用于获取实时画面，根据所述实时画面得到待识别的环境信息，并将所述环境信息分别传送至所述追踪模块、标注模块；所述追踪模块用于获取所述坏境信息中物体的实时位置信息，并将所述物体的实时位置信息发送至所述标注模块；所述标注模块用于根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并传送至所述屏幕；所述屏幕用于对叠加有SSVEP信息的画面进行显示，供待测者观看；所述脑电采集模块用于采集待测者的脑电信号序列，并将所述脑电信号序列传送至所述脑电分析模块；所述脑电分析模块用于采用FBCCA方法对所述脑电信号序列进行解析，并根据解析结果得到待测者所注视的物体。优选地，所述脑电采集模块通过实时读取数据流LSL本文档来自技高网...

【技术保护点】
1.基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，包括如下步骤：/nS1、获取实时画面，得到待识别的环境信息；/nS2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；/nS3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面；/nS4、将叠加有SSVEP信息的画面呈现给待测者，并采集待测者的脑电信号序列；/nS5、采用滤波器组典型相关分析FBCCA方法对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。/n

【技术特征摘要】
1.基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，包括如下步骤：
S1、获取实时画面，得到待识别的环境信息；
S2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；
S3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面；
S4、将叠加有SSVEP信息的画面呈现给待测者，并采集待测者的脑电信号序列；
S5、采用滤波器组典型相关分析FBCCA方法对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。


2.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S2中，通过所述物体追踪模型得到所述环境信息中物体的实时位置信息的具体方法包括：
S21、利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；
S22、分别计算m个动态物体所在区域的密度直方图；
S23、重复步骤S21、S22，计算第n+1帧画面中所有动态物体所在区域的密度直方图；
S24、将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；
S25、重复步骤S21～S24，得到物体的实时位置。


3.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S2中，所述物体追踪模型通过迁移学习方法进行训练，具体包括：
1)采集含有待追踪物体的画面，作为训练样本数据；
2)对所述训练样本数据进行样本增强，得到样本数据集，并将所述样本数据集划分为训练集、验证集；
3)通过所述训练集对所述物体追踪模型进行训练；
4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；
5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于预设阈值，则所述物体追踪模型训练完成，否则重复步骤4)。


4.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S5中，采用FBCCA方法对所述脑电信号序列进行解析的具体方法包括：
对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；
基于标准脑电信号序列，通过滤波器组分析方法分别获取...

【专利技术属性】
技术研发人员：闫天翼，王凯，刘思宇，张德雨，陈端端，唐浩展，张弈诚，瑚耘慷，吴景龙，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11