一种脑机接口智能设备控制系统与方法技术方案

本发明专利技术涉及一种脑机接口智能设备控制系统与方法。该系统中增强现实设备上安装的摄像头可以通过实时采集环境图像，并将图像传输至场景理解模块，该模块可以通过采用深度学习技术实现对场景信息的理解，并将理解信息传输至增强现实显示设备，现实显示设备内置的眼动仪可以实时获取使用者的目光注视位置，其结合SSVEP范式进行场景中目标的操作，然后向操作目标发送控制或者获取信息指令，并向增强现实设备进行反馈，充分发挥了脑机接口与增强现实技术的结合可带来认知、视觉、感知等能力的增强，实现了瘫痪病人直观高效的控制外部设备的解决方案。解决方案。解决方案。

【技术实现步骤摘要】
一种脑机接口智能设备控制系统与方法


[0001]本专利技术涉及脑机接口
，特别是涉及一种脑机接口智能设备控制系统与方法。

技术介绍

[0002]脑机接口(Brain Computer Interface，BCI)是一种在人或者动物大脑与外部设备之间建立的直连通路的技术。其作为当今神经工程方向最有生命力的研究方向之一，在康复医学、智能机器人等领域也拥有重要的研究意义和巨大的应用潜力。尤其是最近十年来，脑机接口技术在材料和生物科学的发展下得到了长足的进步，逐渐打开了广阔的应用场景。比如在医疗与康复领域，其对于神经系统受损患者具有重大帮助；在军事领域上可以用于脑电信息融合协同作战；在教育领域可以帮助学生训练集中力等等。
[0003]截至现在，国内外实验室开发过各式各样面向日常应用的脑机接口系统。其使用了不同的刺激范式并实现了不同的功能。比如基于稳态视觉诱发电位(SSVEP)脑机接口打字系统、基于多范式的脑机接口VR游戏系统、基于P300范式的脑机接口虚拟智能家居控制系统。
[0004]上述的应用均实现了脑机接口对外部设备或者虚拟设备的控制，并取得了一定的成效。但是直接通过电脑屏幕控制其他设备这一方式不够直观，不能很好地提高瘫痪病人的生活质量。故应结合增强现实(Augmented Reality，AR)技术，一是可以提高脑机接口操控的直观程度，二是解决了AR设备必须靠手部动作才能实现与外界交互导致其对残疾人易用性不佳这一难题。但其使用时对信号进行结果识别地速度比较慢，使用体验不佳。
[0005]而眼动仪也已经在一定程度上能够像瘫痪病人提供控制外部设备地能力，其较高地识别速度对于帮助残疾患者控制外设能够起到很大帮助，但其较差地识别精度及其需要经常校准的特性，会使得使用者的体验会大打折扣，故其易用性一直受到质疑。
[0006]因此，如何提高脑机接口智能设备控制的精确度和识别速率是亟待解决的问题。

技术实现思路

[0007]本专利技术的目的是提供一种脑机接口智能设备控制系统与方法，能够提高脑机接口智能设备控制的精确度和识别速率。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种脑机接口智能设备控制系统，包括：摄像头、增强现实刺激设备、眼动仪、场景理解模块、脑电采集设备、脑电处理模块、结果整合模块、中控模块以及外设控制系统；
[0010]所述摄像头安装在所述增强现实刺激设备上，并通过USB接口将实时采集环境图像发送至所述增强现实刺激设备；
[0011]所述增强现实刺激设备与所述场景理解模块连接；并将实时采集环境图像发送至所述场景理解模块；所述场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和所述结果整合模块；
[0012]所述眼动仪设置在所述增强现实显示设备的内部，并与脑电处理模块连接；所述眼动仪用于实时获取使用者的目光注视位置；
[0013]所述脑电采集设备与所述脑电处理模块连接；所述脑电处理模块根据所述脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；实时脑电信号的分类结果为使用者枕叶区诱发的信号频率；
[0014]所述结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户选定目标的确定，并将选定结果发送至所述中控模块；
[0015]所述中控模块根据选定结果确定操作指令，并将操作指令发送至所述外设控制系统；
[0016]所述外设控制系统根据操作指令进行对智能设备的控制。
[0017]可选地，所述增强现实刺激设备通过OpenCV工具包将实时采集环境图像转化为1280
×
720
×
3的图片矩阵。
[0018]可选地，所述增强现实显示设备的PC机为AR眼镜。
[0019]可选地，所述脑电采集设备以1000Hz的采样率，按照10
‑
20国际标准采集脑电信号。
[0020]一种脑机接口智能设备控制方法，包括：
[0021]利用摄像头对场景进行采集，并将实时采集环境图像发送至所述增强现实刺激设备；
[0022]增强现实刺激设备将实时采集环境图像发送至场景理解模块，场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和结果整合模块；
[0023]脑电处理模块根据眼动仪实时获取使用者的目光注视位置和脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；
[0024]结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户操作目标的确定，并将确定结果发送至中控模块；
[0025]中控模块根据确定结果确定操作指令，并将操作指令发送至外设控制系统；
[0026]外设控制系统根据操作指令进行对智能设备的控制。
[0027]可选地，所述增强现实刺激设备将实时采集环境图像发送至场景理解模块，场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和结果整合模块，具体包括：
[0028]增强现实刺激设备将实时采集环境图像以视频流的形式传输至场景理解模块；
[0029]场景理解模块将视频流按帧划分，并逐帧对场景进行目标检测；
[0030]当确认存在操作目标之后，场景理解模块为目标分配刺激属性，并与增强现实显示设备和结果整合模块通信。
[0031]可选地，所述脑电处理模块根据眼动仪实时获取使用者的目光注视位置和脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块，具体包括：
[0032]判断使用者的目光注视位置是否在判决目标热点范围内；
[0033]若在判决目标热点范围外，则增强现实刺激设备将通知脑电处理模块停止实时脑电信号的分类结果的计算。
[0034]可选地，所述脑电采集设备以1000Hz的采样率，按照10
‑
20国际标准采集脑电信号。
[0035]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0036]本专利技术所提供的一种脑机接口智能设备控制系统与方法，增强现实设备上安装的摄像头可以通过实时采集环境图像，并将图像传输至场景理解模块，该模块可以通过采用深度学习技术实现对场景信息的理解，并将理解信息传输至增强现实显示设备，现实显示设备内置的眼动仪可以实时获取使用者的目光注视位置，其结合SSVEP范式进行场景中目标的操作，然后向操作目标发送控制或者获取信息指令，并向增强现实设备进行反馈，充分发挥了脑机接口与增强现实技术的结合可带来认知、视觉、感知等能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑机接口智能设备控制系统，其特征在于，包括：摄像头、增强现实刺激设备、眼动仪、场景理解模块、脑电采集设备、脑电处理模块、结果整合模块、中控模块以及外设控制系统；所述摄像头安装在所述增强现实刺激设备上，并通过USB接口将实时采集环境图像发送至所述增强现实刺激设备；所述增强现实刺激设备与所述场景理解模块连接；并将实时采集环境图像发送至所述场景理解模块；所述场景理解模块采用深度学习技术对实时采集环境图像进行分类，并将图像分类结果发送至增强现实刺激设备中的增强现实显示设备和所述结果整合模块；所述眼动仪设置在所述增强现实显示设备的内部，并与脑电处理模块连接；所述眼动仪用于实时获取使用者的目光注视位置；所述脑电采集设备与所述脑电处理模块连接；所述脑电处理模块根据所述脑电采集设备中采集的脑电信号矩阵，采用异步SSVEP脑电信号判决算法，确定实时脑电信号的分类结果，并将实时脑电信号的分类结果发送至结果整合模块；实时脑电信号的分类结果为使用者枕叶区诱发的信号频率；所述结果整合模块根据图像分类结果和实时脑电信号的分类结果共同进行用户选定目标的确定，并将选定结果发送至所述中控模块；所述中控模块根据选定结果确定操作指令，并将操作指令发送至所述外设控制系统；所述外设控制系统根据操作指令进行对智能设备的控制。2.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述增强现实刺激设备通过OpenCV工具包将实时采集环境图像转化为1280
×
720
×
3的图片矩阵。3.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述增强现实显示设备的PC机为AR眼镜。4.根据权利要求1所述的一种脑机接口智能设备控制系统，其特征在于，所述脑电采集设备以1000Hz的采样率，按照10
‑
20国际标准采集脑电信号。5.一种脑机接口智能设备控制方法，其特征在于，包括：利用摄像头对场景进行采集，并将实时采集环境图像发送至增强现...

【专利技术属性】
技术研发人员：杨晨，王帅，张洪欣，陈阳，徐瑞林，曹凯凯，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：