一种脑机交互穿戴系统技术方案

本实用新型专利技术提供了一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出增强现实的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。所述界面显示应用装置可以是增强现实应用装置。

【技术实现步骤摘要】
一种脑机交互穿戴系统
本技术涉及一种脑机接口穿戴系统，特别是用于增强现实的脑机接口穿戴系统。
技术介绍
脑机接口（brain-computer/machineinterface,BCI/BMI）是人脑和计算机或其他外部设备之间建立一条全新的非生物性的信息传输通道（不依赖于常规的脊髓/外周神经肌肉系统），并通过它对外进行信息交流或环境控制。它提供了一种有别于传统的视觉、听觉等通道的交互手段，大大扩展人们与外界交流信息、控制系统的能力。BCI的研究在全球范围内已取得阶段性突破进展，若干类型的BCI实验的准确率已经相当高（如P300、SSVEP、Mu波等）；设备方面各种可穿戴式的EEG设备已进入市场，如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此，BCI的实用化已经提上了日程。一些著名的研究机构如Wadsworth中心、Graz技术大学等正努力推进BCI在医疗康复、娱乐和教育等领域的应用。增强现实（AugmentedReality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。交互操作是增强现实的核心应用和终极目标。现有的可用于增强现实的交互方法主要有以下几种。（1）手势交互，例如微软公司的HoloLens。该方式的主要思想是用户通过手势来对虚拟项目进行交互操作。其优点在于手势是最直接、最本能的操作方法，是用户与目标进行互动的本能自然行为，可完成对目标的各种预期操作。缺点是当前设备存在可识别的手势有限、无法准确定位拟操作的目标等问题。同时，在一些特殊的应用场景中，如手功能缺失的残疾人、无法腾出手来的作战士兵等都难以自如地对兴趣目标进行操作。（2）语音交互，例如索尼公司的公开号为CN103918284A、专利技术名称为“语音控制装置、语音控制方法和程序”的专利技术专利申请。该方式的主要思想是针对增强现实中的交互项目，通过用户的语音识别来进行选择和确认。其优点在于可解放双手，便捷交互；缺点是语音在嘈杂环境的识别率低下；公共场所人多而杂，使用语音交互可能涉及到个人隐私问题；语音命令识别率等。（3）眼动交互，例如英特尔公司的公开号为CN104395857A、专利技术名称为“显示器的部分的基于眼球追踪的选择性强调”的专利技术专利申请。该方式的主要思想是利用眼球的转动、眨眼等动作，对目标进行选择和确认。其优点在于解放双手，具有隐秘性。缺点是难以区分实际操作指令与无目的性的眼动，频繁操作会对用户的用眼习惯造成影响。
技术实现思路
本技术的目的在于提供应用于增强现实的脑机接口穿戴系统，可通过视觉相关脑电和头皮肌电进行系统控制，解决增强现实中交互方式存在的问题，具有较好的控制准确性、隐秘性和便捷性。本技术通过如下技术方案实现。一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。优选地，该系统为可穿戴式头箍眼镜式设计，所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。优选地，所述的电极为体表电极或绝缘干电极；所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。优选地，所述界面显示应用装置是增强现实应用装置，所述增强现实应用装置包括透视式镜片显示器、摄像头。优选地，透视式镜片显示器和摄像头分别与所述数据处理装置连接。优选地，所述数据处理装置包括脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。优选地，所述基于所述信号数据确定使用者的操作输入包括关注目标的识别，以及目标菜单选项的选择。优选地，所述的关注目标的识别通过SSVEP范式来完成，所述系统以不同频率和刺激方式呈现视野范围内的对象和元素，通过脑电信号识别出用户关注的目标。优选地，所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识；所述SSVEP范式的刺激方式均以不同的频率进行编码。优选地，所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成，系统根据不同模式的肌电信号将识别的菜单选择选择结果突出显示。通过以上技术方案，本技术能够取得如下技术效果。（1）利用成熟的视觉脑电信号进行关注目标的识别，头皮肌电信号进行菜单选项的选择操作，为增强现实提供了有效可靠的交互方式，具有准确性、隐秘性和便捷性。（2）一体化穿戴式设计，系统佩戴方便，更易为用户所接受。（3）上述交互方式的优点和穿戴式设计可使系统应用于多种特殊的应用场景，如残疾人用户、军事、工程、娱乐等领域，具有巨大的市场价值。附图说明图1是本技术的结构示意图。图2是本技术的系统框架图。图3是交互动态控制模块的处理任务。图4是用户对实物对象和虚拟元素的交互。图5是SSVEP范式的建立和实现要点。图6是视觉刺激方式。图7是肌电信号编码模式。图8是本技术脑机接口穿戴系统的交互流程图。具体实施方式如图1所示，本技术的脑机交互穿戴系统为可穿戴式头箍眼镜式设计，它包括脑电肌电采集模块、增强现实应用模块和数据处理芯片；其中，脑电肌电采集模块、增强现实应用模块分别与数据处理芯片相连。如图2所示，系统各部分包含的模块和相应功能如下：脑电肌电采集模块由电极和直流耦合式模拟前端组成。其中电极可选用常规的体表电极（需导电膏）或绝缘干电极，位置覆盖头皮视觉区域、前额及两侧区域。直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。低增益直流放大模块能够对原始电信号进行直流放大，模数转换模块能够将放大的模拟信号转换为数字信号。增强现实应用模块包括透视式镜片显示器、两个摄像头。其中，透视式镜片显示器用于显示虚拟场景和现实场景的融合信息，两个摄像头用于采集现实场景的视频信息，二者分别与数据处理芯片连接。数据处理芯片包含脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。脑电肌电信号处理模块先对脑电肌电采集模块传输来的数字信号进行滤波等信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；交互动态控制模块进行三组处理任务：一是接收来自摄像头的视频信息，对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息和菜单选项，将数据结果发送至视频融合模块；二是建立虚拟元素和现实对象的SSVEP范式场景刺激；三是接收来自脑电肌电信号处理模块的数据结果，进行用户对关注目标的识别和菜单选项的选择，输出的结果用于增强信息知识库的信息再调取和视频融合模块的再显示。交互动态控制模块的处理任务如图3所示。增强信息知识库包含与现实对象相关的在实物对象上添加的可以进行选择的有本文档来自技高网...

【技术保护点】
一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。

【技术特征摘要】
1.一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。2.根据权利要求1所述的脑机交互穿戴系统，其特征在于，该系统为可穿戴式头箍眼镜式设计，所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。3.根据权利要求2所述的脑机交互穿戴系统，其特征在于，所述的电极为体表电极或绝缘干电极；所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。4.根据权利要求1所述的脑机交互穿戴系统，其特征在于，所述界面显示应用装置是增强现实应用装置，所述增强现实应用装置包括透视式镜片显示器、摄像头。5.根据权利要求4所述的脑机交互穿戴系统，其特征在于，透视式镜片显示...

【专利技术属性】
技术研发人员：黄肖山，胥红来，廖广姗，
申请(专利权)人：博睿康科技常州股份有限公司，
类型：新型
国别省市：江苏,32