一种脑机交互穿戴系统技术方案

本发明专利技术提供了一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出增强现实的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。所述界面显示应用装置可以是增强现实应用装置。

Brain computer interactive wearable system

The invention provides a brain machine interface wearable system, including EEG EMG acquisition device, which is capable of EEG and EMG data of user interface; application of the display device, the user is able to output the augmented reality display; and a data processing device, capable of the EEG and EMG data of polymerization the operation of the user input, determining the signal based on the data, and based on the operation input to determine the user to display the content; the EEG EMG acquisition device, the application interface display device is respectively connected with the data processing device. The interface display application device may be an augmented reality application device.

【技术实现步骤摘要】

本专利技术涉及一种脑机接口穿戴系统，特别是用于增强现实的脑机接口穿戴系统。
技术介绍
脑机接口（brain-computer/machine interface, BCI/BMI）是人脑和计算机或其他外部设备之间建立一条全新的非生物性的信息传输通道（不依赖于常规的脊髓/外周神经肌肉系统），并通过它对外进行信息交流或环境控制。它提供了一种有别于传统的视觉、听觉等通道的交互手段，大大扩展人们与外界交流信息、控制系统的能力。BCI的研究在全球范围内已取得阶段性突破进展，若干类型的BCI实验的准确率已经相当高（如P300、SSVEP、Mu波等）；设备方面各种可穿戴式的EEG设备已进入市场，如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此，BCI的实用化已经提上了日程。一些著名的研究机构如Wadsworth中心、Graz技术大学等正努力推进BCI在医疗康复、娱乐和教育等领域的应用。增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。交互操作是增强现实的核心应用和终极目标。现有的可用于增强现实的交互方法主要有以下几种。（1）手势交互，例如微软公司的HoloLens。该方式的主要思想是用户通过手势来对虚拟项目进行交互操作。其优点在于手势是最直接、最本能的操作方法，是用户与目标进行互动的本能自然行为，可完成对目标的各种预期操作。缺点是当前设备存在可识别的手势有限、无法准确定位拟操作的目标等问题。同时，在一些特殊的应用场景中，如手功能缺失的残疾人、无法腾出手来的作战士兵等都难以自如地对兴趣目标进行操作。（2）语音交互，例如索尼公司的公开号为CN103918284A、专利技术名称为“语音控制装置、语音控制方法和程序”的专利技术专利申请。该方式的主要思想是针对增强现实中的交互项目，通过用户的语音识别来进行选择和确认。其优点在于可解放双手，便捷交互；缺点是语音在嘈杂环境的识别率低下；公共场所人多而杂，使用语音交互可能涉及到个人隐私问题；语音命令识别率等。（3）眼动交互，例如英特尔公司的公开号为CN104395857A、专利技术名称为“显示器的部分的基于眼球追踪的选择性强调”的专利技术专利申请。该方式的主要思想是利用眼球的转动、眨眼等动作，对目标进行选择和确认。其优点在于解放双手，具有隐秘性。缺点是难以区分实际操作指令与无目的性的眼动，频繁操作会对用户的用眼习惯造成影响。
技术实现思路
本专利技术的目的在于提供应用于增强现实的脑机接口穿戴系统，可通过视觉相关脑电和头皮肌电进行系统控制，解决增强现实中交互方式存在的问题，具有较好的控制准确性、隐秘性和便捷性。本专利技术通过如下技术方案实现。一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。优选地，该系统为可穿戴式头箍眼镜式设计，所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。优选地，所述的电极为体表电极或绝缘干电极；所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。优选地，所述界面显示应用装置是增强现实应用装置，所述增强现实应用装置包括透视式镜片显示器、摄像头。优选地，透视式镜片显示器和摄像头分别与所述数据处理装置连接。优选地，所述数据处理装置包括脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。优选地，所述基于所述信号数据确定使用者的操作输入包括关注目标的识别，以及目标菜单选项的选择。优选地，所述的关注目标的识别通过SSVEP范式来完成，所述系统以不同频率和刺激方式呈现视野范围内的对象和元素，通过脑电信号识别出用户关注的目标。优选地，所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识；所述SSVEP范式的刺激方式均以不同的频率进行编码。优选地，所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成，系统根据不同模式的肌电信号将识别的菜单选择选择结果突出显示。本专利技术还提供了一种基于脑机接口穿戴系统的增强现实交互方法，包括如下步骤：步骤一、增强现实应用装置的摄像头采集视区数据，传输给数据处理装置；步骤二、数据处理装置中的交互动态控制模块对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息；步骤三、数据处理装置中的视频融合模块将视频数据与取出的知识信息融合映射在透视式镜片显示器中；步骤四、交互动态控制模块建立虚拟元素和现实对象的SSVEP范式场景刺激，通过视频融合模块显示在透视式镜片显示器中；步骤五、脑电肌电信号处理装置采集脑电肌电信号，传输至数据处理装置；步骤六、数据处理装置中的脑电肌电信号处理模块对脑电肌电采集装置传输来到的数字信号进行滤波等信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；步骤七、交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象，根据识别结果调取增强信息知识库中的菜单选项，通过视频融合模块显示在透视式镜片显示器上；步骤八、交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作，根据选择显示相应的信息或进行下一步交互。步骤九、重复上述步骤进行交互系统操作。通过以上技术方案，本专利技术能够取得如下技术效果。（1）利用成熟的视觉脑电信号进行关注目标的识别，头皮肌电信号进行菜单选项的选择操作，为增强现实提供了有效可靠的交互方式，具有准确性、隐秘性和便捷性。（2）一体化穿戴式设计，系统佩戴方便，更易为用户所接受。（3）上述交互方式的优点和穿戴式设计可使系统应用于多种特殊的应用场景，如残疾人用户、军事、工程、娱乐等领域，具有巨大的市场价值。附图说明图1 是本专利技术的结构示意图。图2是本专利技术的系统框架图。图3是交互动态控制模块的处理任务。图4是用户对实物对象和虚拟元素的交互。图5是SSVEP范式的建立和实现要点。图6是视觉刺激方式。图7是肌电信号编码模式。图8是本专利技术脑机接口穿戴系统的交互流程图。具体实施方式如图1所示，本专利技术的脑机交互穿戴系统为可穿戴式头箍眼镜式设计，它包括脑电肌电采集模块、增强现实应用模块和数据处理芯片；其中，脑电肌电采集模块、增强现实应用模块分别与数据处理芯片相连。如图2所示，系统各部分包含的模块和相应功能如下：脑电肌电采集模块由电极和直流耦合式模拟前端组成。其中电极可选用常规的体表电极（需导电膏）或绝缘干电极，位置覆盖头皮视觉区域、前额及两侧区域。直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。低增益直流放大模块本文档来自技高网...

【技术保护点】
一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。

【技术特征摘要】
1.一种脑机交互穿戴系统，包括脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；界面显示应用装置，其能够向使用者输出用户界面的显示；和数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。2.根据权利要求1所述的脑机交互穿戴系统，其特征在于，该系统为可穿戴式头箍眼镜式设计，所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。3.根据权利要求2所述的脑机交互穿戴系统，其特征在于，所述的电极为体表电极或绝缘干电极；所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。4.根据权利要求1所述的脑机交互穿戴系统，其特征在于，所述界面显示应用装置是增强现实应用装置，所述增强现实应用装置包括透视式镜片显示器、摄像头。5.根据权利要求4所述的脑机交互穿戴系统，其特征在于，透视式镜片显示器...

【专利技术属性】
技术研发人员：黄肖山，胥红来，廖广姗，
申请(专利权)人：博睿康科技常州股份有限公司，
类型：发明
国别省市：江苏;32