具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口制造技术

本文描述的实施例涉及用于在呈现和更新被策略性地设计用于人机交互的高速和准确度的用户界面/用户体验的同时在具有或不具有提供附加信息源的附加传感器的情况下跟踪大脑活动的大脑‑计算机接口的实现的系统、设备和方法。本文描述的实施例还涉及使用神经信号来介导用户对机器和设备的操纵的硬件不可知的大脑‑计算机接口的实现。

【技术实现步骤摘要】
【国外来华专利技术】具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口相关申请的交叉引用本申请要求于2018年1月18日提交的标题为“Brain-ComputerInterfacewithAdaptationsforHigh-Speed,Accurate,andIntuitiveUserInteractions”的美国临时专利申请序列No.62/618,846的优先权和权益，通过引用将其公开内容整体并入本文。
本文所述的实施例涉及在大脑-计算机接口的实现中使用的系统、设备和方法，所述大脑-计算机接口将实时的眼睛运动和/或头部运动跟踪与大脑活动跟踪集成，以呈现并更新被策略性地设计用于人机交互的高速度和准确度的用户界面(UI)或用户体验(UX)。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口使用实时眼睛跟踪和神经活动的在线分析来介导用户对机器的操纵。
技术介绍
大脑-计算机接口(BCI)是一种硬件和软件通信系统，它允许大脑活动单独利用连线的大脑与外部设备之间的直接通信路径来控制计算机或外部设备。BCI主要被设计为一种通过解释大脑信号来直接提供对于操作机器和应用的访问的辅助技术。BCI发展的主要目标之一是为因神经系统神经肌肉紊乱(诸如肌萎缩性侧索硬化症、脑干中风或脊髓损伤)而完全瘫痪或“锁定”的严重残疾人士提供交流能力，对于这些严重残疾人士来说，与他人进行有效的交流可能非常困难。大脑-计算机接口的一些已知实现包括拼写器，如Farwell和Donchin所设计的拼写器。在这个拼写器中，字母表中的26个字母以及其它几个符号和命令按6×6矩阵显示在屏幕上，其中行和列随机闪烁。用户将注意力集中在屏幕上，并连续地专注于要书写的字符，同时监视大脑的神经反应以寻找特征神经大脑信号。一旦检测到特征大脑信号，就允许系统识别期望的符号。Farwell-Donchin拼写器允许人们以每分钟2个字符的速度进行拼写。BCI系统可以被设计为帮助和增强甚至有身体能力的人来操作计算机或其它数据处理机器和/或软件应用，而无需常规的输入或输出接口，诸如鼠标和键盘。与常规输入方法相比，BCI还可以提供与计算机进行更直观和自然交互的界面。此外，BCI也可以被开发为服务于许多其它功能，包括增强、修复以及映射和研究人类和动物的认知和/或感觉运动系统及其功能。一些BCI应用包括文字处理器、经适配的Web浏览器、轮椅或神经假肢的大脑控制以及游戏等。
技术实现思路
本文针对硬件不可知的、集成的动眼(oculomotor)-神经混合大脑-计算机接口(BCI)平台的各种实施例描述了系统、设备和方法，以跟踪眼睛运动和大脑活动，从而介导用户注视或注意的实时定位以及对期望动作的选择/激活。本公开提出了一种集成的BCI系统，以解决对以高速度和精度操作的大脑-计算机接口的需求。附图说明图1是根据实施例的混合大脑-计算机接口系统的示意图。图2是使用BCI设备的实施例的用于选择/取消选择一个刺激图标的指向控制特征和动作控制特征的示例性实现中的步骤序列的图示。图3A、3B和3C分别示出了在呈现选项时、在实现指向控制特征之后以及在实现动作控制特征之后的UI/UX。图3D图示了根据实施例的安装有眼睛跟踪器和神经记录头戴式装置的用户。图3E和3F示出了由图3D中所示的眼睛跟踪器和神经记录头戴式装置获取的示例性信号。图3G是根据实施例的通过在BCI设备中使用的示例性分类器进行的信号分析的图示。图4示出了根据实施例的由大脑-计算机接口设备中的处理器遵循以便确定用户意图的示例性操作流程。图5A图示了BCI系统、拼写器的示例性UI/UX，呈现了示例性刺激组(例如，标签组闪烁)。图5B示出了根据实施例的使用BCI系统的响应于刺激(或标签组)的呈现而获取的示例性神经信号，其中刺激包括或不包括用户意图的目标标签或刺激。图5C图示了根据实施例的使用BCI系统的响应于标签组闪烁的重复呈现而从各个大脑区域获取的示例性大脑信号。图6A示出了由BCI系统的实施例获取的大脑活动信号的图示。图6B图示了根据实施例的由BCI系统中的分类器对大脑活动信号的示例性分析。图7是图示根据实施例的在BCI系统中确定感兴趣的目标或标签的示例性方法的流程图。图8A和8B图示了根据实施例的在实现BCI系统时使用的用于确定用户兴趣的目标或标签的示例性分析方法。图9图示了根据实施例的在BCI系统中确定感兴趣的标签的示例性方法的示意性流程图。图10A示出了根据实施例的具有可视标签或符号的示例性UI/UX，其图示了用于确定感兴趣的标签的、标签之间的距离相关关系。图10B和10C图示了根据实施例的用于确定目标标签的、由附近的标签诱发的大脑信号活动之间的距离相关关系。图11是图示根据实施例的在BCI系统中确定感兴趣的目标或标签的示例性方法的流程图。图12图示了根据实施例的在确定感兴趣的标签时基于距离的与标签相关联的分数的缩放(scaling)的示例性方法的示意性流程图。图13图示了根据实施例的在确定感兴趣的标签时结合基于距离的分数缩放的示例性方法的示意性流程图。图14是图示根据实施例的在BCI系统中确定感兴趣的目标或标签的示例性方法的流程图。图15图示了根据实施例的基于眼睛运动信号生成视觉分数的示例性过程的示意性流程图。图16是图示根据实施例的结合来自各个传感器的信号确定感兴趣的目标标签的示例性方法的流程图。图17图示了根据实施例的组合来自各个传感器的信号的分析以确定目标标签的示例性过程的流程图。具体实施方式本文所述的实施例涉及在大脑-计算机接口(BCI)的实现中使用的系统、设备和方法，该大脑-计算机接口分析在向用户呈现被策略性地设计用于人机交互的高速度和准确度的用户界面(UI)或用户体验(UX)时记录的大脑活动。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口使用神经大脑信号的分析来介导用户对接口、设备和/或机器的操纵。为了使BCI技术更适合患者、对普通大众有用，并用于控制真实世界中的任务，与当前的实现相比，必须提高信息传送速率以满足自然的交互速度、必须降低错误率并且必须最小化交互接口的复杂性。此外，BCI应用要求用户承担高认知负担，因此必须改进UI/UX和信号的底层处理，以从安静的实验室环境转移到真实世界。为了将BCI设备和应用配置得更简单、更直观，在实现大脑机器接口时需要改进的设备和技术，这些设备和技术以高速度和高准确度操作，以使得通过自然直观的处理介导用户的动作选择。BCI系统如本文所述，BCI是一种硬件和软件通信系统，其允许大脑活动单独地或与如动眼活动或运动神经元(例如，EMG)活动的其它活动组合地控制计算机或外部设备。BCI系统包括通过界面的刺激的显示、用于在界面上定位用户的焦点的硬件装置、用于记录和处理大脑活动的设备本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n显示器，被配置为向用户呈现控制界面，该控制界面包括各自与动作相关联的多个控制项；/n神经记录设备，被配置为记录与用户相关联的神经信号；以及/n接口设备，可操作地耦合到显示器和神经记录设备，该接口设备包括：/n存储器；以及/n处理器，可操作地耦合到存储器并且被配置为：/n经由控制接口单个地呈现刺激集合，所述刺激集合中的每个刺激包括所述多个控制项中的控制项集合；/n在呈现所述刺激集合中的每个刺激之后，从神经记录设备接收与所述刺激相关联的神经信号集合；/n基于所述刺激集合中的每个刺激的神经信号集合，确定与所述多个控制项中的每个控制项相关联的分数；/n基于与所述多个控制项中的每个控制项相关联的分数来确定用户的焦点，该焦点与所述多个控制项中的至少一个控制项相关联；以及/n基于焦点来确定用户意图的动作。/n

【技术特征摘要】
【国外来华专利技术】20180118 US 62/618,8461.一种装置，包括：
显示器，被配置为向用户呈现控制界面，该控制界面包括各自与动作相关联的多个控制项；
神经记录设备，被配置为记录与用户相关联的神经信号；以及
接口设备，可操作地耦合到显示器和神经记录设备，该接口设备包括：
存储器；以及
处理器，可操作地耦合到存储器并且被配置为：
经由控制接口单个地呈现刺激集合，所述刺激集合中的每个刺激包括所述多个控制项中的控制项集合；
在呈现所述刺激集合中的每个刺激之后，从神经记录设备接收与所述刺激相关联的神经信号集合；
基于所述刺激集合中的每个刺激的神经信号集合，确定与所述多个控制项中的每个控制项相关联的分数；
基于与所述多个控制项中的每个控制项相关联的分数来确定用户的焦点，该焦点与所述多个控制项中的至少一个控制项相关联；以及
基于焦点来确定用户意图的动作。


2.如权利要求1所述的装置，其中：
神经信号包括脑电图(EEG)信号，EEG信号包括以下中的至少一种：事件相关电位(ERP)、运动想象信号、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、如P300诱发电位的诱发电位、感觉诱发电位、运动诱发电位、诸如mu节律或beta节律之类的感觉运动节律、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)，或与大脑状态有关的信号，
处理器还被配置为处理所述刺激集合中的每个刺激的所述神经信号集合，以从EEG信号中提取与特征集合相关联的信息，并且
处理器被配置为使用与所述特征集合相关联的信息来确定与所述多个控制项中的每个控制项相关联的分数。


3.如权利要求2所述的装置，其中所述特征集合包括以下中的至少一个：神经信号中包括的响应的振幅、响应的持续时间、响应的形状、响应相对于所述刺激集合中的刺激的呈现的定时，或者与神经信号相关联的频率。


4.如权利要求1所述的装置，还包括被配置为记录与用户相关联的眼睛运动信号的眼睛跟踪设备，
处理器还被配置为在呈现所述刺激集合中的每个刺激之后从眼睛跟踪设备接收与所述刺激相关联的眼睛运动信号集合，
处理器被配置为基于与所述刺激集合中的每个刺激相关联的所述神经信号集合和眼睛运动信号集合来确定与所述多个控制项中的每个控制项相关联的分数。


5.如权利要求1所述的装置，其中：
所述控制项集合中的每个控制项与视觉表示相关联，并且
处理器被配置为通过针对正在呈现的刺激集合中的每个刺激改变与该刺激中包括的所述控制项集合中的每个控制项相关联的视觉表示的外观来单个地呈现所述刺激集合。


6.如权利要求5所述的装置，其中，改变外观包括视觉表示的尺寸、颜色、色调、纹理、轮廓、朝向、强度、厚度或移动性中的至少一个的改变。


7.如权利要求1所述的装置，其中，处理器被配置为通过计算所述多个控制项中的每个控制项的可能性估计来确定与所述多个控制项中的每个控制项相关联的分数，所述多个控制项中的每个控制项的可能性估计指示该控制项与用户的焦点相关联的可能性。


8.如权利要求1所述的装置，其中，处理器还被配置为实现用户意图的动作，该动作是所述多个控制项中的控制项的激活或去激活中的至少一个。


9.如权利要求8所述的装置，其中，所述焦点是在第一时间段期间的第一焦点，所述动作是第一动作，并且处理器还被配置为：
确定用户在第一时间段之后的第二时间段期间的第二焦点，该第二焦点与所述多个控制项中的至少一个控制项相关联；
基于所述第二焦点来确定用户意图的第二动作，该第二动作不同于第一动作；以及
在实现第一动作之后，实现用户意图的第二动作。


10.如权利要求1所述的装置，其中，处理器还被配置为使用统计模型集合根据至少一个分类方案来对与所述刺激集合中的每个刺激相关联的所述神经信号集合进行分类，
处理器被配置为基于与所述刺激集合中的每个刺激相关联的所述神经信号集合的分类来确定与所述多个控制项中的每个控制项相关联的分数。


11.一种非暂态处理器可读介质，其存储表示将由处理器执行的指令的代码，所述指令包括使处理器执行以下操作的代码：
生成被配置为要由用户操纵以执行动作集合的控制界面；
经由控制界面向用户呈现刺激，该刺激包括控制项集合，该控制项集合中的每个控制项与所述动作集合中的至少一个动作相关联；
在向用户呈现刺激之后，从神经记录设备接收与用户相关联的信息；
基于从神经记录设备接收的信息，确定与所述控制项集合中的每个控制项相关联的分数；
基于与所述控制项集合中的每个控制项相关联的分数来确定用户的焦点；以及
识别所述控制项集合中与用户的焦点相关联的至少一个控制项。


12.如权利要求11所述的非暂态处理器可读介质，其中：
从神经记录设备接收的信息包括与用户相关联的神经信号，该神经信号包括脑电图(EEG)信号，EEG信号包括以下中的至少一种：事件相关电位(ERP)、运动想象信号、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、如P300诱发电位的诱发电位、感觉诱发电位、运动诱发电位、诸如mu节律或beta节律之类的感觉运动节律、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)，或与大脑状态有关的信号，
所述指令还包括使处理器处理神经信号以从EEG信号中提取与特征集合相关联的信息的代码，并且
使处理器确定与所述控制项集合中的每个控制项相关联的分数的代码包括使处理器使用与所述特征集合相关联的信息来确定与所述多个控制项中的每个控制项相关联的分数的代码。


13.如权利要求11所述的非暂态处理器可读介质，其中：
使处理器确定与所述控制项集合中的每个控制项相关联的分数的代码包括使处理器执行以下操作的代码：
计算所述多个控制项中的每个控制项的可能性估计，所述多个控制项中的每个控制...

【专利技术属性】
技术研发人员：R·阿尔塞德，D·帕登，J·简茨，J·哈梅特，J·小莫里斯，A·珀瑞拉，
申请(专利权)人：神经股份有限公司，
类型：发明
国别省市：美国;US