脑计算机接口制造技术

一种涉及脑计算机接口的系统和方法，其中提供了覆盖一个或更多个对象的视觉刺激，该视觉刺激的至少一部分具有特性调制。脑计算机接口测量对用户所观看的对象的神经响应。对视觉刺激的神经响应与调制相关，当注意力集中在视觉刺激上时，相关性更强。视觉刺激包括反馈元素，该反馈元素根据对该覆盖的对象或每个覆盖的对象的注意力的测量而变化。的对象的注意力的测量而变化。的对象的注意力的测量而变化。

【技术实现步骤摘要】
【国外来华专利技术】脑计算机接口
[0001]相关申请的交叉引用
[0002]本申请要求于2019年12月18日提交的题为“Brain
‑
Computer Interface”的序列号为62/949,803的美国临时专利申请的优先权权益，该美国临时专利申请的全部内容通过引用并入本文。


[0003]本公开内容的实施方式涉及包括视觉感测的脑计算机接口的操作，并且特别地涉及通过这种接口的反馈交互。

技术介绍

[0004]在视觉脑计算机接口(BCI)中，通常使用对呈现给用户的多个生成的视觉刺激中的目标刺激的神经响应来推断(或“解码”)在任何给定时间哪个刺激实质上是关注对象。然后，可以将关注对象与用户可选择或用户可控制的动作相关联。
[0005]可以使用多种已知技术获得神经响应。一种方便的方法依赖于表面脑电图(electroencephalography，EEG)，其是非侵入性的、具有细粒度的时间分辨率、并且基于公知的经验基础。表面EEG使得可以实时测量主体颅骨的表面(即头皮)上的扩散电位的变化。这些电位的变化通常被称为脑电图信号或EEG信号。
[0006]在典型的BCI中，视觉刺激呈现在由显示装置生成的显示中。合适的显示装置的示例(其中一些在图9中示出)包括电视屏幕和计算机监视器902、投影仪910、虚拟现实头戴式耳机906、交互式白板、以及平板电脑904、智能电话、智能眼镜908等的显示屏幕。视觉刺激911、911
’
、912、912
’
、914、914r/>’
、916可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为覆盖基本图像的增强现实(AR)或混合现实图形对象916：该基本图像可以简单地是用户的实际视场(如在投影到一组智能眼镜的在其他情况下透明的显示器上的混合现实显示功能的情况下)或者是对应于用户的视场但由光学捕获装置实时捕获的数字图像(光学捕获装置继而可以捕获其他可能的视图中的对应于用户的视场的图像)。
[0007]推断在任何给定时间多个视觉刺激(如果有)中的哪个视觉刺激是关注对象充满困难。例如，当用户面对多个刺激(例如，诸如显示在屏幕上的键盘上的数字)时，已经证明几乎不可能从脑活动直接推断出在给定时间哪个刺激在受关注。用户感知到在受关注的数字(假设数字5)，因此脑必须包含将该数字与其他数字区分开的信息，但是当前的方法不能够提取该信息。即，当前的方法可以较难地推断出已经感知到刺激，但是这些方法无法仅使用脑活动来确定哪个特定刺激在受关注。
[0008]为了克服该问题并且为了在刺激与背景之间(以及刺激之间)提供足够的对比度，已知将由视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色以及从白色切换到黑色)，使得每个刺激具有随时间推移的可区分特性分布。闪烁的刺激引起可测量的电响应。特定技术监视不同的电响应，例如稳态视觉诱发电位(SSVEP)和P
‑
300事件相关电位。在典型的实现方式中，刺激以超过6Hz的速率闪烁。因此，这样的视觉BCI依赖
于以下方法：该方法包括离散地而不是持续地、并且通常在不同的时间点显示各种刺激。与关注给定刺激的注意力相关联的脑活动被发现与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)对应(即，相关)。
[0009]因此，神经信号的解码依赖于以下事实：当刺激被开启时，刺激将触发脑中的神经响应的特性模式，该特性模式可以从电信号即SSVEP或P
‑
300电位确定，该SSVEP或P
‑
300电位由EEG装置的电极(例如EEG头盔的电极)拾取。这种神经数据模式对于不同的数字可能非常相似甚至相同，但是其被时间锁定至被感知的数字：在任一时间仅一个数字可以产生脉冲，使得可以将数字产生脉冲的时间与脉冲神经响应的相关性确定为该数字是关注对象的指示。
[0010]通过在不同的时间点显示每个数字、以不同的速率开启和关闭该数字、应用不同的占空比、以及/或者简单地在不同的时间点施加刺激，BCI算法可以建立哪个刺激在被开启时最有可能触发给定的神经响应，从而使得系统能够确定在受关注的目标。
[0011]近年来，视觉BCI已经显著地改进，使得对用户的关注的实时和准确解码变得越来越实际。然而，刺激的持续闪烁、有时在存在很多刺激时会在整个屏幕上闪烁、是大规模使用该技术的固有限制。事实上，这会引起不适和精神疲劳，并且如果持续下去，还会引起例如头痛的生理响应。另外，闪烁效果会妨碍用户关注特定目标的能力，以及系统快速准确地确定关注对象的能力。
[0012]例如，当上面所讨论的屏幕上的键盘的用户试图关注数字5时，其他(即，外围)数字充当干扰物，这些数字的存在以及这些数字表现出闪烁效果的事实暂时地吸引用户的注意力。外围数字的显示对用户的视觉系统产生干扰。这种干扰继而会妨碍BCI的性能。
[0013]因此，需要用于以速度和准确度区分屏幕目标及其显示刺激以确定用户正在关注哪一个以及用于以速度和准确度将关注对象(目标)与目标外围的对象(干扰物)判别的改进的方法。
[0014]因此，期望提供解决上面的挑战的脑计算机接口。

技术实现思路

[0015]本公开内容涉及一种脑计算机接口，在该脑计算机接口中，视觉刺激被呈现在图形界面上，使得视觉刺激是神经可解码的，并且提供改进的用户体验。
[0016]本公开内容还涉及一种脑计算机接口(BCI)，在该脑计算机接口中，覆盖一个或更多个对象的视觉刺激包括相应的反馈元素，该反馈元素根据对该对象或每个对象的注意力的测量而变化。视觉刺激由刺激生成器生成并且通常呈现在屏幕或其他显示装置上。
[0017]视觉刺激的至少一部分具有特性调制。对用户视场中的对象的神经响应由BCI中的神经信号捕获装置捕获。用户对所观看对象的神经响应继而可以被测量和解码，以确定哪个感兴趣的对象是用户注意力的焦点以及用户对该对象的当前注意力水平，当注意力集中在视觉刺激上时，神经响应更强。
[0018]反馈元素的变化被设置成与神经响应的强度有关联。因此，视觉刺激的反馈元素可以改变视觉形式(以便用户看到对应于其注意力水平的反馈元素上的效果)。此外，为用户提供该注意力的目标，并且用户可以调整用户的行为以增强视觉效果(有效地学习如何
更高效地操作BCI)。换言之，用户看到其正在经由BCI引起的反馈元素上的效果，并且可以通过寻求以观察效果变化来学习使用BCI来集中注意力。另外，与集中注意力相关联的视觉效果的出现用于验证对底层对象的选择。
[0019]在某些实施方式中，反馈元素将从缺乏注意力到集中注意力水平的注意力程度表示为视觉元素的无序(例如，伪随机)分布到完全有序分布(例如，到可识别的形状、字符或符号，例如标线、目标标记或十字准线)之间的渐进式逐步变化或连续变化。
[0020]在某些实施方式中，整个视觉刺激是反馈元素。在其他实施方式中，除了反本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种脑计算机接口系统，包括：显示单元，其用于显示图像数据，所述图像数据包括至少一个对象，所述显示单元还输出相应的视觉刺激以对应于所述对象中的一个或更多个；刺激生成器，其用于生成具有对应的特性调制的所述视觉刺激或每个视觉刺激；神经信号捕获装置，其被配置成捕获与用户相关联的神经信号；以及接口装置，其可操作地耦接至所述神经信号捕获装置和所述刺激生成器，所述接口装置被配置成：从所述神经信号捕获装置接收所述神经信号；确定所述神经信号的具有与所述视觉刺激或每个视觉刺激的相应特性调制相关联的性质的分量的强度；基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激与所述用户的关注对象相关联，所述关注对象是从所述神经信号的具有与所述视觉刺激的特性调制相关联的性质的分量的存在和/或相对强度推断的；以及使所述刺激生成器生成具有反馈元素的针对所述关注对象的视觉刺激，所述反馈元素以根据所确定的具有与针对所述关注对象的视觉刺激的特性调制相关联的性质的分量的强度而变化的效果显示。2.根据权利要求1所述的脑计算机接口系统，其中，所述反馈元素的显示效果作为响应强度的线性函数而变化。3.根据权利要求1所述的脑计算机接口系统，其中，所述反馈元素的显示效果作为响应强度的非线性函数而变化。4.根据权利要求3所述的脑计算机接口系统，其中，所述非线性函数选自sigmoid函数、整流线性单元(RELU)函数或双曲切线函数。5.根据权利要求1至4中任一项所述的脑计算机接口系统，其中，所述调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。6.根据权利要求1至5中任一项所述的脑计算机接口系统，其中，所述显示效果包括从初始视觉状态到最终视觉状态的逐步变化或连续变化。7.根据权利要求1至6中任一项所述的脑计算机接口系统，其中，所述视觉刺激是所述反馈元素。8.根据权利要求1至7中任一项所述的脑计算机接口系统，其中，除了所述反馈元素之外，所述视觉刺激还包括背景元素。9.根据权利要求8所述...

【专利技术属性】
技术研发人员：尼古拉斯，
申请(专利权)人：奈克斯特曼德公司，
类型：发明
国别省市：