脑计算机接口制造技术

一种涉及脑计算机接口的系统和方法，其中视觉刺激与真实世界对象直接相关联地呈现，使得可以推断用户关于真实世界中的对象的意图，而无需介入屏幕或其他显示装置。而无需介入屏幕或其他显示装置。而无需介入屏幕或其他显示装置。

【技术实现步骤摘要】
【国外来华专利技术】脑计算机接口
[0001]相关申请的交叉引用
[0002]本申请要求于2019年11月20日提交的题为“BRAIN
‑
COMPUTER INTERFACE”的序列号为62/938,112的美国临时专利申请的优先权的权益，其全部内容通过引用并入本文。
[0003]专利技术的

[0004]本专利技术涉及通过涉及视觉感测的脑计算机接口对真实世界的对象的控制。

技术介绍

[0005]在视觉脑计算机接口(BCI)中，通常在呈现给用户的多个生成的视觉刺激中，对目标刺激的神经响应被用来推断(或“解码”)在任何给定时间哪个刺激实质上是关注对象。然后，可以将关注对象与用户可选择或用户可控制的动作相关联。
[0006]可以使用多种已知技术获得神经响应。一种方便的方法依赖于表面脑电图(EEG)，其是非侵入性的、具有细粒度的时间分辨率、并且基于公知的经验基础。表面EEG使得可以实时测量受试者颅骨的表面(即头皮)上的扩散电位的变化。这些电位的变化通常被称为脑电图信号或EEG信号。
[0007]在典型的BCI中，视觉刺激呈现在由显示装置生成的显示中。合适的显示装置(其中一些在图3中示出)的示例包括电视屏幕和计算机监视器302、投影仪310、虚拟现实头戴式耳机306、交互式白板、以及平板电脑304、智能电话、智能眼镜308等的显示屏幕。视觉刺激311、311
’
、312、312
’
、314、314
’
、316可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为覆盖基本图像的增强现实(AR)或混合现实图形对象316：该基本图像可以简单地是用户的实际视场(如在投影到一组智能眼镜的原本透明的显示器上的混合现实显示功能的情况下)或者是对应于用户的视场但由光学捕获装置实时捕获的数字图像(光学捕获装置又可以在其他可能的视图中捕获对应于用户的视场的图像)。
[0008]推断在任何给定时间多个视觉刺激(如果有)中的哪个视觉刺激是关注对象充满困难。例如，当用户面对多个刺激(例如，显示在屏幕键盘上的数字)时，已经证明几乎不可能从脑活动直接推断出在给定时间哪个刺激在受关注。用户感知到在受关注的数字(假设数字5)，因此脑必须包含将该数字与其他数字区分开的信息，但是当前的方法不能够提取该信息。即，当前的方法可以推断出已经感知到刺激，但是这些方法无法仅使用脑活动来确定哪个特定刺激在受关注。
[0009]为了克服该问题并且为了在刺激与背景之间(以及刺激之间)提供足够的对比度，已知将由视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色，反之亦然)，使得每个刺激具有随时间变化的可区分特征分布。闪烁的刺激引起可测量的电响应。特定技术监视不同的电响应，例如稳态视觉诱发电位(SSVEP)和P
‑
300事件相关电位。在典型的实现方式中，刺激以超过6Hz的速率闪烁。结果，这样的视觉BCI依赖于以下方法：该方法包括在显示装置中离散地而不是持续地、并且通常在不同的时间点显示各种刺激。与关注给定刺激的注意力相关联的脑活动被发现与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)对应(即相
关)。
[0010]因此，神经信号的解码依赖于以下事实：当刺激被开启时，刺激将触发脑中的神经响应的特征模式，该特征模式可以从电信号即SSVEP或P
‑
300电位确定，该SSVEP或P
‑
300电位由EEG装置的电极(例如EEG头盔的电极)拾取。这种神经数据模式对于不同的数字可能非常相似甚至相同，但是其被时间锁定至数字被感知：在任一时间仅一个数字可以脉冲，使得可以将数字脉冲的时间与脉冲神经响应的相关性确定为该数字是关注对象的指示。通过在不同的时间点显示每个数字、以不同的速率开启和关闭该数字、应用不同的占空比、以及/或者简单地在不同的时间点应用刺激，BCI算法可以建立哪个刺激在被开启时最有可能触发给定的神经响应，从而使得系统能够确定在受关注的目标。
[0011]近年来，视觉BCI已经显著地改进，使得对用户的关注的实时和准确解码变得越来越实际。然而，刺激的持续闪烁——有时在存在很多刺激时会在整个屏幕上闪烁——是大规模使用该技术的固有限制。事实上，这会引起不适和精神疲劳，并且如果持续下去，还会引起例如头痛的生理响应。另外，闪烁效果会妨碍用户关注特定目标的能力，以及系统快速准确地确定关注对象的能力。例如，当用户试图关注数字5时，其他(即外围)数字充当干扰物——其暂时地吸引用户的注意力，并且对用户的视觉系统产生干扰。这种干扰又会妨碍BCI的性能。因此，需要用于区分屏幕目标和其显示刺激以确定用户正在关注哪一个的改进的方法。
[0012]对呈现视觉刺激的某种显示装置的要求限制了前述技术的应用。特别地，合适的显示器可能不可用或不期望。在某些应用中，通过屏幕与对象交互可能不方便或不切实际。此外，EEG装置(及其电极)的用户可接受性带来了审美约束、以及舒适性和易用性方面的约束。在许多情况下，这些约束是采用EEG技术的有效重大障碍。长期使用舒适性和需要技术帮助阻碍采用的应用的示例包括诸如视频游戏、训练(例如，用于健康和安全或飞行模拟)、睡眠辅助等应用。
[0013]因此，期望提供解决上面的挑战的脑计算机接口。

技术实现思路

[0014]本公开内容涉及脑计算机接口，其中视觉刺激与真实世界对象直接相关联地呈现，使得用户的意图可以扩展到真实世界中的对象，而无需介入屏幕或其他显示装置，从而提供改进的和直观的用户体验。
[0015]本公开内容涉及用于将视觉刺激应用于其他常规的真实世界对象的技术，该真实世界对象在处于用户的视场内时呈现为潜在感兴趣的对象。
[0016]在某些实施例中，所应用的视觉刺激可以包括将具有时间调制的覆盖图像投影到一个或更多个真实世界对象上。调制使得对象闪烁或以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个感兴趣的对象是用户的注意力焦点。
[0017]在其他实施方式中，对象本身可以包括能够发射具有时间调制的光的一个或更多个光源。这里同样地，调制使得对象闪烁或以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个感兴趣的对象是用户的注意力焦点。
[0018]在其他实施方式中，可以设置与真实世界可控制对象分开但逻辑上与它们中的至少之一相关联的电子徽章。电子徽章包括能够发射具有时间调制的光的一个或更多个光源。与传统的屏幕和显示装置不同，电子徽章典型地尺寸小并且可以专用于输出视觉刺激。所发射的光中的调制使得电子徽章的显示部分闪烁或者以其他方式在视觉上改变，使得该调制充当用户的脑中的相关神经响应的刺激。神经响应又可以被测量和解码以确定哪个电子徽章是用户的注意力焦点，并且由于徽章逻辑上与真实世界对象相关联，因此从而确定真实世界对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种脑计算机接口系统，包括：至少一个发光单元，所述至少一个发光单元输出由刺激生成器生成的相应的视觉刺激，所述视觉刺激具有特征调制；至少一个可控制对象，所述至少一个可控制对象被配置成接收用户的指令，每个可控制对象与至少一个视觉刺激相关联；神经信号捕获装置，所述神经信号捕获装置被配置成捕获与所述用户相关联的神经信号；接口装置，所述接口装置操作地耦接至所述神经信号捕获装置和所述可控制对象，所述接口装置包括：存储器；以及处理器，所述处理器操作地耦接至所述存储器并且所述处理器被配置成：从所述神经信号捕获装置接收所述神经信号；基于所述神经信号来确定所述至少一个视觉刺激中的哪个视觉刺激是所述用户的关注对象，所述关注对象是根据具有与所述视觉刺激的特征调制相关联的性质的分量在所述神经信号中的存在推断的；以及将命令发送至被确定为与所述关注对象相关联的所述可控制对象，其中，所述可控制对象基于所述命令来实现动作。2.根据权利要求1所述的脑计算机接口系统，其中，实现所述动作包括控制所述可控制对象从待机状态改变状态。3.根据权利要求1或权利要求2所述的脑计算机接口系统，其中，所述至少一个可控制对象包括所述刺激生成器和用于输出由所述刺激生成器生成的所述视觉刺激的发光单元。4.根据权利要求1或权利要求2所述的脑计算机接口系统，其中，所述刺激生成器和所述发光单元被设置在电子徽章中，所述电子徽章与所述至少一个可控制对象分开，但逻辑上与所述至少一个可控制对象相关联。5.根据权利要求1或权利要求2所述的脑计算机接口系统，其中，所述发光单元是投影仪，所述投影仪操作地耦接至所述刺激生成器并且将所述相应的视觉刺激投影到所述可控制对象上；并且其中，所述可控制对象反射所投影的刺激。6.根据权利要求1至4中任一项所述的脑计算机接口系统，其中，所述发光单元或每个发光单元包括以下中的至少一个：单个发光二极管(LED)；发光二极管阵列；液晶显示(LCD)装置；有机发光二极管(OLED)显示器；或者电弧。7.根据权利要求1至6中任一项所述的脑计算机接口系统，还包括处理装置，所述处理装置包括所述刺激生成器，其中，所述处理装置与所述接口装置通信地耦接，所述处理装置被配置成将指示所生成的视觉刺激的信息传送至所述接口装置。8.根据权利要求1至7中任一项所述的脑计算机接口系统，其中，所述调制被选择性地应用于显示数据的高空间频率(HSF)分量。9.一种操作脑计算机接口系统的方法，所述脑计算机接口系统包括神经信号捕获装置和用于输出由刺激生成器生成的视觉刺激的至少一个发光单元，所述视觉刺激具...

【专利技术属性】
技术研发人员：西德，
申请(专利权)人：奈克斯特曼德公司，
类型：发明
国别省市：