脑机接口制造技术

一种涉及脑机接口的系统和方法，其中提供覆盖一个或更多个对象的视觉刺激，该视觉刺激具有特征调制。该脑机接口测量对由用户观看的对象的神经响应。对视觉刺激的神经响应与调制相关。该方法使得接口能够在仅观看显示对象与该显示对象的有意选择(例如，作为进一步动作的触发器)之间进行区分。的触发器)之间进行区分。的触发器)之间进行区分。

【技术实现步骤摘要】
【国外来华专利技术】脑机接口
[0001]相关申请的交叉引用
[0002]本申请要求于2020年1月7日提交的标题为“BRAIN
‑
COMPUTER INTERFACE”的美国临时专利申请序列第62/958,072号的优先权的权益，该临时专利申请通过引用整体并入本文。


[0003]本公开内容的实施方式涉及在涉及视觉感测的脑机接口中的探索与选择之间的区别。

技术介绍

[0004]在视觉脑机接口(BCI)中，通常在呈现给用户的多个生成的视觉刺激当中，对目标刺激的神经响应用于推断(或“解码”)在任何给定时间哪个刺激基本上是聚焦对象。然后，聚焦对象可以与用户可选择或用户可控制的动作相关联。
[0005]可以使用各种已知技术来获得神经响应。一种方便的方法依赖于表面脑电图(EEG)，该表面脑电图是非侵入性的、具有细粒度的时间分辨率并且基于众所周知的经验基础。表面EEG使得可以实时测量受试者的头骨(即，头皮)的表面的扩散电位变化。这些电位变化通常被称为脑电图信号或EEG信号。
[0006]在典型的BCI中，视觉刺激呈现在由显示设备生成的显示中。合适的显示设备的示例(其中一些在图3中示出)包括：电视屏幕和计算机监视器302、投影仪310、虚拟现实头戴式装置306、交互式白板，以及平板304、智能电话、智能眼镜308的显示屏幕等。视觉刺激311、311
’
、312、312
’
、314、314
’
、316可以形成生成的图形用户接口(GUI)的一部分，或者它们可以呈现为覆盖在基础图像上的增强现实(AR)或混合现实图形对象316：该基础图像可以仅仅是用户的实际视野(如在投影到一组智能眼镜的另外透明显示器上的混合现实显示功能的情况下)或与用户的视野相对应但由光学捕获设备(该光学捕获设备又可以捕获在其他可能的视图当中的与用户的视野相对应的图像)实时捕获的数字图像。
[0007]推断在任何给定时间多个视觉刺激(如果有的话)中的哪个视觉刺激是聚焦对象是充满困难的。例如，当用户面对多个刺激诸如例如屏幕键盘上显示的数字时，(见图4)，已经证明了很难直接从大脑活动来推断出在给定时间哪一个处于聚焦之下。用户感知到聚焦之下的数字(比方说数字5)，因此大脑必须包含将该数字与其他数字区分开来的信息，但目前的方法无法提取该信息。也就是说，目前的方法可以推断已经感知到刺激，但它们无法仅使用大脑活动来确定哪个特定刺激处于聚焦之下。
[0008]为了克服这种问题，并在刺激与背景之间(以及刺激之间)提供足够的对比，已知的是将视觉BCI使用的刺激配置成闪烁或脉冲(例如，像素的大表面从黑色切换到白色，反之亦然)，使得每个刺激随时间具有可区分的特征分布。闪烁的刺激引起可测量的电响应。特定技术监测不同的电响应，例如稳态视觉诱发电位(SSVEP)和P
‑
300事件相关电位。在通常的实现中，刺激以超过6Hz的频率闪烁。因此，这样的视觉BCI依赖于下述方法，该方法包
括离散地而不是持续地、并且通常在不同的时间点在显示设备中显示各种刺激。发现与聚焦于给定刺激的注意力相关联的大脑活动与该刺激的时间分布的一个或更多个方面(例如刺激闪烁的频率和/或刺激在闪烁状态与静止状态之间交替的占空比)相对应(即，相关)。
[0009]因此，神经信号的解码依赖于这样的事实：当刺激开启(即，呈现)时，它将触发大脑中神经响应的特征模式，该特征模式可以根据电信号——即由EEG设备的电极(例如EEG头盔的电极)拾取的SSVEP或P
‑
300电位——确定。继续图4所示的键盘示例，这种神经数据模式对于不同的数字可能非常相似，甚至完全相同，但它对被感知的数字是时间锁定的：在任何一个时间，只有一个数字可以脉冲，使得与脉冲神经响应的相关性和该数字脉冲的时间可以被确定为该数字是聚焦对象的指示。通过在不同的时间点显示每个数字，以不同的速率开启和关闭该数字，应用不同的占空比，和/或简单地在不同的时间点施加刺激，BCI算法可以确定哪个刺激在开启时最有可能触发给定的神经响应，从而使得系统能够确定聚焦下的目标。
[0010]即使在目标被确定处于聚焦之后，视觉计算机接口诸如以上描述的BCI仍面临进一步的挑战。视觉计算机接口领域的一个主要挑战是所谓的“迈达斯触摸(Midas Touch)”问题，其中用户在简单地观看目标刺激(刺激可能位于包括焦点区域418的用户的视野404中的任何位置)而从未打算触发相关动作时无意地生成了输出动作。事实上，已经证明难以准确估计观看的目标是否只是“探索”的，或者用户是否也希望选择该目标(即，生成输出动作)。
[0011]在眼睛跟踪领域，迈达斯触摸问题反映出估计用户是否将他们的注视固定在特定目标以进行探索或有意地将他们的注视固定在特定目标(用于“选择”该目标和/或在接口上生成输出动作)的困难。这种估计通常是通过测量停留时间来完成的：当(跟踪的)注视进入目标区域时启动计时器，并且当计时器过去(没有明显的注视发散)时验证计时器。对于工作来说停留时间可能会非常令人沮丧，因为停留时间依赖于用户的观察来推断交互。虽然眼睛跟踪信息被可靠地用于揭示用户的注视位置，但已经证明难以向用户提供有意的控制，这是由于无法在用户仅对(注视的)目标的观察(即，探索)与旨在表达用户触发与目标相关联的动作的意愿的有意的凝视之间进行区分。
[0012]虽然迈达斯触摸问题是基于眼睛跟踪的用户接口领域的主要挑战，但它也出现在视觉BCI中。用户可能希望调查(即，注意)显示对象，而无意控制对象或触发相关动作。此外，存在这样的情况，其中BCI的用户使得他们的目光能够停留在展示出(可解码的)视觉刺激的屏幕对象上，而没有相关联的注意力——例如，在空白(或空洞)的凝视中。期望将这样的情况与旨在控制或触发动作的情况进行区分。
[0013]因此，需要下述改进的方法，其用于操作BCI，以在用户正以触发动作的意图聚焦的目标与仅仅被观看的屏幕对象(是无意地还是仅意图调查)之间进行区分。因此，期望提供解决上述挑战脑机接口。

技术实现思路

[0014]本公开内容涉及脑机接口(BCI)，其中显示对象或覆盖一个或更多个显示对象的覆盖对象展示出复合视觉刺激。复合视觉刺激由刺激生成器生成，并且通常呈现在屏幕或其他显示设备上。复合视觉刺激至少包括第一部分和第二部分。在某些实施方式中，刺激的
第一部分和第二部分可以呈现为与相同的显示位置交叠(如图7A(b)所示，其中第一刺激部分由“钩号”组成并且第二部分由“叉号”组成)。
[0015]复合视觉刺激的第一部分具有第一特征调制，而复合视觉刺激的第二部分具有第二特征调制，第二特征调制与第一特征调制不同。由BCI中的神经信号捕获设备捕获对用户的视野中的对象的神经响应。用户对所观看的对象(以及它们的相关联的特征调制)的神经响应又可以被测量和解码，以确定哪个感兴趣的对象是用户的注意力的焦点。
[0016]在仅观看显示对象或覆盖对象的情况下，神经响应均匀分布在复合本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种脑机接口系统，包括：显示单元，其用于显示图像数据，所述图像数据包括至少一个对象，所述显示单元还输出与所述对象中的一个或更多个对象相对应的相应的视觉刺激，刺激生成器，其用于生成具有相对应的特征调制的所述视觉刺激或每个视觉刺激；神经信号捕获设备，其被配置成捕获与用户相关联的神经信号；以及接口设备，其操作地耦接至所述神经信号捕获设备和所述刺激生成器，所述接口设备被配置成：接收来自所述神经信号捕获设备的神经信号；确定所述神经信号的下述分量的强度，所述分量具有与所述视觉刺激或每个视觉刺激的相应的特征调制相关联的特性；基于所述神经信号来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联，所述聚焦对象是根据所述神经信号的具有与所述视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及使所述刺激生成器生成作为复合视觉刺激的所述视觉刺激，所述复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，所述第二视觉特性与所述第一视觉特性不同。2.根据权利要求1所述的系统，还包括眼睛跟踪单元，所述眼睛跟踪单元接收由至少一个眼睛跟踪摄像装置捕获的图像，并根据所捕获的图像来确定眼睛跟踪信息，其中，所述接口设备操作地耦接至所述眼睛跟踪单元；并且其中，所述接口设备还被配置成：至少部分地基于所述眼睛跟踪信息来确定至少一个所述视觉刺激中的哪个视觉刺激与所述用户的聚焦对象相关联。3.根据权利要求2所述的系统，其中，所述眼睛跟踪信息包括注视方向和/或聚焦深度中的至少一个。4.根据权利要求1至3中任一项所述的系统，其中，所述接口设备还被配置成：基于所述复合视觉刺激来验证所述聚焦对象的选择。5.根据权利要求4所述的系统，其中，所述接口设备通过下述方式验证所述聚焦对象的选择：确定所述复合视觉刺激的至少一个所述第一部分和所述第二部分中的哪一个是聚焦部分，以及当所确定的部分与预定的参考部分相对应时验证所述选择，其中，所述聚焦部分是根据所述神经信号的下述分量的存在和/或相对强度推断的，所述分量具有与所述第一特征调制或所述第二特征调制相关联的特性以及第二视觉特性。6.根据权利要求1至4中任一项所述的系统，其中，调制被选择性地应用于所述视觉刺激的高空间频率(HSF)分量。7.一种脑机接口系统的操作的方法，所述脑机接口系统包括：显示单元、刺激生成器和神经信号捕获设备，所述显示单元显示包括至少一个对象的图像数据，并且输出与所述对象中的一个或更多个对象相对应的视觉刺激，所述视觉刺激具有特征调制，其中，所述方法包括，在操作地耦接至所述神经信号捕获设备和所述刺激生成器的硬件接口设备中：接收来自所述神经信号捕获设备的神经信号；确定所述神经信号的下述分量的强度，所述分量具有与所述视觉刺激或每个视觉刺激
的相应的特征调制相关联的特性；基于所述神经信号来确定至少一个所述视觉刺激中的哪个视觉刺激与用户的聚焦对象相关联，所述聚焦对象是根据所述神经信号的具有与所述视觉刺激的特征调制相关联的特性的分量的存在和/或相对强度推断的；以及使所述刺激生成器生成作为复合视觉刺激的所述视觉刺激，所述复合视觉刺激至少包括具有第一特征调制和第一视觉特性的第一部分以及具有第二特征调制和第二视觉特性的第二部分，所述第二视觉特性与所述第一视觉特性不同。8.根据权利要求7所述的方法，其中，所述...

【专利技术属性】
技术研发人员：西德，
申请(专利权)人：奈克斯特曼德公司，
类型：发明
国别省市：