用于基于神经肌肉控制执行输入的系统、方法和界面技术方案

所公开的计算机实现的方法可以包括：经由用户界面呈现感觉提示，以及从可佩戴设备的神经肌肉传感器接收由佩戴可佩戴设备的用户生成的各种神经肌肉信号，其中用户响应于经由用户界面呈现给用户的感觉提示而生成神经肌肉信号。该方法还可以包括将接收到的神经肌肉信号解释为关于由用户界面提供的感觉提示的输入命令，使得输入命令发起用户界面内指定任务的执行。该方法还可以包括根据解释的输入命令在用户界面内执行指定任务。还公开了各种其他方法、系统和计算机可读介质。系统和计算机可读介质。系统和计算机可读介质。

【技术实现步骤摘要】
【国外来华专利技术】用于基于神经肌肉控制执行输入的系统、方法和界面
[0001]相关申请的交叉引用
[0002]本申请要求2019年9月4日提交的第62/895,888号美国临时专利申请、2019年9月4日提交的第62/895,782号美国临时专利申请、2019年9月9日提交的第62/897,483号美国临时专利申请和2019年9月9日提交的第62/897,592号美国临时专利申请的优先权和权益，这些申请中的每一个的公开内容通过本引用以其整体并入。
[0003]附图简述
[0004]附图示出了许多示例性的实施例，并且是说明书的一部分。与以下描述一起，这些附图展示并解释了本公开内容的多种原理。
[0005]图1示出了一个实施例，其中使用围绕由用户佩戴的带或其他类型的设备布置的神经肌肉传感器从用户测量神经肌肉信号。
[0006]图2A示出了具有多个神经肌肉传感器的可佩戴系统，这些神经肌肉传感器围绕带周向布置，带被配置成围绕用户的下臂或手腕佩戴。
[0007]图2B示出了穿过图2A中所示的可佩戴设备的传感器之一的横截面视图。
[0008]图3A和图3B示出了具有带有多个EMG传感器的可佩戴系统的内部部件的示意图。
[0009]图4示出了在2D平面中显示给用户的用户界面的实施例。
[0010]图5示出了在2D平面中显示给用户的用户界面的替代实施例。
[0011]图6示出了具有不同类型控制方案的用户界面的替代实施例。
[0012]图7示出了具有另一种不同类型的控制方案的用户界面的替代实施例。<br/>[0013]图8示出了具有多个传感器的系统，这些传感器被配置成记录由人体部分的移动产生的信号。
[0014]图9是使用从传感器记录的信号生成或训练统计模型的方法的流程图。
[0015]图10是用于促进经由神经肌肉信号与用户界面进行交互的方法的流程图。
[0016]图11示出了包括可佩戴设备、界面系统和应用系统的人机界面系统。
[0017]图12是用于使用被训练来解释键入手势或其他用户活动的基于神经肌肉的系统的方法的流程图。
[0018]图13示出了神经肌肉活动感测系统的实施例。
[0019]图14是用于生成个性化推理模型的方法的流程图，该模型被训练为基于作为输入被提供给模型的神经肌肉数据输出字符。
[0020]图15示意性地示出了如何可以对字符数据执行多通道神经肌肉信号数据的分块(chunking)。
[0021]图16是用于迭代训练推理模型的方法的流程图。
[0022]图17是用于迭代训练个性化键入模型的方法的流程图。
[0023]图18是用于迭代训练个性化键入模型的替代方法的流程图。
[0024]图19是用于迭代训练个性化键入模型的另一替代方法的流程图。
[0025]图20A示出了用户可以提示系统进入替代输入模式的示例界面。
[0026]图20B示出了当用户通过手势进入“小心”键入模式时显示键盘表示的用户界面的
一部分。
[0027]图21示出了包括可佩戴设备、界面系统和物联网(IoT)设备的人机界面系统。
[0028]图22是生成用于训练推理模型的训练数据的方法的流程图。
[0029]图23示出了具有峰值检测输出的第一主成分分析(PCA)成分的曲线图。
[0030]图24示出了彼此分离的三个集群的实施例。
[0031]图25示出了一个实施例，其中竖直虚线和实线指示区分的食指轻敲和中指轻敲。
[0032]图26将每个识别的事件示出为指示时间对齐之前第一主成分的幅度的行。
[0033]图27示出了在时间对齐之后来自图26的相同的识别事件。
[0034]图28示出了食指轻敲模板和中指轻敲模板的实施例。
[0035]图29示出了具有用于识别和区分两个事件的示例数据的图表。
[0036]图30是可以结合本公开的实施例使用的示例性增强现实眼镜的图示。
[0037]图31是可以结合本公开的实施例使用的示例性虚拟现实头戴式装置的图示。
[0038]图32是可以结合本公开的实施例使用的示例性触觉设备的图示。
[0039]图33是根据本公开的实施例的示例性虚拟现实环境的图示。
[0040]图34是根据本公开的实施例的示例性增强现实环境的图示。
[0041]在整个附图中，相同的参考符号和描述指示相似的但不一定相同的元素。虽然本文描述的示例性实施例易于进行各种修改和替代形式，但是特定的实施例已经通过附图中的示例被示出，并且将在本文被详细地描述。然而，本文描述的示例性实施例不意图限于所公开的特定形式。更确切地，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。
[0042]示例性实施例的详细描述
[0043]虽然随着时间的推移，计算设备已经从位于桌面上的大型机器发展到可放入口袋的便携式设备，但是用于向计算设备提供文本输入的设备和界面基本上保持不变。键盘(并且尤其是QWERTY键盘)仍然是用于向计算设备提供文本输入的最广泛使用的设备。由于社会上计算设备的激增，因此在键盘上键入已经成为与这些设备交互的重要技能。然而，在键盘上键入可能学习起来很麻烦，并且仍然是一种相对较慢的输入文本的方法。
[0044]更进一步，在某些形式的文本录入中，用户可以输入的字符数量可能超过按钮或其他输入机构的数量。例如，电话上的数字小键盘(keypad)可以将字符集合与每个数字相关联，并且可以使用户能够在每个数字上依次出现的几个字符中选择一个字符(例如，“A”、“B”或“C”可以与数字“2”相关联)。然而，用于机器控制的机械、电气或其他输入机构可能是麻烦和不精确的。此外，与没有传统文本输入用户界面的其他类型设备的交互可能也很难进行。例如，物联网(IoT)设备的数量正在快速增长，其中许多不同类型的设备和电器都连接到互联网(并通过互联网进行控制)。在至少某些情况下，与这些IoT设备的交互可能也很麻烦。
[0045]本文描述的实施例可以包括提供与设备交互的不同方式和向计算设备输入文本的不同方法的方法、系统和装置。这些方法可以利用用户如何在键盘上键入的熟练知识，但不需要物理键盘来这样做。就此而言，本文描述的一些实施例针对人机界面(HCI)系统，该系统将神经肌肉信号记录映射到计算设备的文本输入，以使用户能够键入，而不需要用户按压物理键盘上的键或与计算设备上显示的触摸屏交互。这些文本输入的替代形式可能对
有身体残疾或受伤的用户有益。更进一步，其他实施例可以基于从用户的神经肌肉活动推断意图来提供新形式的机器控制。在各种实施例中，解释神经肌肉信号可以用来代替或补充传统的基于计算机的输入方法和设备。
[0046]在本文描述的一些实施例中，提供了用于检测神经肌肉信号(例如，如从用户检测到的)并将这些信号解释为文本输入的计算机系统和方法。在一些情况下，可以使用视觉、触觉、听觉和/或其他感觉手段(或其任意组合本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：经由用户界面呈现至少一个感觉提示；从可佩戴设备的一个或更多个神经肌肉传感器接收由佩戴所述可佩戴设备的用户生成的一个或更多个神经肌肉信号，其中，所述用户响应于经由所述用户界面呈现给所述用户的所述至少一个感觉提示而生成所述一个或更多个神经肌肉信号；将所述一个或更多个神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令，使得所述输入命令发起所述用户界面内的一个或更多个指定任务的执行；和根据所解释的输入命令在所述用户界面内执行所述一个或更多个指定任务。2.根据权利要求1所述的计算机实现的方法，其中，在所述用户界面内执行所述一个或更多个指定任务包括：导航到所述用户界面中对应于可供选择的文本输入的指定显示区域；和选择位于所述用户界面内所述指定显示区域的所述文本输入。3.根据权利要求2所述的计算机实现的方法，其中，所述用户界面包括多个显示区域，并且其中，多个潜在文本输入被映射到映射中的每个显示区域。4.根据权利要求3所述的计算机实现的方法，其中，选择所述指定显示区域中的特定文本输入至少部分地基于从所接收的神经肌肉信号确定的识别手势。5.根据权利要求4所述的计算机实现的方法，其中，所述映射包括一个或更多个指定文本输入到一个或更多个指定手势的映射。6.根据权利要求2所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：将来自所述用户的所接收的神经肌肉信号解释为用于在所述用户界面内选择特定文本输入的光标的速度控制、方向控制和/或位置控制。7.根据权利要求6所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：基于所接收的神经肌肉信号识别至少一个用户手势，并且其中，所识别的用户手势控制特定文本输入的选择。8.根据权利要求7所述的计算机实现的方法，还包括基于所识别的用户手势来消除在所述用户界面内显示的文本输入的模糊性。9.根据权利要求2所述的计算机实现的方法，还包括基于所接收的神经肌肉信号自动确定由所述用户提供的一个或更多个系列的可能的文本输入。10.根据权利要求1所述的计算机实现的方法，其中，在所述用户界面内执行所述一个或更多个指定任务包括：基于所述输入命令，从语言模型预测将被选择作为键入的输入的一个或更多个字符；和在所述用户界面内提供所预测的字符作为键入的输入。11.根据权利要求10所述的计算机实现的方法，其中，将所接收的神经肌肉信号解释为关于由所述用户界面提供的所述至少一个感觉提示的输入命令包括：基于所接收的神经肌肉信号识别至少一个用户手势，并且其中，所识别的用户手势控制特定键入的输入的选择。12.根据权利要求11所述的计算机实现的方法，其中，所述键入的输入通过所述用户执
行的表面无关的手势来提供。13.根据权利要求1所述的计算...

【专利技术属性】
技术研发人员：拉恩，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：