监测生物特征数据以确定精神状态和输入命令制造技术

本文描述的装置、方法、系统和计算机程序产品的各种实施例涉及接收一个或多个信号文件的分析引擎，所述一个或多个信号文件包括基于通过用户佩戴的耳机套件上的一个或者多个电极检测到的电压的用户神经信号数据。分析引擎对数据进行预处理，从接收的数据中提取特征，并且将提取的特征馈送到一个或多个机器学习模型中以生成所确定的输出，该所确定的输出对应于用户的当前精神状态和用户所做出的面部表情的类型中的至少一个。分析引擎将所确定的输出发送到计算设备，以基于所确定的输出执行动作。行动作。行动作。

【技术实现步骤摘要】
【国外来华专利技术】监测生物特征数据以确定精神状态和输入命令
[0001]相关申请的交叉引用
[0002]本申请要求2020年12月15日提交的17/122,085号美国申请的权益，其全部内容通过引用合并于此。

技术介绍

[0003]在计算机科学领域，人工智能(“A.I.”)网络诸如神经网络及深度学习网络正日益被用于解决各种任务及具有挑战性的问题。这种A.I.网络可以由具有表示计算操作的节点和这些操作之间的连接的计算图和/或具有表示从输入数据提取特征的过滤器的计算图的层组成。每个操作从输入数据和/或前一层中计算或提取某些内容，以便产生输出数据和/或下一层。在所有网络中，存在清楚预定义的操作，并且可以存在例如数百或数千个这些操作。这样的操作可以表示诸如矩阵乘法和卷积之类的计算任务，通常使用来自网络内的许多条输入数据。

技术实现思路

[0004]常规系统缺乏用于监测神经信号、脑信号和肌肉信号以推断用户的精神状态和/或确定所选输入命令的功能，特别是以在实验室或研究环境之外的正常设置中舒适且用户友好的方式。本文描述的装置、方法、系统和计算机程序产品的各种实施例涉及经由分析引擎对生物特征数据和神经数据进行被动监测，分析引擎接收基于通过用户佩戴的耳机套件检测到的信号的数据。各种类型的信号可以表示由佩戴耳机的用户做出的各种类型的面部活动或头部活动，并且每个相应的面部活动或头部活动可以对应于计算设备的输入命令。各种类型的信号也可以表示各种类型的精神状态或各种类型的精神状态的强度水平。
[0005]根据各种实施例，分析引擎接收基于通过用户佩戴的耳机套件上的一个或多个电极检测到的电压的数据。分析引擎对数据进行预处理，从接收的数据中提取特征，并将提取的特征馈送到一个或多个机器学习模型中以生成所确定的输出，所确定的输出对应于用户当前的精神状态和用户所做出的面部表情的类型中的至少一个。分析引擎将所确定的输出发送到计算设备，以基于所确定的输出执行动作。例如，分析引擎从用户佩戴的耳机接收神经信号，神经信号基于用户做出所述颌部活动时通过用户佩戴的耳机上的电极检测到的神经信号生成对应于特定颌部活动(例如，两次颌部绷紧)的所确定的输出，并向与用户耳机相关联的计算设备发送命令以执行预定义为通过所述颌部活动而选择的输入命令。
[0006]根据各种实施例，一个或多个电极检测脑电图(EEG)信号、肌电图(EMG)信号和/或心电图(ECG)信号。耳机套件上的每个电极可以位于耳机的被设计成与用户头部的耳部区域接触的区域内或周围。例如，电极可以位于耳机套件的相应耳套垫上并且与耳套垫的导电织物接合，使得电极通过导电织物与用户进行电接触。
[0007]根据各种实施例，分析引擎可以在计算设备上，计算设备从与其相关联的耳机套件接收数据，例如用户的移动电话或平板电脑或膝上型电脑。根据各种实施例，分析引擎可以是从与耳机套件相关联的计算机设备接收数据的基于云的计算系统。根据各种实施例，
分析引擎可以在计算系统的组合上，例如部分基于用户的耳机，部分基于用户的移动电话，以及部分基于云的计算系统。分析引擎从接收到的基于EEG信号的数据中提取EEG特征，以及从接收到的基于EMG信号的数据中提取EMG特征。分析引擎将EEG特征馈送到各种机器学习模型中，以确定用户当前的精神状态是否表示认知、情感或专心状态的程度或水平中的任何一种或多种，例如集中精力、专注、注意力分散、认知负荷、疲劳、好奇、确信、怀疑、走神、困倦、仰慕、崇拜、审美、愉悦、生气、焦虑、敬畏、难为情、无聊、平静、困惑、渴望、反感、共情性疼痛、着迷、兴奋、害怕、恐惧、幸福、感兴趣、喜悦、怀旧、解脱、浪漫、悲伤、满足、情欲或惊讶。例如，分析引擎可以将所述集中精力的水平报告给用户。分析引擎将EMG特征馈送到面部表情机器学习模型中，用于从多种类型的面部表情中确定面部表情的类型，例如颌部运动、颌部绷紧、牙齿叩击、微笑、瞬目、眨眼和/或头部活动，其中不同的面部表情被映射成某些输入命令。
[0008]根据各种实施例，分析引擎还可以从运动检测器诸如耳机套件中的一个或多个加速度计(accel)和/或一个或多个陀螺仪(gyro)接收数据，以检测佩戴着耳机套件时用户头部的活动。分析引擎还可以基于其从运动检测器接收的数据提取一个或多个活动特征，诸如加速度计特征或陀螺仪特征。分析引擎将加速度计特征和/或陀螺仪特征和/或与一个或多个EMG特征一起馈送到各种机器学习模型中，用于确定面部表情的类型和/或头部活动的类型，其中每一个都被映射成某些交互类型。例如，面部和头部表情可以同时或顺序地包括点头和瞬目的组合，其可以被映射成具体的交互。因此，每个相应的交互对应于输入命令的类型和/或在计算设备上启动一个或多个输入命令的触发器。
[0009]根据各种实施例，分析引擎识别映射成所确定的输出中所确定的面部表情类型的交互。相应的交互包含通过相应的面部表情和/或头部表情所表示的用户输入类型，用于通过与耳机套件相关联的计算设备基于相应面部表情的出现进行处理。
[0010]通过具体实施方式、权利要求和附图，本公开的其他应用领域将变得清楚。具体实施方式和具体示例仅用于说明，而不用于限制本公开的范围。
附图说明
[0011]通过具体实施方式和附图，将更好地理解本公开，其中：
[0012]图1A是示出一些实施例可以在其中操作的示例性环境的图；
[0013]图1B是示出一些实施例可以在其中操作的示例性环境的图；
[0014]图2A、图2B、图2C、图2D和图2E各自是示出一些实施例可在其中操作的示例性环境的图；
[0015]图3A是示出可以在一些实施例中执行的示例性方法的图；
[0016]图3B是示出可以在一些实施例中执行的示例性方法的图；
[0017]图4是示出一些实施例可以在其中操作的示例性环境的图；
[0018]图5是示出一些实施例可以在其中操作的示例性环境的图；
[0019]图6A是示出可以在一些实施例中执行的示例性方法的图；
[0020]图6B是示出一些实施例可以在其中操作的示例性环境的图；和
[0021]图7是示出一些实施例可以在其中操作的示例性环境的图。
具体实施方式
[0022]在本说明书中，详细参考本专利技术的具体实施例。附图中示出了实施例中的一些或它们的方面。
[0023]为了解释清楚，已经参考具体实施例对本专利技术进行了描述，但是应当理解的是，本专利技术不限于所描述的实施例。相反，本专利技术涵盖了可以被包括在由任何专利权利要求限定的其范围内的替代、修改和等同方案。在不损失对所要求保护的专利技术的一般性并且不对所要求保护的专利技术施加限制的情况下，对本专利技术的以下实施例进行阐述。在下面的描述中，对具体细节进行了阐述，以便提供对本专利技术的透彻理解。本专利技术可以在没有这些具体细节中的一些或全部的情况下实践。此外，可能没有对公知的特征进行详细的描述，以避免不必要地使本专利技术晦涩难懂。
[0024]此外，应当理解的是，本示例性专利中阐述的示例性方法的步骤可以以与本说明书中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：基于由用户佩戴的一组耳机上的一个或多个电极检测到的电压来接收数据的一个或多个信号文件；从接收到的数据中提取特征并且将所提取的特征馈送到一个或多个机器学习模型中以生成与用户的当前精神状态和一个或多个类型中的至少一个相对应的确定的输出由所述用户执行的面部姿势；和基于所确定的输出将所确定的输出发送到计算设备以执行动作。2.根据权利要求1所述的计算机实现的方法，其中：所述一个或多个电极包括用于检测EEG信号的至少一个电极和用于检测EMG信号的至少一个电极所述一组耳机上的所述电极中的每一个位于所述一组耳机的相应耳套垫上。3.根据权利要求2所述的计算机实现的方法，其中：所述用于检测EMG信号的所述至少一个电极和用于检测EEG信号的所述至少一个电极经由所述组中的导电织物与所述用户电接触头戴式耳机。4.根据权利要求2所述的计算机实现的方法，其中：所述用于检测EEG信号的所述至少一个电极相对于乳突区域；时间区域中的至少一个与所述用户的皮肤电接触以及所述用户的蝶类区域；和所述用于检测EMG信号的所述至少一个电极相对于所述用户的颞下颌关节区域与所述用户的皮肤电接触。5.根据权利要求1所述的计算机实现的方法，其中：所确定的输出包括至少一个输入命令；所述输入命令包括以下中的至少一个：i)启动通知中的至少一个的一个或多个指令；和ii)用于a)减少、b)最小化和c)消除计算设备上的一个或多个通知的呈现的一个或多个指令；和将所述输入命令发送到所述计算装置6.根据权利要求1所述的计算机实现的方法，其中从所接收的数据中提取特征并且将所提取的特征馈送到一个或多个机器学习模型中以生成对应于以下中的至少一个的确定的输出所述用户的当前精神状态包括：基于由所述一个或多个电极检测到的EEG信号从所接收的数据中提取一个或多个EEG特征；和将所提取的EEG特征中的至少一个馈送到用于确定用户的当前焦点水平的第一机器学习模型中的至少一个中，用于确定所述用户的当前注意力水平的第二机器学习模型和用于确定所述用户的认知负荷的当前水平的第三机器学习模型。7.根据权利要求6所述的计算机实现的方法，其中基于所确定的输出将所确定的输出发送到计算设备以执行动作包括：检测针对所述特定类型的精神状态的特定类型的精神状态的所述用户的当前水平与阈值之间的关系；和识别与所述用户的特定类型的精神状态和所述阈值之间的所检测的关系相对应的至少一个输入命令；以及将所述输入命令发送到所述计算设备。
8.根据权利要求7所述的计算机实现的方法，其中：所述特定类型的精神状态的所述用户的当前水平与所述阈值之间的所检测的关系包括所述用户的当前焦点水平的指示高于焦点阈值；和所述输入命令包括触发以启动所述计算设备上的一个或多个通知的呈现的减少，以帮助所述用户维持所述当前级别的高焦点。9.根据权利要求8所述的计算机实现的方法，其中：所述输入命令还包括触发器；和所述触发器用于启动所述一组耳机的一部分上的颜色的呈现，以向可能靠近所述用户的任何个体发信号，以不干扰所述用户在所述当前高焦点水平期间。10.根据权利要求7所述的计算机实现的方法，其中：所述特定类型的精神状态的所述用户的当前水平与所述阈值之间的所检测的关系包括所述用户的精神疲劳的当前水平的指示高于精神疲劳阈值；和所述输入命令还包括用于发起呈现一个或多个通知以提示所述用户执行至少一个物理动作以辅助所述用户减轻所述当前精神疲劳水平的触发。11.根据权利要求10所述的计算机实现的方法，其中所述至少一个物理动作包括下述中的至少一个：直立，行走和拉伸。12.根据权利要求1所述的计算机实现的方法，其中从所接收的数据提取特征并且将所提取的特征馈送到一个或多个机器学习模型中以生成对应于一个或多个面部的确定的输出手势包括：基于由所述一个或多个电极检测到的EMG信号从所接收的数据中提取EMG特征；和将所提取的EMG特征中的一个或多个馈送到面部姿势机器学习模型中，以用于从多个类型的面部姿势确定面部姿势的类型。13.根据权利要求12所述的计算机实现的方法，其中：所述面部姿势的类型包括在所提取的EMG特征中的一个或多个中表示的面部姿势的序列一系列面部姿势；所述面部姿势序列包括与密码匹配的尝试；和将所确定的输出发送到计算设备以基于所确定的输出执行动作包括：确定所述面部手势序列与所述密码匹配；和基于与所述密码匹配的面部手势的序列，向所述计算设备发送指示与所述密码相关联的身份的验证的实例的输出。14.根据权利要求12所述的计算机实现的方法，其中：所述面部姿势的类型具有一个或多个对应的附加部件；接收一个或多个信号文件包括接收一个或多个附加数据类型部分的数据的一个或多个信号文件；从所接收的数据提取EMG特征包括从所述一个或多个附加数据类型部分提取附加特征；和将所提取的EMG特征中的一个或多个馈送到面部姿势机器学习模型中包括将所提取的附加特征馈送到面部姿势机器学习模型中以生成对应于由所述用户执行的面部姿势的类型。
15.根据权利要求14所述的计算机实现的方法，其中：所述一个或多个附加数据类型部分包括基于由与所述耳机相关联的一个或多个麦克风检测到的声音的音频数据；和所述附加特征包括音频特征。16.根据权利要求14所述的计算机实现的方法，其中：所述一个或多个附加数据类型部分包括基于与所述一组耳机相关联的运动检测器的物理取向的至少一个变化的运动数据；所述附加特征包括运动特征；和所确定的输出对应于面部姿势的类型和头部移动的类型。17.根据权利要求12所述的计算机实现的方法，其中基于所确定的输出将所确定的输出发送到计算设备以执行动作包括：识别映射到所确定的面部手势的类型的交互；识别对应于所述交互的输入命令；和将所述输入命令发送到所述计算装置。18.根据权利要求17所述的计算机实现的方法，其中：所述交互包括从所述用户到所述计算设备的提示交互；和所述输入命令包括用于响应于来自所述用户的所述提示交互而启动计算装置模式的触发。19.根据权利要求18所述的计算机实现的方法，其中：所述提示交互包括以下之一：进入唤醒模式的请求和进入睡眠模式的请求；和所述输入命令包括以下之一：用于所述计算设备进入唤醒模式以监视至少一个后续输入命令的发生的触发器和用于所述计算设备进入所述睡眠模式的触发器。20.根据权利要求17所述的计算机实现的方法，其中：相应的交互包括由相应的面部手势表示的用户输入的类型基于所述相应面部姿势的发生由所述计算设备处理的用户输入的类型。21.根据权利要求1所述的计算机实现的方法，其中：基于由所述用...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：纽若博公司，
类型：发明
国别省市：