【技术实现步骤摘要】
【国外来华专利技术】使用生物统计数据训练感知任务的机器学习模型
[0001]相关申请的交叉引用
[0002]本公开要求于2019年2月6日提交的美国临时专利申请No.62/801,831的优先权，其全部内容通过引用并入本文。
[0003]本公开一般涉及机器学习。更具体地，本公开涉及使用生物统计数据(诸如，神经活动记录(例如，脑电波记录))来训练机器学习模型以例如经由多模态学习技术执行感知任务。
技术介绍
[0004]人类擅长各种感知和认知任务，其中包括视觉对象识别、声学事件识别和语音识别等。训练机器学习模型以执行这些任务的一种典型方式是在训练数据上训练模型，该训练数据包括已经由人类贴标签员明确标记的训练示例。例如，为了生成这样的训练数据，计算系统可以向人类呈现逼真的训练示例(例如，对象的图片、口语句子)，并且征求作为人类应用其内在感知和认知能力的结果的明确的类别标签。人类在感知训练示例时执行的内在人类感知活动编码经验和专业知识的生命周期，并且允许人类毫不费力地执行注释。然后，研究人员或工程师使用这些配对的示例和标签来训练模型以模仿人类感知能力。
[0005]作为示例，可以向人类呈现猫的图片，并要求人类识别(例如，分类)图片中的动物。人类可以应用她的内在感知能力来识别猫，并且可以用猫的显式标签进行响应(例如，通过将数据手动输入到计算设备中)。例如，用户可以手动键入标签或者可以从所显示的一组可用选项中选择“猫”标签。然后，显式标签可以与(例如，数据库中的)图像相关联(例如，对图像做注释)以包括在训练数据集中。>[0006]然而，上述标记过程既耗时又昂贵。特别地，由人类贴标签员手动输入标签可能要求不期望的时间量和其他资源。因此，获得可以被用于产生可以执行特定感知任务的机器学习模型的训练数据是具有挑战性的。
[0007]因此，在过去几年中已经为许多应用领域开发了无监督学习过程，其允许仅使用未标记的数据来训练这些网络的大部分。虽然这些无监督方法可以减少构建新模型所需的标记数据量，但是所得到的模型的性能始终达不到仅用中等量的人类注释的训练示例变得可能的性能。
技术实现思路
[0008]本公开的实施例的方面和优点将部分地在下述说明书中阐述，或者可以从说明书中学习到，或者可以通过实施实施例来学习。
[0009]本公开的一个示例方面针对一种执行多模态学习的计算机实现的方法。该方法包括一个或多个计算设备访问描述多个训练示例的数据，其中，每个训练示例包括相应的刺激和在活体暴露于相应的刺激的同时，从所述活体收集的相应的生物统计数据集，在所述
活体暴露于所述相应的刺激期间，所述活体被指令对所述相应的刺激执行感知任务。该方法包括对所述多个训练示例中的一个或多个的每一个：所述一个或多个计算设备将所述相应的刺激输入到机器学习刺激特征提取模型中，所述刺激特征提取模型被配置为处理所述相应的刺激以产生相应的刺激嵌入。该方法包括对所述多个训练示例中的一个或多个的每一个：所述一个或多个计算设备将所述相应的刺激嵌入接收为所述机器学习刺激特征提取模型的输出。该方法包括对所述多个训练示例中的一个或多个的每一个：所述一个或多个计算设备将所述相应的生物统计数据集输入到机器学习生物统计特征提取模型中，所述生物统计特征提取模型被配置为处理所述相应的生物统计数据集以产生相应的生物统计嵌入。该方法包括对所述多个训练示例中的一个或多个的每一个：所述一个或多个计算设备将所述相应的生物统计嵌入接收为所述机器学习生物统计特征提取模型的输出。该方法包括对所述多个训练示例中的一个或多个的每一个：所述一个或多个计算设备至少部分地基于所述相应的刺激嵌入和所述相应的生物统计嵌入，学习下述中的一项或两项：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值。
[0010]本公开的其它方面针对各种系统、装置、非暂时性计算机可读介质、用户接口和电子设备。
[0011]参考下述说明书和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入说明书中并构成本说明书的一部分的附图图示了本公开的示例示例实施例，并且与说明书一起用于解释相关原理。
附图说明
[0012]参考附图，在说明书中阐述针对本领域的普通技术人员的实施例的详细讨论，其中：
[0013]图1描绘了根据本公开的示例实施例的生成训练示例对的示例方案的框图。
[0014]图2描绘了根据本公开的示例实施例的执行多模态学习的示例方案的框图。
[0015]图3描绘了根据本公开的示例实施例的执行多模态学习的示例方案的框图。
[0016]图4描绘了根据本公开的示例实施例的训练分类或检测模型的示例方案的框图。
[0017]图5描绘了根据本公开的示例实施例的采用分类或检测模型的示例方案的框图。
[0018]图6描绘了根据本公开的示例实施例的生成聚类的示例方案的框图。
[0019]图7描绘了根据本公开的示例实施例的执行相似性搜索的示例方案的框图。
[0020]图8描绘了根据本公开的示例实施例的训练分类或检测模型的示例方案的框图。
[0021]图9描绘了根据本公开的示例实施例的采用分类或检测模型的示例方案的框图。
[0022]图10描绘了根据本公开的示例实施例的生成聚类的示例方案的框图。
[0023]图11描绘了根据本公开的示例实施例的执行相似性搜索的示例方案的框图。
[0024]图12A描绘了根据本公开的示例实施例的示例计算系统的框图。
[0025]图12B描绘了根据本公开的示例实施例的示例计算设备的框图。
[0026]图12C描绘了根据本公开的示例实施例的示例计算设备的框图。
[0027]图13描绘了根据本公开的示例实施例的执行多模态学习的示例方法的流程图。
[0028]在多个附图中重复的附图标记旨在标识各种实现方式中的相同特征。
具体实施方式
[0029]概述
[0030]通常，本公开涉及训练机器学习模型(例如，人工神经网络)以基于在活体正在执行感知任务或认知任务的同时，从活体采集的生物统计数据(例如，脑电波记录)来执行感知或认知任务的系统和方法。具体地，本公开的各方面涉及一种新的监督范式，通过该范式，使用与在生物体感知的那些示例(例如，观看图像、收听语音等)的同时，与从活体(例如，已经同意参与数据收集努力的人类)收集的诸如神经活动记录的伴随(companion)生物统计数据(例如，脑电图数据、皮质电图数据和/或脑磁图数据)配对的示例刺激来训练机器学习特征提取模型。以这种方式，可以通过在将标记生物体暴露于刺激的同时收集生物统计数据来简单地获得生物统计数据内编码的隐含但可学习的标记，这是比(例如，经由向计算机手动数据输入)显式手动标记示例显著更快的过程。
[0031]本公开的方面利用下述原理：生物统计数据(诸如包括来自神经元(例如，大脑的处理路径中的适当稍后阶段中的神经元)的信号的大脑记录)将(例本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种执行多模态学习的计算机实现的方法，所述方法包括：由一个或多个计算设备访问描述多个训练示例的数据，其中，每个训练示例包括相应的刺激和在活体暴露于所述相应的刺激的同时从所述活体收集的相应的生物统计数据集，在所述活体暴露于所述相应的刺激期间，所述活体被指令对所述相应的刺激执行感知任务；以及对于所述多个训练示例中的一个或多个中的每个训练示例：由所述一个或多个计算设备将所述相应的刺激输入到机器学习刺激特征提取模型中，所述机器学习刺激特征提取模型被配置为处理所述相应的刺激以产生相应的刺激嵌入；由所述一个或多个计算设备将所述相应的刺激嵌入接收为所述机器学习刺激特征提取模型的输出；由所述一个或多个计算设备将所述相应的生物统计数据集输入到机器学习生物统计特征提取模型中，所述机器学习生物统计特征提取模型被配置为处理所述相应的生物统计数据集以产生相应的生物统计嵌入；由所述一个或多个计算设备将所述相应的生物统计嵌入接收为所述机器学习生物统计特征提取模型的输出；以及由所述一个或多个计算设备并且至少部分地基于所述相应的刺激嵌入和所述相应的生物统计嵌入，学习下述中的一个或两个：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值。2.如权利要求1所述的计算机实现的方法，其中，对于所述多个训练示例中的每个训练示例，所述相应的生物统计数据集包括描述在所述活体暴露于所述相应的刺激的同时所述活体的神经活动的相应的神经记录数据集。3.如权利要求2所述的计算机实现的方法，其中，对于所述多个训练示例中的每个训练示例，所述相应的神经记录数据集包括下述中的一个或多个：脑电图数据；皮层电图数据；脑磁图数据；以及功能近红外光谱。4.如任一前述权利要求所述的计算机实现的方法，其中，对于所述多个训练示例中的每个训练示例，所述相应的刺激包括下述中的一个或多个：视觉刺激；听觉刺激；触觉刺激；嗅觉刺激；以及味觉刺激。5.如任一前述权利要求所述的计算机实现的方法，其中，所述感知任务包括将所述相应的刺激分类为多个类别中的一个或多个。6.如权利要求5所述的计算机实现的方法，其中：所述相应的刺激包括描绘对象的图像；以及
所述感知任务包括将所述对象分类为多个对象类别中的一个或多个。7.如权利要求5所述的计算机实现的方法，其中：所述相应的刺激包括人类语音的音频；所述多个类别包括下述中的一个或多个：多个音素、多个词、多个语义概念和多种情绪；以及所述感知任务包括将所述人类语音分类为所述多个类别中的一个或多个。8.如任一前述权利要求所述的计算机实现的方法，其中，所述感知任务包括检测包含在所述相应的刺激内的一个或多个项目。9.如任一前述权利要求所述的计算机实现的方法，其中，由所述一个或多个计算设备并且至少部分地基于所述相应的刺激嵌入和所述相应的生物统计嵌入来学习下述中的一个或两个：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值包括：由所述一个或多个计算设备确定所述相应的刺激嵌入和所述相应的生物统计嵌入之间的相关性；以及由所述一个或多个计算设备至少部分地基于目标函数的梯度，调整下述中的一个或两个：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值，所述目标函数寻求最大化所述相应的刺激嵌入和所述相应的生物统计嵌入之间的相关性。10.如任一前述权利要求所述的计算机实现的方法，其中，由所述一个或多个计算设备并且至少部分地基于所述相应的刺激嵌入和所述相应的生物统计嵌入来学习下述中的一个或两个：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值包括：由所述一个或多个计算设备将所述相应的刺激嵌入和所述相应的生物统计嵌入提供给机器学习融合模型，所述机器学习融合模型被配置为处理所述相应的刺激嵌入和所述相应的生物统计嵌入以产生预测，所述预测指示所述相应的刺激和所述相应的生物统计数据集是否相互关联；以及由所述一个或多个计算设备至少部分地基于损失函数的梯度，调整下述中的一个或两个：所述机器学习刺激特征提取模型的第一参数值和所述机器学习生物统计特征提取模型的第二参数值，所述损失函数将由所述机器学习融合模型产生的预测与指示所述相应的刺激和所述相应的生物统计数据集是否相互关联的地面真实标签进行比较。11.如任一前述权利要求所述的计算机实现的方法，进一步包括在由所述一个或多个计算设备学习所述机器学习刺激特征提取模型的第一参数值...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。