作为介绍，以下描述的本实施例包括用于从功能性大脑图像生成心理内容的自然语言表示的装置和方法。给定对象阅读文本文章时采集的功能性成像数据，产生文本文章的重构。将语言语义向量表示分配（1301）给要用作训练刺激的词语、短语或语句。使用当对象暴露于训练刺激和用于训练刺激的对应语义向量时采集（1303）的大脑成像数据执行（1305）基础学习，以直接学习图像基础。利用用于测试刺激的功能性大脑成像数据并且使用图像基础来执行语义向量解码（1309），以生成表示测试图像刺激的语义向量。然后使用表示测试成像刺激的已解码的语义向量来执行文本生成（1311）。
【技术实现步骤摘要】
【国外来华专利技术】从功能性大脑图像生成心理内容的自然语言表示对相关申请的交叉引用本专利文档要求享有于2015年10月23日提交的美国临时申请号62/245,593和于2015年11月2日提交的美国临时申请号62/249,825的优先权，所述临时申请以其整体通过引用由此并入。研究协议本研究基于由国家情报总监办公室（ODNI）、情报高级研究计划署（IARPA）经由空军研究实验室（AFRL）在合同号FA8650-14-C-7358之下部分支持的工作。政府具有本专利技术中的某些权利。
技术介绍
本实施例涉及从功能性大脑图像解码心理内容。大脑解码的最常见形式确定使用大脑成像向对象示出刺激的有限集合中的哪个刺激。相反地，生成性大脑解码生成完整的人造物以表示心理内容，并且试图重构所示出的实际刺激（例如，图片或视频）。生成性大脑解码限于作为由对象可视化的结果的心理内容，并且要求具有最可想象的刺激的数据库。数据库要求对于语言文本是不可行的。可替换地，人造物可以是表示复杂心里状态的构造，诸如通过其在对象的脑海中的概率设计大小的词语云。在解码过程中引入强烈的先验已经在实验上示出在不同的解码场景中是有益的。例如，在重构来自大脑活动的视频时施加约束。首先，可用视频帧关于其与诱发大脑激活的类似性而在数据库中进行排序。然后，将前k个最类似的视频帧线性组合以获得重构的视频。通过使用从文本语料库导出的定量表示可以约束生成，以避免生成不一致的词语云。
技术实现思路
作为介绍，以下描述的本实施例包括用于从功能性大脑图像生成心理内容的自然语言表示的装置和方法。在对象读取文本文章时采集的给定功能性成像数据产生文本文章的重构。语言语义向量表示被分配给要用作训练数据的词语、短语或句子。执行基础学习以直接学习图像基础。基础学习使用当对象暴露于训练数据并且使用用于训练数据的对应语义向量时采集的大脑成像数据。利用用于测试数据的功能性大脑成像数据执行语义向量解码，并且使用图像基础来生成表示测试成像数据的语义向量。然后使用表示测试成像数据的已解码的语义向量执行文本生成。在第一方面中，提供了一种用于从功能性大脑图像生成心理内容的自然语言表示的方法。该方法包括当对象暴露于多个刺激时捕获第一组功能性大脑成像数据，以及通过将所述多个刺激的语义向量表示映射到第一组功能性大脑成像数据中的空间激活模式来生成基础图像。该方法还包括当对象暴露于测试刺激时捕获第二组功能性大脑成像数据，以及使用基础图像和第二组功能性大脑成像数据中的空间激活模式生成用于测试刺激的语义向量表示。在第二方面中，提供了一种用于从功能性大脑图像生成心理内容的自然语言表示的系统。该系统包括被配置成将语义向量分配给训练文本的语言语义向量表示器，以及被配置成将语义向量映射到在存在训练文本的情况下采集的第一组功能性大脑成像数据的基础学习器。该系统还包括被配置成从第二组功能性成像数据解码语义向量的语义向量解码器，以及被配置成基于已解码的语义向量生成文本输出的文本生成器。在第三方面中，提供了一种用于从功能性大脑图像生成心理内容的自然语言表示的方法。该方法包括将语义向量表示分配给多个刺激，以及通过将所述多个刺激的语义向量表示映射到第一组功能性大脑成像数据中的空间激活模式来生成基础图像。该方法还包括使用基础图像和第二组功能性大脑成像数据中的空间激活模式生成用于测试刺激的语义向量表示。本专利技术由随附权利要求限定，并且本章节中没有内容应当被视为对那些权利要求的限制。以下结合优选实施例讨论本专利技术另外的方面和优点，并且稍后可以独立地或组合地要求保护本专利技术另外的方面和优点。附图说明组件和附图未必按照比例，而是将重点放在说明实施例的原理上。而且，在附图中，贯穿不同的视图，相同的参考标号指代对应的部分。图1图示了用于从功能性大脑图像生成心理内容的自然语言表示的实施例。图2图示了用于已知刺激的大脑激活的正向模型的实施例。图3图示了用于将语义向量分配给已知刺激的实施例。图4图示了用于学习图像基础的实施例。图5A图示了用于通过将图像表示为由语义向量和矩阵（其行是基础图像的向量表示）的乘积得到的向量，将功能性大脑图像表示为在图像基础上的图像的线性组合的实施例。图5B图示了用于学习将训练大脑图像中的每一个体元j表示为语义向量的矩阵和所有基础图像中的体元j的值的乘积的实施例。图5C图示了用于在给定图像基础的情况下生成测试大脑图像的语义向量表示的实施例。图6图示了用于通过将大脑激活模式表述为基础图像的线性组合（其中组合系数是语义向量中的条目），从大脑激活模式预测语义向量的实施例。图7图示了从心理内容的语义向量表示生成文本的实施例。图8图示了使用一般线性模型去卷积对来自大脑图像的时间序列的单独刺激的响应的实施例，当向对象示出那些刺激时捕获所述大脑图像的时间序列。图9图示了在给定利用一般线性模型产生的用于每一个刺激的回归量系数图像和对应的语义向量的情况下，学习基础图像的实施例。图10图示了使用基础图像从新的大脑图像解码语义向量的实施例。图11图示了在给定图像的时间序列和对应于所示刺激的语义向量的时间序列的情况下，用于直接提取用于语义维度的基础图像的组合方法的实施例。图12图示了用于从功能性大脑图像生成心理内容的自然语言表示的系统的实施例。图13图示了用于从功能性大脑图像生成心理内容的自然语言表示的方法的实施例的流程图。图14图示了用于从功能性大脑图像生成心理内容的自然语言表示的系统的实施例。具体实施方式本实施例涉及将一般心理内容从功能性大脑图像解码成可由人类理解的形式或表示。本实施例对诸如文本文章之类的刺激如何被人类大脑处理进行建模。通过在对象心里上处理一组刺激之一时采集大脑成像数据来构建模型，并且模型用于从在对象处理一组不同的刺激时采集的大脑成像解码心理内容。例如，通过使用已知训练数据，该模型被训练以解码在对象暴露于未知和/或测试数据时捕获的大脑成像数据。本实施例还可以产生描述心理内容的自然语言语句。例如，生成心理内容的定量表示，并且分离的模型从那些定量表示产生语句。图1图示了用于从功能性大脑图像生成心理内容的自然语言表示的实施例。参照101，向训练数据分配向量表示。在该示例中，训练数据是以语句“家庭在桌旁吃晚饭”的形式的文本。可以使用其它类型的训练数据，诸如图像、声音或其它基于感觉的训练数据。例如，取代于以上示例中的语句，可以使用在桌旁吃晚饭的家庭的照片、视频或其它图像。训练数据的定量表示可以是语义向量表示。例如，语义向量表示可以是多维向量。在示例中，训练数据的语句中的每一个词语被分配多维语义向量表示。可替换地或此外，可以对用于语句的每一个词语的向量表示进行平均，以便为整个语句分配单个向量表示，或者使用另一方法以直接产生用于该语句的向量表示。在103处，当采集功能性大脑成像时，对象处理训练刺激。例如，当通过功能性大脑成像监视对象时，将训练刺激呈现给对象；呈现的一种形式可以是允许对象读取语句文本。功能性大脑成像可以是功能性磁共振成像（fMRI）或另一种成像模态，诸如脑磁图（MEG）、脑电图（EEG）或脑皮层电图学（ECoG）。在105处，将功能性大脑成像映射到训练数据的向量表示。当对象处理训练刺激时，功能性大脑成像捕获唯一的空间激活模式。例如，使用fMRI，通过监视对本文档来自技高网...
【技术保护点】
一种用于从功能性大脑图像生成心理内容的自然语言表示的方法，所述方法包括：当对象暴露于多个刺激时，捕获（1303）第一组功能性大脑成像数据；将所述多个刺激的语义向量表示映射（1305）到第一组功能性大脑成像数据中的空间激活模式，所述映射提供基础图像；当对象暴露于测试刺激时，捕获（1307）第二组功能性大脑成像数据；以及使用基础图像和第二组功能性大脑成像数据中的空间激活模式来生成（1309）用于测试刺激的语义向量表示。
【技术特征摘要】
【国外来华专利技术】2015.10.23 US 62/245593;2015.11.02 US 62/2498251.一种用于从功能性大脑图像生成心理内容的自然语言表示的方法，所述方法包括：当对象暴露于多个刺激时，捕获（1303）第一组功能性大脑成像数据；将所述多个刺激的语义向量表示映射（1305）到第一组功能性大脑成像数据中的空间激活模式，所述映射提供基础图像；当对象暴露于测试刺激时，捕获（1307）第二组功能性大脑成像数据；以及使用基础图像和第二组功能性大脑成像数据中的空间激活模式来生成（1309）用于测试刺激的语义向量表示。2.权利要求1所述的方法，其中所述多个刺激的语义向量表示是基于在其中出现刺激的上下文。3.权利要求1所述的方法，其中所述多个刺激和测试刺激是文本。4.权利要求3所述的方法，还包括：基于用于测试刺激的语义向量表示生成（1311）文本。5.权利要求4所述的方法，其中所生成的文本是第二组功能性大脑成像数据的自然语言表示。6.权利要求1所述的方法，生成（1309）用于测试刺激的语义向量表示包括组合基础图像。7.权利要求6所述的方法，其中组合基础图像是线性组合，所述线性组合包括估计线性组合中每一个基础图像的权重。8.权利要求1所述的方法，其中语义向量表示是多维的。9.权利要求8所述的方法，其中将语义向量表示映射（1305）到空间模式包括将语义向量表示中每一个维度的存在性映射到空间模式中的维度的体现。10.一种用于从功能性大脑图像生成心理内容的自然语言表示的系统，所述系统包括：语言语义向量表示器...
【专利技术属性】
技术研发人员：F佩赖拉，娄彬，A拉扎尔伊道，
申请(专利权)人：美国西门子医疗解决公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。