增强具有外部存储器的神经网络制造技术

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于利用外部存储器增强神经网络。方法之一包括：提供从神经网络输出的第一部分导出的输出作为系统输出；确定外部存储器中的多个位置中的每一个的一个或多个写入权重集合；根据写入权重集合将由神经网络输出的第三部分定义的数据写入外部存储器；从神经网络输出的第四部分确定外部存储器中的多个位置中的每一个的一个或多个读取权重集合；根据读取权重集合从外部存储器读取数据；以及，将从外部存储器读取的数据与下一个系统输入组合以产生下一个神经网络输入。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书涉及神经网络系统架构。
技术介绍
神经网络是采用一个或多个非线性单元的层来预测对于接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出用作到网络中下一层，即下一隐藏层或输出层的输入。网络的每层根据相应参数集合的当前值从所接收的输入生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体地，递归神经网络可以在计算当前输出时使用处理先前输入的网络的内部状态的一些或全部。递归神经网络的示例是长期短期存储器(LSTM)神经网络，包括一个或多个LSTM存储器块。每个LSTM存储器块可以包括一个或多个单体，每个单体包括输入门、遗忘门和输出门，其允许该单体存储该单体的先前状态，例如用于生成当前激活或将被提供到LSTM神经网络的其他组件。
技术实现思路
本说明书描述了与增强神经网络系统相关的技术。通常，增强神经网络系统包括：神经网络，被配置为接收神经网络输入并生成神经网络输出；外部存储器，存储从神经网络输出的部分导出的值；以及存储器接口子系统，被配置为接收神经网络输出的部分并使用所接收的部分相对于外部存储器擦除、写入和读取。对于要被配置为执行特定操作或动作的一个或多个计算机的系统表示系统已经在其上安装了在操作中使系统执行操作或动作的软件、固件、硬件或它们的组合。对于要被配置为执行特定操作或动作的一个或多个计算机程序表示一个或多个程序包括当由数据处理装置执行时使装置执行操作或动作的指令。在本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。通过用外部存储器增强神经网络，增强神经网络可以更精确地从各种机器学习任务的接收的输入生成输出。具体地，为了便于处理来自输入序列的给定输入，增强神经网络可以有效地使用由增强神经网络在处理序列中的许多先前输入时通过从外部存储器读取而产生的信息。类似地，为了便于处理来自序列的后续输入，增强神经网络可以将在当前输入的处理期间生成的信息存储在外部存储器中。另外，可以增加外部存储器的大小，而不增加增强神经网络的可训练参数的数量。此外，增强神经网络可以使用基于内容和位置的查找来访问外部存储器。另外，增强神经网络可以利用在连续写入之间具有较少干扰的长期存储器存储。此外，因为整个外部存储器是可区分的，所以可以有效地训练增强神经网络系统。在附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，主题的其他特征、方面和优点将变得显而易见。附图说明图1示出了示例增强神经网络系统。图2是用于从系统输入生成系统输出的示例过程的流程图。图3是用于从神经网络输出的指定部分确定存储器存取权重的示例过程的流程图。图4是对于外部存储器中的位置生成基于内容的权重的示例过程的流程图。图5是用于将基于位置的调整应用于基于内容的权重的示例过程的流程图。图6是根据擦除权重从外部存储器擦除的示例过程的流程图。图7是用于根据写入权重写入外部存储器的示例过程的流程图。图8是根据读取权重从外部存储器读取的示例过程的流程图。各个附图中相同的附图标记和标记指示相同的元件。具体实施方式图1示出了示例性增强神经网络系统100。增强神经网络系统100是实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中实现下面描述的系统、组件和技术。增强神经网络系统100是接收系统输入序列并从系统输入生成系统输出序列的机器学习系统。例如，增强神经网络系统100可以接收作为输入序列的一部分的系统输入x，并且从系统输入x生成系统输出y。增强神经网络系统100可以在输出数据存储库中存储所生成的输出序列或者提供输出以用于某些其他即时目的。增强神经网络系统100可以被配置为接收任何种类的数字数据输入并且基于该输入生成任何种类的分数(score)或分类输出。例如，如果对增强神经网络系统100的输入是已经从图像中提取的图像或特征，则由增强神经网络系统100针对给定图像生成的输出可以是对象类别集合中的每一个的分数，其中每个分数表示图像包含属于该类别的对象的图像的估计的似然性。作为另一示例，如果对增强神经网络系统100的输入是从因特网资源(例如，网页)、文档或文档的部分提取的因特网资源、文档或文档的部分，则由增强神经网络系统100对于给定因特网资源、文档或文档的部分生成的输出可以是主题集合中的每一个的分数，每个分数表示因特网资源、文档或文档部分关于主题的估计的似然性。作为另一示例，如果到增强神经网络系统100的输入是用于特定广告的印象场境的特征，则由增强神经网络系统100生成的输出可以是表示特定广告将被点击的估计的似然性的分数。作为另一示例，如果对增强神经网络系统100的输入是针对用户的个性化推荐的特征，例如表征推荐的场境的特征，例如表征用户所采取的先前动作的特征，则由增强神经网络系统100生成的输出可以是内容项集合中的每一个的分数，其中每个分数表示用户将有利地响应于被推荐内容项的估计的似然性。作为另一示例，如果对增强神经网络系统100的输入是一种语言的文本，则由增强神经网络系统100生成的输出可以是针对另一语言的文本集合中的每一个的分数，每个分数表示另一种语言的文本段是输入文本到另一种语言的适当翻译的估计的似然性。作为另一个示例，如果对增强神经网络系统100的输入是口头话语、口头话语序列或从两者之一导出的特征，则由增强神经网络系统100产生的输出可以是文本段集合的每个的分数，每个分数表示该文本段是用于话语或话语序列的正确转录的估计的似然性。作为另一示例，增强神经网络系统100可以是语音合成系统的一部分。作为另一示例，增强神经网络系统100可以是视频处理系统的一部分。作为另一示例，增强神经网络系统100可以是对话系统的一部分。作为另一示例，增强神经网络系统100可以是自动补全系统的一部分。作为另一示例，增强神经网络系统100可以是文本处理系统的一部分。作为另一示例，增强神经网络系统100可以是强化学习系统的一部分。特别地，增强神经网络系统100包括神经网络102和外部存储器104。神经网络102可以是前馈神经网络或递归神经网络，其被配置为接收神经网络输入并处理神经网络输入以产生神经网络输出。通常，神经网络102接收的神经网络输入是当前系统输入和通过存储器接口子系统106从外部存储器读取的数据的组合。例如，神经网络102可以被配置为从外部存储器104接收当前系统输入x和数据r，并且生成包括系统输出y和提供给存储器接口子系统106的附加输出o的神经网络输出。存储器接口子系统106接收由神经网络生成的输出，例如神经网络输出o+y的部分o(+表示级联)，并将接收到的输出转换为要在外部存储器104上执行的擦除、读取和写入操作。也就是说，存储器接口子系统106从神经网络102接收输出o，并且基于输出o从外部存储器104擦除数据e，将数据w写入外部存储器104，以及从外部存储器104读取数据r。然后可以将由存储器接口子系统106读取的数据作为稍后的神经网络输入的一部分，例如与系统输入一起，提供给神经网络102。外部存储器104存储由存储器接口子系统106写入外部存储器104的数据向量。在一些实施方式中，外本文档来自技高网...

【技术保护点】
一种用于处理系统输入序列以产生系统输出序列的增强神经网络系统，所述增强神经网络系统包括：神经网络，其中所述神经网络被配置为接收神经网络输入序列并且处理每个神经网络输入，以从所述神经网络输入生成神经网络输出；外部存储器；和存储器接口子系统，其中所述存储器接口子系统被配置为：对于所述神经网络输出中的每一个执行包括以下的操作：提供从所述神经网络输出的第一部分导出的输出，作为所述系统输出序列中的系统输出；对于所述外部存储器中的多个位置中的每一个，从所述神经网络输出的第二部分确定一个或多个写入权重集合；根据所述写入权重集合，将由所述神经网络输出的第三部分定义的数据写入所述外部存储器；对于所述外部存储器中的所述多个位置中的每一个，从所述神经网络输出的第四部分确定一个或多个读取权重集合；根据所述读取权重集合，从所述外部存储器读取数据；以及将从外部存储器读取的数据与所述系统输入序列中的下一个系统输入组合，以产生在所述神经网络输入序列中的下一个神经网络输入。

【技术特征摘要】
【国外来华专利技术】2014.10.16 US 62/064,9651.一种用于处理系统输入序列以产生系统输出序列的增强神经网络系统，所述增强神经网络系统包括：神经网络，其中所述神经网络被配置为接收神经网络输入序列并且处理每个神经网络输入，以从所述神经网络输入生成神经网络输出；外部存储器；和存储器接口子系统，其中所述存储器接口子系统被配置为：对于所述神经网络输出中的每一个执行包括以下的操作：提供从所述神经网络输出的第一部分导出的输出，作为所述系统输出序列中的系统输出；对于所述外部存储器中的多个位置中的每一个，从所述神经网络输出的第二部分确定一个或多个写入权重集合；根据所述写入权重集合，将由所述神经网络输出的第三部分定义的数据写入所述外部存储器；对于所述外部存储器中的所述多个位置中的每一个，从所述神经网络输出的第四部分确定一个或多个读取权重集合；根据所述读取权重集合，从所述外部存储器读取数据；以及将从外部存储器读取的数据与所述系统输入序列中的下一个系统输入组合，以产生在所述神经网络输入序列中的下一个神经网络输入。2.根据权利要求1所述的增强神经网络系统，所述操作还包括：对于所述神经网络输出中的每一个：对于所述外部存储器中的所述多个位置中的每一个，从所述神经网络输出的第五部分确定一个或多个擦除权重集合；以及根据所述擦除权重集合，从所述外部存储器擦除数据。3.根据权利要求2所述的增强神经网络系统，其中，所述擦除权重集合与所述写入权重集合相同，并且所述第二部分与所述第五部分相同。4.根据权利要求1所述的增强神经网络系统，其中，确定所述一个或多个写入权重集合中的每一个包括：从所述神经网络输出的所述第二部分确定基于内容的写入权重集合。5.根据权利要求4所述的增强神经网络系统，其中，确定所述一个或多个写入权重集合中的每一个还包括：确定基于位置的写入权重集合；以及使用所述基于位置的写入权重来调整所述基于内容的写入权重，以生成所述写入权重集合。6.根据权利要求1所述的增强神经网络系统，其中，确定所述一个或多个读取权重集合中的每一个包括：根据所述神经网络输出的所述第四部分确定基于内容的读取权重集合。7.根据权利要求6所述的增强神经网络系统，其中，确定所述一个或多个读取权重集合中的每一个还包括：确定基于位置的读取权重集合；以及使用所述基于位置的读取权重来调整所述基于内容的读取权重，以生成所述读取权重集合。8.根据权利要求1所述的增强神经网络系统，其中，根据所述读取权重集合从所述外部存储器读取数据包括，对于所述读取权重的每一个集合：根据所述读取权重集合中的所述读取权重，确定在所述外部存储器中的所述多个位置中存储的值的加权平均。9.根据权利要求1所述的增强神经网络系统，其中，根据所述写入权重集合将由所述神经网络输出的所述第三部分定义的数据写入到所述外部存储器包括，对于所述写入权重集合中的每一个：从所述神经网络输出的所述第三部分确定所述写入权重集合的写入向量；以及根据所述写入权重集合，将所述写入向量写入所述多个位置。10.一种用于处理系统输入序列以使用包括神经网络和外部存储器的增强神经网络系统生成系统输出序列的方法，其中所述神经网络被配置为：接收神经网络输入序列并处理每个神经网络输入，以从所述神经网络输入生成神经网络输出，并且其中所述方法包括：对于每个神经网络输出：提供从所述神经网络输出的第一部分导出的输出，作为所述系统输出序列中的系统输出；对于所述外部存储器中的多个位置中的每一个，从所述神经网络输出的第二部分确定一个或多个写入权重集合；根据所述写入权重集合，将由所述神经网...

【专利技术属性】
技术研发人员：亚历山大·本杰明·格拉韦斯，伊沃·达尼赫尔卡，乔治·邓肯·韦恩，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US