使用强化学习利用外部存储器增强神经网络制造技术

用于使用强化学习利用外部存储器增强神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。一种方法包括提供从神经网络输出的系统输出部分取得的输出作为系统输出序列中的一个系统输出；根据该神经网络输出的强化学习部分从存储器访问过程的预定集合中选择用于访问外部存储器的存储器访问过程；使用该神经网络输出的可区分部分依据所选择的存储器访问过程向该外部存储器中的位置写入数据以及从其读取数据；并且将从该外部存储器读取的数据与系统输入序列中的下一个系统输入进行组合以生成神经网络输入序列中的下一个神经网络输入。

Enhanced Neural Networks Using External Memory Using Reinforcement Learning

Methods, systems and devices for augmenting neural networks with external memory using reinforcement learning, including computer programs coded on computer storage media. One method includes providing the output from the system output part of the neural network output as a system output in the system output sequence; selecting the memory access process for accessing external memory from the predetermined set of memory access processes according to the enhanced learning part of the neural network output; and using the distinguishable part of the neural network output according to the selected memory. The storage access process writes data to and reads data from the location in the external memory, and combines the data read from the external memory with the next system input in the system input sequence to generate the next neural network input in the neural network input sequence.

【技术实现步骤摘要】
【国外来华专利技术】使用强化学习利用外部存储器增强神经网络相关申请的交叉引用本申请根据35U.S.C.§119(e)要求于2016年05月04日提交的题为“使用强化学习利用外部存储器增强神经网络(AUGMENTINGNEURALNETWORKSWITHEXTERNALMEMORYUSINGREINFORCEMENTLEARNING)”的美国专利申请No.62/331,904的权益。上述申请的公开内容出于所有目的而通过引用全文结合于此。
技术介绍
该说明书涉及神经网络系统架构。神经网络是采用非线性单元的一个或多个分层来针对所接收输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，所述下一层即下一个隐藏层或输出层。该网络的每一层依据相应参数集合的当前数值从所接收输入生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从该输入序列生成输出序列的神经网络。特别地，递归神经网络在计算当前输出时能够使用来自处理先前输入的一些或全部内部网络状态。递归神经网络的一种示例是长短期记忆(LSTM)神经网络，其包括一个或多个LSTM存储器块。每个LSTM存储器块可以包括一个或多个单元，每个单元均包括允许单元存储该单元的先前状态的输入门、遗忘门和输出门，所述先前状态例如用于在生成当前激励时使用或者被提供至LSTM神经网络的其它组件。
技术实现思路
该说明书描述了涉及增强神经网络系统的技术。总体上，增强神经网络系统包括被配置为接收神经网络输入并生成神经网络输出的神经网络，存储从该神经网络输出的部分取得的数值的外部存储器，和被配置为接收该神经网络输出的部分并且使用所接收的部分对该外部存储器进行擦除、写入以及从其读取的存储器接口子系统。更具体地，该存储器接口子系统所接收的该神经网络输出的部分包括强化学习部分和可区分输出部分。该存储器接口子系统使用该强化学习输出部分选择存储器访问过程，并且随后依据所选择的存储器访问过程使用该可区分输出部分来访问该外部存储器。对于要被配置为执行特定操作或动作的一个或多个计算机的系统而言，意味着该系统已经在其上安装了在操作中使得该系统执行该操作或动作的软件、固件、硬件或者它们的组合。对于要被配置为执行特定操作或动作的一个或多个计算机程序而言，意味着该一个或多个程序包括在被数据处理装置执行时使得该装置实行该操作或动作的指令。该说明书所描述的主题能够在特定实施例中实施，从而实现以下优势中的一种或多种。通过训练神经网络以针对系统输入序列中的每个输入选择要被执行以访问外部存储器的存储器访问过程，增强神经网络的性能能够得到改善。特别地，通过使用强化学习来允许神经网络生成定义存储器访问过程之间的硬性决策——即，与软的概率性选择相反，增强神经网络的性能能够得到改善。例如，神经网络能够生成定义外部存储器的分区之间的硬性选择的输出，从而允许增强神经网络系统更为有效地与存储在存储器中的数据进行交互。作为另一示例，神经网络可以生成输出，该输出定义基于内容的寻址和基于位置的寻址之间的硬选择，以允许增强神经网络系统更有效地与存储在存储器中的数据交互。该说明书的主题的一个或多个实施例的细节在以下的附图和描述中给出。该主题的其它特征、方面和优势将由于描述、附图和权利要求而变得清楚明白。附图说明图1示出了示例的增强神经网络系统。图2是用于从系统输入生成系统输出的示例过程的流程图。图3是用于针对外部存储器中的位置生成基于内容的权重的示例过程的流程图。图4是用于针对外部存储器中的位置生成基于位置的权重的示例过程的流程图。图5是用于从神经网络输出的指定部分确定存储器访问权重的示例过程的流程图。图6是用于针对外部存储器的所选择分区中的位置生成基于内容的权重的示例过程的流程图。图7是用于针对外部存储器的所选择分区中的位置向基于内容的权重应用基于位置的调节的示例过程的流程图。图8是用于依据擦除权重从外部存储器进行擦除的示例过程的流程图。图9是用于依据擦除权重对外部存储器进行写入的示例过程的流程图。图10是用于依据擦除权重从外部存储器进行读取的示例过程的流程图。各图中同样的附图标记和指定指示同样的要素。具体实施方式图1示出了示例的增强神经网络系统100。增强神经网络系统100是被实施为以下所描述的系统、组件和技术在其中实施的一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例。增强神经网络系统100是接收系统输入序列并且从该系统输入生成系统输出序列的机器学习系统。例如，增强神经网络系统100可以接收作为输入序列的一部分的系统输入x，并且从该系统输入x生成系统输出y。增强神经网络系统100能够将所生成的输出序列存储在输出数据库集中，或者提供该输出以用于一些其它直接目的。增强神经网络系统100可以被配置为接收任意类型的数字数据输入，并且基于该输入生成任意类型的分数或分类输出。例如，如果针对增强神经网络系统100的输入是图像或者已经从图像所提取的特征，则增强神经网络系统100针对给定图像所生成的输出可以是每个对象类别的分数，其中每个分数表示该图像包含属于该类别的对象的图像的估计可能性。作为另一个示例，如果针对增强神经网络系统100的输入是互联网资源(例如，网页)、文档或文档的部分，或者从互联网资源、文档或文档的部分所提取的特征，则增强神经网络系统100针对给定的互联网资源、文档或文档所生成的输出可以是主题集合中的每一个的分数，其中每个分数表示该互联网资源、文档或文档与该主题相关的估计可能性。作为另一个示例，如果针对增强神经网络系统100的输入是一种语言的文本，则增强神经网络系统100所生成的输出可以是另一种语言的文本条集合中的每一个的分数，其中每个分数表示该其它语言的文本条是输入文本到该其它语言的正确翻译的估计可能性。作为另一个示例，如果针对增强神经网络系统100的输入是口头讲话、口头讲话序列，或者从此二者之一取得的特征，则增强神经网络系统100所生成的输出可以是文本条集合中的每一个的分数，每个分数表示该文本条是该讲话或讲话序列的正确转译的估计可能性。作为另一个示例，增强神经网络系统100可以是话音合成系统的一部分。作为另一个示例，增强神经网络系统100可以是视频处理系统的一部分。作为另一个示例，增强神经网络系统100可以是对话系统的一部分。作为另一个示例，增强神经网络系统100可以是自动完成系统的一部分。作为另一个示例，增强神经网络系统100可以是文本处理系统的一部分。作为另一个示例，增强神经网络系统100可以是强化学习系统的一部分。特别地，增强神经网络系统100包括神经网络102和外部存储器104。神经网络102可以是正反馈神经网络或递归神经网络，其被配置为接收神经网络输入并且处理该神经网络输入以生成神经网络输出。通常，神经网络102所接收的每个神经网络输入是当前系统输入与存储器接口子系统106从外部存储器所读取的数据的组合。例如，神经网络102可以被配置为接收当前系统输入x和从外部存储器104读取的数据r，并且生成被提供至存储器接口子系统106的包括系统输出y和附加输出o的神经网络输出。存储器接口子系统106接收神经网络所生成的输出，例如神经网络输出oD+oRL+y(其中本文档来自技高网...

【技术保护点】
1.一种用于处理系统输入的序列以生成系统输出的序列的增强神经网络系统，所述增强神经网络系统包括：神经网络，其中所述神经网络被配置为接收神经网络输入的序列并且处理每个神经网络输入以从所述神经网络输入生成神经网络输出，所述神经网络输出包括：系统输出部分，强化学习部分，和可区分部分；外部存储器；以及存储器接口子系统，其中所述存储器接口子系统被配置为执行操作，所述操作包括针对每个神经网络输出：提供从所述神经网络输出的所述系统输出部分取得的输出作为所述系统输出的序列中的一个系统输出；根据所述神经网络输出的所述强化学习部分从存储器访问过程的预定集合中选择用于访问所述外部存储器的存储器访问过程；使用所述神经网络输出的所述可区分部分依据所选择的存储器访问过程向所述外部存储器中的位置写入数据以及从所述位置读取数据；以及将从所述外部存储器读取的数据与所述系统输入的序列中的下一个系统输入进行组合以生成所述神经网络输入的序列中的下一个神经网络输入。

【技术特征摘要】
【国外来华专利技术】2016.05.04 US 62/331,9041.一种用于处理系统输入的序列以生成系统输出的序列的增强神经网络系统，所述增强神经网络系统包括：神经网络，其中所述神经网络被配置为接收神经网络输入的序列并且处理每个神经网络输入以从所述神经网络输入生成神经网络输出，所述神经网络输出包括：系统输出部分，强化学习部分，和可区分部分；外部存储器；以及存储器接口子系统，其中所述存储器接口子系统被配置为执行操作，所述操作包括针对每个神经网络输出：提供从所述神经网络输出的所述系统输出部分取得的输出作为所述系统输出的序列中的一个系统输出；根据所述神经网络输出的所述强化学习部分从存储器访问过程的预定集合中选择用于访问所述外部存储器的存储器访问过程；使用所述神经网络输出的所述可区分部分依据所选择的存储器访问过程向所述外部存储器中的位置写入数据以及从所述位置读取数据；以及将从所述外部存储器读取的数据与所述系统输入的序列中的下一个系统输入进行组合以生成所述神经网络输入的序列中的下一个神经网络输入。2.根据权利要求1所述的增强神经网络系统，所述操作进一步包括针对每个所述神经网络输出：使用所述神经网络输出的所述可区分部分依据所选择的存储器访问过程从所述外部存储器中的位置擦除数据。3.根据权利要求1或2中的任一项所述的增强神经网络系统，其中所述外部存储器被划分为多个分区，并且其中选择所述存储器访问过程包括选择将要访问的所述外部存储器的分区。4.根据权利要求3所述的增强神经网络系统，其中使用所述神经网络输出的所述可区分部分依据所选择的存储器访问过程向所述外部存储器中的位置写入数据以及从所述位置读取数据包括：使用所述神经网络输出的所述可区分部分仅向所述外部存储器的所选择的分区中的位置写入数据以及仅从所述位置读取数据。5.根据权利要求4所述的增强神经网络系统，其中使用所述神经网络输出的所述可区分部分仅向所述外部存储器的所选择的分区中的位置写入数据以及仅从所述位置读取数据包括：根据所述神经网络输出的所述可区分部分针对所述外部存储器的所选择的分区中的每个位置确定相应的写入权重；依据所述写入权重向所述外存储器的所选择的分区中的多个位置中的每一个写入由所述神经网络输出的所述可区分部分所定义的数据；根据所述神经网络输出的所述可区分部分针对所述外部存储器的所选择的分区中的每个位置确定相应的读取权重；依据所述读取权重从所述外部存储器的所选择的分区中...

【专利技术属性】
技术研发人员：伊利亚·苏特思科韦尔，伊沃·达尼赫尔卡，亚历山大·本杰明·格拉韦斯，格雷戈里·邓肯·韦恩，沃伊切赫·扎连芭，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国,GB