增强神经网络以生成附加输出制造技术

用于增强神经网络以生成附加输出的方法、系统和装置，包括在计算机程序介质上编码的计算机程序。该系统之一包括神经网络和序列处理子系统，其中，该序列处理子系统被配置为对系统输入序列中的每个系统输入，执行包括下述的操作：接收系统输入；根据系统输入生成初始神经网络输入；使神经网络处理初始神经网络输入以生成对于系统输入的初始神经网络输出；以及根据对于系统输入的初始神经网络输入的第一部分，确定是否使神经网络生成对于该系统输入的一个或多个附加神经网络输出。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
本说明书涉及神经网络系统架构。神经网络是采用非线性单元的一个或多个层来预测对所接收的输入的输出的机器学习模型。一些神经网络除输出层外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层的输入，网络中的下一层即为下一隐藏层或输出层。网络的每个层根据相应的参数集的当前值，根据接收的输入来生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并且根据该输入序列生成输出序列的神经网络。具体地，递归神经网络能够在计算当前时间步骤的输出中，使用来自前一时间步骤的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个长短期记忆(LSTM)的记忆块的LSTM神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门、和输出门，这允许该单元存储该单元的先前状态，例如用于生成当前活动或被提供给LSTM神经网络的其它组件。
技术实现思路
本说明书描述涉及增强的神经网络系统的技术。通常，增强的神经网络系统包括被配置为接收神经网络输入并且对每个神经网络输入生成相应的神经网络输出的神经网络。增强的神经网络系统还包括序列处理子系统，其被配置为对系统输入序列中的每个系统输入，接收该系统输入并且根据该系统输入生成初始神经网络输入。序列处理子系统还被配置为使神经网络处理该初始神经网络输入以对该系统输入生成初始神经网络输出并且根据对于该系统输入的初始神经网络输入的第一部分，确定是否使神经网络生成对于该系统输入的一个或多个附加神经网络输出。对被配置为执行特定操作或动作的一个或多个计算机的系统，是指该系统已经在其上安装软件、固件、硬件或它们的组合，在操作中，软件、固件、硬件或它们的组合使该系统执行操作或动作。对被配置为执行特定操作或动作的一个或多个计算机程序，是指该一个或多个程序包括指令，当由数据处理装置执行该指令时，该指令使该装置执行该操作或动作。能够在特定实施例中实施本说明书中所述的主题以便实现下述一个或多个优点。通过允许增强的神经网络系统确定何时对给定的系统输入生成最终系统输出，通过允许神经网络对困难输入生成更精确输出，能够提高神经网络的性能。另外，在训练期间，或训练后，在运行时，在不显著地增加神经网络所需的处理时间或由其使用的计算资源的情况下，提高神经网络的性能。另外，增强的神经网络系统被配置为当由该系统生成的输出是最终系统输出时进行信号告知。通过这样做，该系统被给予准确地产生更复杂系统输出的时间，例如，以确保当还未完成时，不会为进一步处理而发出不完整的可变长度输出，从而提高了系统的性能。在附图和下述描述中，阐述本说明书的主题的一个或多个实施例的细节。从说明书、附图和权利要求，该主题的其他特征、方面和优点将变得显而易见。附图说明图1示出示例增强的神经网络系统。图2是用于根据系统输入生成系统输出的示例过程的流程图。图3是用于对系统输入生成一个或多个神经网络输出的示例过程的流程图。图4是用于根据系统输入生成系统输出的示例过程的流程图。图5是用于根据神经网络输出的指定部分确定存储器存取权重的示例过程的流程图。图6是用于对外部存储器的位置生成基于内容的权重的示例过程的流程图。图7是用于将基于位置的调整应用于基于内容的权重的示例过程的流程图。图8是根据擦除权重从外部存储器擦除的示例过程的流程图。图9是根据写入权重写入到外部存储器的示例过程的流程图。图10是根据读取权重从外部存储器读取的示例过程的流程图。不同图中相同的数字和名称表示相同的元件。具体实施方式图1示出示例增强的神经网络系统100。该增强的神经网络系统100是被实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中，实现下文所述的系统、组件和技术。增强的神经网络系统100是接收系统输入序列并且根据该系统输入生成系统输出的序列的机器学习系统。例如，增强的神经网络系统100能够将系统输入x接收为输入序列的一部分并且生成包括在该系统输出的序列中的系统输出y。增强的神经网络系统100能够将生成的输出序列存储在输出数据库中或提供输出序列，以用于一些其他直接目。增强的神经网络系统100能够被配置成接收任何种类的数字数据输入，并且基于输入生成任何种类的得分或分类输出。例如，如果增强的神经网络系统100的输入是已经从图像提取的图像或特征，由增强的神经网络系统100对于给定图像而生成的输出可以是对象类别集中的每个的得分，其中每个得分表示图像包含属于该类别的对象的图像的估计可能性。如另一示例，如果增强的神经网络系统100的输入是互联网资源(例如网页)、文档或文档的一部分或从互联网资源、文档或文档的一部分提取的特征，由增强的神经网络系统100对于给定的互联网资源、文档或文档的一部分而生成的输出可以是主题集中的每个的得分，其中每个得分表示互联网资源、文档或文档部分是有关该主题的估计可能性。如另一示例，如果增强的神经网络系统100的输入是用于特定广告的印象场境的特征，由增强的神经网络系统100生成的输出可以是表示将点击特定广告的估计可能性。如另一示例，如果增强的神经网络系统100的输入是对于用户的个性化推荐的特征，例如，特征化推荐场境的特征，例如，特征化由用户采取的在前动作的特征，由增强的神经网络系统100生成的输出可以是内容项集中的每个的得分，其中每个得分表示用户将顺利地响应被推荐的内容项的估计可能性。如另一示例，如果增强的神经网络系统100的输入是以一种语言的文本，由增强的神经网络系统100生成的输出可以是以另一种语言的几篇文本的集合中的每个的得分，其中每个得分表示以该另一语言的一篇文本是将输入文本适当翻译成该另一语言的估计可能性。如另一示例，如果增强的神经网络系统100的输入是说出的话语、说出的话语序列或由上述两个中的一个导出的特征，由增强的神经网络系统100生成的输出可以是几篇文本的集合中的每个的得分，每个得分表示一篇文本是话语或话语序列的正确转录的估计可能性。如另一示例，增强的神经网络系统100能够是语音合成系统的一部分。如另一示例，增强的神经网络系统100能够是视频处理系统的一部分。如另一示例，增强的神经网络系统100能够是对话系统的一部分。如另一示例，增强的神经网络系统100能够是自动完成系统的一部分。如另一示例，增强的神经网络系统100能够是文本处理系统的一部分。如另一示例，增强的神经网络系统100能够是强化学习系统的一部分。具体地，增强的神经网络系统100包括神经网络102和序列处理子系统108。神经网络102可以是被配置为接收神经网络输入并且处理该神经网络输入以生成神经网络输出的前馈神经网络或递归神经网络。序列处理子系统108接收系统输入x并且根据该系统输入x生成神经网络输入s。然后，序列处理子系统108使神经网络102处理该神经网络输入s以生成对于该神经网络输入的神经网络输出o1。此外，根据神经网络102生成的每个神经网络输入，序列处理子系统108确定是否使神经网络102生成对于当前系统输入的一个或多个附加神经网络输出。然后，序列处理子系统108根据神经网络102对于该系统输入x而生成的每个神经网络输出，确定对于该系统输入x的系统输出y。即，序列处理子系统108根据神经网络102对于给定系统输入而生成的神经网络本文档来自技高网...

【技术保护点】
一种用于处理系统输入序列以生成系统输出序列的增强的神经网络系统，所述增强的神经网络系统包括：神经网络，其中，所述神经网络被配置为：接收神经网络输入，以及处理每个所述神经网络输入，以生成每个神经网络输入的相应的神经网络输出；以及序列处理子系统，其中，所述序列处理子系统被配置为对所述系统输入序列中的每个所述系统输入执行包括下述的操作：接收所述系统输入；根据所述系统输入生成初始神经网络输入；使所述神经网络处理所述初始神经网络输入，以生成所述系统输入的初始神经网络输出；以及根据所述系统输入的所述初始神经网络输出的第一部分，确定是否使所述神经网络生成所述系统输入的一个或多个附加神经网络输出。

【技术特征摘要】
【国外来华专利技术】2014.12.24 US 62/096,7161.一种用于处理系统输入序列以生成系统输出序列的增强的神经网络系统，所述增强的神经网络系统包括：神经网络，其中，所述神经网络被配置为：接收神经网络输入，以及处理每个所述神经网络输入，以生成每个神经网络输入的相应的神经网络输出；以及序列处理子系统，其中，所述序列处理子系统被配置为对所述系统输入序列中的每个所述系统输入执行包括下述的操作：接收所述系统输入；根据所述系统输入生成初始神经网络输入；使所述神经网络处理所述初始神经网络输入，以生成所述系统输入的初始神经网络输出；以及根据所述系统输入的所述初始神经网络输出的第一部分，确定是否使所述神经网络生成所述系统输入的一个或多个附加神经网络输出。2.如权利要求1所述的增强的神经网络系统，所述操作进一步包括：响应于确定不使所述神经网络生成所述系统输入的一个或多个附加神经网络输出，根据所述系统输入的所述初始神经网络输出的第二部分，生成所述系统输入的系统输出。3.如权利要求1或2的任何一个所述的增强的神经网络系统，所述操作进一步包括：响应于确定使所述神经网络生成所述系统输入的一个或多个附加神经网络输出，使所述神经网络生成所述系统输入的所述一个或多个附加神经网络输出，其中，使所述神经网络生成所述系统输入的所述一个或多个附加神经网络输出中的每个包括：生成附加神经网络输入；使所述神经网络处理所述附加神经网络输入，以生成所述附加神经网络输出；以及根据所述附加神经网络输出的第一部分，确定是否使所述神经网络生成另一附加神经网络输出。4.如权利要求3所述的增强的神经网络系统，所述操作进一步包括：响应于确定不使所述神经网络生成另一附加神经网络输出，根据由所述神经网络针对所述系统输入所生成的最后附加神经网络输出的第二部分，生成所述系统输入的系统输出。5.如权利要求3所述的增强的神经网络系统，所述操作进一步包括：响应于确定不使所述神经网络生成另一附加神经网络输出，根据所述初始神经网络输出的第二部分和所述一个或多个附加神经网络输出的第二部分，生成所述系统输入的系统输出。6.如权利要求5所述的增强的神经网络系统，其中，生成所述系统输出包括：根据对应的初始神经网络输出的第一部分和所述附加神经网络输出的第一部分，确定所述初始神经网络输出的相应权重和每个所述附加神经网络输出的相应权重；以及根据所述相应权重，组合所述初始神经网络输出的第二部分和所述附加神经网络输出的第二部分。7.如权利要求3-6的任何一个所述的增强的神经网络系统，其中，生成所述附加神经网络输入包括：根据所述系统输入，生成所述附加神经网络输入。8.如权利要求3-6的任何一个所述的增强的神经网络系统，其中，生成所述附加神经网络输入包括：生成缺省的神经网络输入。9.如权利要求1-8的任何一个所述的增强的神经网络系统，其中，根据所述系统输入的所述初始神经网络输出的第一部分确定是否使所述神经网络生成所述系统输入的一个或多个附加神经网络输出包括：根据所述初始神经网络输出的第一部分确定概率；以及基于所述概率，确定是否使所述神经网络生成所述一个或多个附加神经网络输出。10.如权利要求1-8的任何一个所述的增强的神经网络系统，其中，根据所述系统输入的所述初始神经网络输出的第一部分确定是否使所述神经网络生成所述系统输入的一个或多个附加神经网络输出包括：确定所述初始神经网络输出的所述第一部分是否超出阈值；以及当所述初始神经网络输出的所述第一部分超出所述阈值...

【专利技术属性】
技术研发人员：亚历山大·本杰明·格拉韦斯，伊沃·达尼赫尔卡，乔治·邓肯·韦恩，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US