门控注意力神经网络制造技术

描述了一种包括注意力神经网络的系统，该注意力神经网络被配置为接收输入序列并处理输入序列以生成输出。注意力神经网络包括：注意力块，其被配置为接收从注意力块输入导出的查询输入、键输入和值输入。注意力块包括注意力神经网络层，其被配置为：接收从查询输入、键输入和值输入导出的注意力层输入，并将注意力机制应用于查询输入、键输入和值输入以生成注意力神经网络层的注意力层输出；以及门控神经网络层，其被配置为将门控机制应用于注意力块输入和注意力神经网络层的注意力层输出，以生成门控注意力输出。成门控注意力输出。成门控注意力输出。

【技术实现步骤摘要】
【国外来华专利技术】门控注意力神经网络


[0001]本申请是于2019年9月25日提交的美国临时专利申请No.62/906,032的非临时申请并要求其优先权，其全部内容通过引用并入本文。

技术介绍

[0002]本说明书涉及使用注意力神经网络处理输入序列以生成输出的系统。
[0003]神经网络是机器学习模型，其使用一层或多层非线性单元来预测接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。

技术实现思路

[0004]本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的神经网络系统，该系统包括配置为接收输入序列并处理输入序列以生成输出的注意力神经网络。
[0005]注意力神经网络可以包括注意力块，该注意力块被配置为接收从注意力块输入导出的查询输入、键输入和值输入。注意力块可以包括注意力神经网络层。
[0006]注意力神经网络层可以被配置为接收从查询输入、键输入和值输入导出的注意力层输入，并将注意力机制应用于注意力层输入以生成用于注意力神经网络层的注意力层输出。
[0007]注意力块还可以包括门控神经网络层，其被配置为将门控机制应用于注意力块输入和注意力神经网络层的注意力层输出以生成门控注意力输出。注意力块输入例如可以是来自注意力神经网络中前一个注意力块的输出的嵌入或从输入序列或输入序列本身导出的嵌入。
[0008]注意力块还可以包括第一层归一化层，其被配置为将层归一化操作应用于查询输入、键输入和值输入以生成归一化查询输入、归一化键输入和归一化值输入。注意力层输入可以包括归一化查询输入、归一化键输入和归一化值输入。
[0009]将门控机制应用于注意力块输入和注意力层输出可以包括以下中的一项或多项：将sigmoid调制应用于注意力块输入以生成第一sigmoid调制输出并将第一sigmoid调制输出与注意力层输出组合以生成门控注意力输出；和/或将sigmoid调制应用于注意力层输出以生成第二sigmoid调制输出，并将第二sigmoid调制输出与注意力块输入组合以生成门控注意力输出；和/或使用sigmoid加权计算注意力块输入和注意力层输出的组合以生成门控注意力输出；和/或将sigmoid和tanh激活应用于注意力层输出以生成sigmoid
‑
tanh输出，并将sigmoid
‑
tanh输出与注意力块输入组合以生成门控注意力输出；和/或将门控循环单元应用于注意力块输入和注意力层输出。应当理解，应用sigmoid调制可以是应用sigmoid激活函数。将进一步理解，使用sigmoid加权来生成门控注意力输出的注意力块输入和注意
力层输出的组合可以是凸组合。
[0010]注意力块还可以包括第二层归一化层，其被配置为将层归一化操作应用于门控注意力输出以生成归一化门控注意力输出。注意力块可以还包括一个或多个前馈神经网络层，其被配置为将一个或多个变换应用于归一化门控注意力输出以生成临时注意力块输出。注意力块还可以包括第二门控神经网络层，其被配置为将第二门控机制应用于临时注意力块输出和门控注意力输出以生成用于注意力块的最终注意力块输出。
[0011]注意力机制可以是自注意力机制。注意力机制可以是掩蔽的自注意力机制。掩蔽的自注意力机制是被掩蔽的注意力机制，因此它不关注或以其他方式处理不在注意力层输入序列中当前位置之前的位置的任何数据。也就是说，被屏蔽的自注意力关注或处理注意力层序列中当前位置之前的位置的数据。
[0012]输入序列可以是训练输入序列。注意力神经网络可以处理训练输入序列以生成训练输入序列的输出。训练输入序列的输出可以用作训练注意力神经网络的目标函数的一部分。可以根据训练任务适当地选择训练输入序列和目标函数。该系统还可以被配置为训练注意力神经网络。
[0013]根据另一方面，提供了一种或多种计算机存储介质，其存储指令，当由一个或多个计算机执行时，该指令使一个或多个计算机实现上述注意力神经网络。
[0014]根据另一方面，提供了一种方法，该方法包括上述注意力神经网络被配置为执行的操作。
[0015]应当理解，在一个方面的上下文中描述的特征可以与在另一方面的上下文中描述的特征组合。
[0016]可以实施本说明书中描述的主题的特定实施例以实现以下优点中的一个或多个。通过用门控函数替换注意力神经网络中的残差连接，本文描述的技术允许注意力神经网络的训练变得更加稳定并提高学习速度。因此，注意力神经网络的训练可能需要更少的计算资源，例如减少了处理器周期，减少了挂钟时间，减少了功耗，因此提高了训练的计算效率。此外，网络的最终性能也可能得到提高。网络的最终性能对于不同随机种子引起的超参数选择和变化也是稳健的。这些技术使注意力神经网络能够在传统注意力神经网络无法实现的领域——例如强化学习——中取得良好的效果。例如，用于强化学习的传统注意力神经网络在某些情况下只能实现与随机策略相当的性能。此外，这些技术可以修改如何在注意力块中应用层归一化操作，以允许在训练开始时将注意力块初始化为恒等操作。这种修改在强化学习设置中特别有利，因为它允许机器人代理开始由纯粹的反应策略控制，并随着学习的进行学习使用更长的视野信息，从而进一步加快学习速度。也就是说，代理可能在基于存储器的行为之前首先学习反应性行为。
[0017]这些技术也更具可扩展性，能够学习更大和/或更深的网络，以处理更复杂的问题和环境。
[0018]本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。
附图说明
[0019]图1示出了包括注意力神经网络的示例神经网络系统，该注意力神经网络包括注
意力块。
[0020]图2图示了如何修改传统的注意力块以包括本说明书中描述的类型的注意力块。
[0021]图3是用于从注意力块输入生成注意力块的注意力块输出的示例过程的流程图。
[0022]各个附图中相同的附图标记和名称指示相同的元件。
具体实施方式
[0023]本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的神经网络系统，该系统包括注意力神经网络，该注意力神经网络包括一个或多个注意力块。神经网络系统被配置为接收输入序列并处理输入序列以生成输出。
[0024]例如，神经网络系统可以是强化学习系统，其选择要由与环境交互的强化学习代理执行的动作。为了使代理与环境交互，系统可以接收输入序列，该输入序列包括表征环境的不同状态的观察序列。该系统可以生成输出，该输出指定代理响应于接收到的输入序列，即响应于序列中的最后观察要执行的一个或多个动作。也就是说，观察序列包括表征环境的当前状态的当前观察和表征环境的过去状态的一个或多个历史观察。
[0025]在一些实施方式中，环境是真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种包括一个或多个计算机和存储指令的一个或多个存储设备的系统，当由所述一个或多个计算机执行时，所述指令使所述一个或多个计算机实现注意力神经网络，所述注意力神经网络被配置为接收输入序列并处理所述输入序列以生成输出，所述注意力神经网络包括：注意力块，所述注意力块被配置为接收从注意力块输入导出的查询输入、键输入和值输入，所述注意力块包括：注意力神经网络层，所述注意力神经网络层配置为：接收从所述查询输入、所述键输入和所述值输入导出的注意力层输入，以及将注意力机制应用于所述注意力层输入，以生成所述注意力神经网络层的注意力层输出；以及门控神经网络层，所述门控神经网络层被配置为将门控机制应用于所述注意力块输入和所述注意力神经网络层的所述注意力层输出，以生成门控注意力输出。2.根据权利要求1所述的系统，其中，所述注意力块还包括第一层归一化层，所述第一层归一化层被配置为将层归一化操作应用于所述查询输入、所述键输入和所述值输入以生成归一化查询输入、归一化键输入和归一化值输入，并且其中所述注意力层输入包括所述归一化查询输入、所述归一化键输入和所述归一化值输入。3.根据权利要求1或2中任一项所述的系统，其中，将所述门控机制应用于所述注意力块输入和所述注意力层输出包括：将sigmoid调制应用于所述注意力块输入以生成第一sigmoid调制输出；以及将所述第一sigmoid调制输出与所述注意力层输出组合以生成所述门控注意力输出。4.根据权利要求1或2中任一项所述的系统，其中，将所述门控机制应用于所述注意力块输入和所述注意力层输出包括：将sigmoid调制应用于所述注意力层输出以生成第二sigmoid调制输出，以及将所述第二sigmoid调制输出与所述注意力块输入组合以生成所述门控注意力输出。5.根据权利要求1或2中任一项所述的系统，其中，将所述门控机制应用...

【专利技术属性】
技术研发人员：埃米利奥，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：