具有关系存储器的神经网络制造技术

描述了一种系统，该系统包括一个或多个计算机和一个或多个存储设备，该存储设备存储指令，当该指令由一个或多个计算机执行时，该指令使一个或多个计算机实现：存储器和基于存储器的神经网络。存储器被配置为在存储器中的多个存储器位置中的每一个处存储相应的存储矢量。基于存储器的神经网络被配置为在多个时间步长中的每个时间步长处：接收输入；确定对存储器的更新，其中，确定更新包括对存储器中的存储矢量和接收到的输入施加注意机制；使用确定的存储器更新来更新存储器；并使用更新的存储器为当前时间步长生成输出。

【技术实现步骤摘要】
【国外来华专利技术】具有关系存储器的神经网络相关申请的交叉引用本申请要求于2018年5月18日提交的美国临时申请序列号62/673,818的优先权。该在先申请的公开内容被视为本申请的一部分，并且通过引用并入本申请的公开内容。
本说明书涉及包含关系存储器核心的神经网络体系结构。
技术介绍
神经网络是机器学习模型，它使用一层或多层非线性单元来预测针对接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每一层根据相应的一组参数的当前值从接收的输入生成输出。一些神经网络是递归神经网络。递归神经网络是一种神经网络，它接收输入序列并从输入序列生成输出序列。特别是，递归神经网络在处理输入序列中的先前输入后，会根据输入序列中的当前输入生成输出，从而使用网络的部分或全部内部状态。
技术实现思路
本说明书描述了一种实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统。该系统包括基于存储器的神经网络，该神经网络包括关系存储器核心。<br>通常，本说明书本文档来自技高网...

【技术保护点】
1.一种系统，包括一个或多个计算机和一个或多个存储设备，该存储设备存储指令，当这些指令由一个或多个计算机执行时，使该一个或多个计算机实现：/n存储器，其被配置为在存储器中的多个存储器位置中的每一个处存储相应的存储矢量；/n基于存储器的神经网络，其中基于存储器的神经网络被配置为：/n在多个时间步长中的每个步长上：/n接收输入；/n确定对存储器的更新，其中，确定更新包括对存储器中的存储矢量和接收到的输入施加注意机制；/n使用确定的存储器更新来更新存储器；和/n使用更新后的存储器生成针对当前时间步长的输出。/n

【技术特征摘要】
【国外来华专利技术】20180518 US 62/673,8181.一种系统，包括一个或多个计算机和一个或多个存储设备，该存储设备存储指令，当这些指令由一个或多个计算机执行时，使该一个或多个计算机实现：
存储器，其被配置为在存储器中的多个存储器位置中的每一个处存储相应的存储矢量；
基于存储器的神经网络，其中基于存储器的神经网络被配置为：
在多个时间步长中的每个步长上：
接收输入；
确定对存储器的更新，其中，确定更新包括对存储器中的存储矢量和接收到的输入施加注意机制；
使用确定的存储器更新来更新存储器；和
使用更新后的存储器生成针对当前时间步长的输出。


2.根据权利要求1所述的系统，其中，在所述多个时间步长中的每个时间步长处接收到的输入是以下中的一个：(i)针对当前时间步长的基于存储器的神经网络的网络输入，或者(ii)从针对当前时间步长的基于存储器的神经网络的网络输入中导出的中间输入。


3.根据权利要求1和2中的任一项所述的系统，其中，所述基于存储器的神经网络维护多个参数集；
其中，基于存储器的神经网络包括多个自注意层，每个自注意层对应于相应的参数集、存储器的相应的子存储器、以及通过将输入附加到存储器而创建的附加存储器的相应的子存储器；
其中，在每个时间步长，每个自注意层都被配置为通过使用相应的参数集对相应子存储器和相应子附加存储器中的存储矢量施加注意机制，来确定对相应子存储器的建议更新；和
其中，基于存储器的神经网络还被配置为在每个时间步长处，将由多个自注意层生成的建议更新进行组合，以生成针对存储器的更新。


4.根据权利要求3所述的系统，其中，所述自注意层并行地操作。


5.根据权利要求3和4中的任一项所述的系统，其中，组合所述建议更新包括：逐列级联所述建议更新以生成针对所述存储器的更新。


6.根据权利要求3-5中的任一项所述的系统，其中，所述多个参数集的每一个包括相应的查询权重矩阵、相应的关键权重...

【专利技术属性】
技术研发人员：JW雷，R福尔克纳，TG韦伯，DN拉波索，AA桑托罗，M克尔扎诺夫斯基，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国;GB