具有记忆的低通递归神经网络系统技术方案

本申请涉及具有记忆的低通递归神经网络系统，包括：用于接收表示观察的序列的输入矢量的序列的输入；记忆结构，耦合到该输入以接收输入矢量的表示并将其存储为存储的数据；以及一个或多个输出层，耦合到所述记忆结构以读取并处理所述存储的数据以提供输出。记忆结构包括记忆层的序列，其中一个记忆层耦合到该序列中的下一个记忆层。对于输入矢量的序列中的每个输入矢量，记忆结构被配置成执行如下操作：在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合；和将由记忆层所存储的数据从每个记忆层传递到所述序列中的下一个记忆层并将所传递数据与由该下一个记忆层先前存储的数据相组合地存储在该下一个记忆层中。

Low Pass Recursive Neural Network System with Memory

The present application relates to a low-pass recurrent neural network system with memory, including: an input for receiving a sequence of input vectors representing an observed sequence; a memory structure coupled to the input to receive a representation of the input vector and store it as stored data; and one or more output layers coupled to the memory structure to read and process the stored data to provide. Output. The memory structure consists of a sequence of memory layers, one of which is coupled to the next memory layer in the sequence. For each input vector in the sequence of input vectors, the memory structure is configured to perform the following operations: storing a set of the latest potential variables in the first memory layer and a combination of data previously stored in the first memory layer; and transferring data stored by the memory layer from each memory layer to the next memory layer in the sequence and transferring the data to and from the first memory layer. The data previously stored in the next memory layer is stored in combination in the next memory layer.

【技术实现步骤摘要】
具有记忆的低通递归神经网络系统
本说明书涉及具有记忆的神经网络系统。
技术介绍
神经网络是机器学习模型，其使用一个或多个非线性单元层来预测接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步的网络的内部状态的一些或全部来计算当前时间步的输出。递归神经网络的示例是长短期记忆(LSTM)神经网络，其包括一个或多个LSTM记忆块。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许单元存储单元的先前状态，例如用于生成当前激活或被提供到LSTM神经网络的其他组件。
技术实现思路
该说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的递归神经网络系统。根据一个方面，递归神经网络系统包括输入，该输入被设置为接收表示观察的序列的输入矢量的序列，该输入矢量的序列是输入数据项序列的数据项。可以本文档来自技高网...

【技术保护点】
1.一种计算机实现的递归神经网络系统，包括：输入，用于接收表示观察的序列的输入矢量的序列；记忆结构，所述记忆结构耦合到所述输入以接收并存储所述输入矢量的表示作为存储数据；以及一个或多个输出层，所述一个或多个输出层耦合到所述记忆结构以读取并处理所述存储数据以提供输出；其中，所述记忆结构包括记忆层的序列，在所述序列中一个记忆层耦合到下一个记忆层，并且其中，对于所述输入矢量的序列中的每个输入矢量，所述记忆结构被配置成执行包括操作，所述操作包括：在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合；以及将由记忆层所存储的数据从每个记忆层传递到所述记忆层的序列中的下一个记忆层并...

【技术特征摘要】
2018.02.09 US 62/628,7481.一种计算机实现的递归神经网络系统，包括：输入，用于接收表示观察的序列的输入矢量的序列；记忆结构，所述记忆结构耦合到所述输入以接收并存储所述输入矢量的表示作为存储数据；以及一个或多个输出层，所述一个或多个输出层耦合到所述记忆结构以读取并处理所述存储数据以提供输出；其中，所述记忆结构包括记忆层的序列，在所述序列中一个记忆层耦合到下一个记忆层，并且其中，对于所述输入矢量的序列中的每个输入矢量，所述记忆结构被配置成执行包括操作，所述操作包括：在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合；以及将由记忆层所存储的数据从每个记忆层传递到所述记忆层的序列中的下一个记忆层并且将所传递的数据与由所述下一个记忆层先前存储的数据相组合地存储在所述下一个记忆层中。2.根据权利要求1所述的系统，其中，在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合包括：在将所述组合存储在所述第一记忆层中之前使先前存储在所述第一记忆层中的所述数据衰减；并且其中，将由记忆层所存储的数据从每个记忆层传递到所述记忆层的序列中的下一个记忆层并且将所传递的数据与由所述下一个记忆层先前存储的数据相组合地存储包括：在将所述组合存储在所述下一个记忆层之前使由所述下一个记忆层先前存储的数据衰减。3.根据权利要求1所述的系统，其中，在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合包括：在将所述组合存储在所述第一记忆层中之前将所述最新的潜在变量的集合乘以b-n并且将先前存储在所述第一记忆层中的所述数据乘以1-b-n；并且其中，将由记忆层所存储的数据从每个记忆层传递到所述记忆层的序列中的下一个记忆层并且将所传递的数据与由所述下一个记忆层先前存储的数据相组合地存储包括：在将所述组合存储在所述下一个记忆层中之前将所传递的数据乘以b-(n+l)并且将先前存储在所述下一个记忆层中的所述数据乘以1-b-(n+l)，其中n在所述记忆层的序列中对所述记忆层编索引并且l是常数。4.根据权利要求1所述的系统，其中，所述一个或多个输出层包括用于各自分别耦合到共享输出层的每个记忆层的输出层。5.根据权利要求1至4中的任一项所述的系统，进一步包括一个或多个输入层，所述一个或多个输入层耦合到所述输入以处理所述输入矢量并且生成所述观察的潜在表示的序列，每个潜在表示包括一个或多个潜在变量的集合，并且其中，由所述记忆结构所存储的所述输入矢量的表示包括所述潜在变量的表示。6.一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令当由所述一个或多个计算机执行时使所述一个或多个计算机实现：用于神经网络的记忆系统，所述记忆系统包括：第一记忆块集合，所述记忆块具有关联的次序；其中，所述记忆系统被配置成在多个时间步中的每一个：将输入数据传递到最高排序的记忆块；对存在较低排序的记忆块的每个记忆块：对由该记忆块当前存储的数据应用滤波函数以生成滤波数据并且将所述滤波数据传递到较低排序的记忆块；对每个记忆块：将当前存储在该记忆块中的数据与传递到该记忆块的数据组合以生成更新的数据；并且将所述更新的数据存储在该记忆块中。7.根据权利要求6所述的系统，其中，所述记忆系统被配置成通过使当前存储在所述记忆块中的所述数据减弱来将当前存储在所述记忆块中的所述数据与传递到所述记忆块的所述数据组合以产生减弱的数据并且将所述减弱的数据与传递到所述记忆块的所述数据组合以生成所述更新的数据。8.根据权利要求7所述的系统，其中，所述系统被配置成通过将当前存储在所述记忆块中的所述数据乘以与所述记忆块相关联的因子来使当前存储在所述记忆块中的所述数据减弱。9.根据权利要求8所述的系统，其中，与所述记忆块相关联的所述因子在所述记忆块的所述次序上以指数方式减小。10.根据权利要求7所述的系统，其中，所述记忆系统被配置成通过将当前存储在所述记忆块中的所述数据乘以b-(n+A...

【专利技术属性】
技术研发人员：拉兹万·帕什卡努，威廉·克林顿·达布内，托马斯·斯特普莱顿，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国,GB