压缩的递归神经网络模型制造技术

本发明专利技术公开了压缩的递归神经网络模型。本发明专利技术提供用于利用压缩选通函数来实施长的短期记忆层的方法、系统、和装置，包括在计算机存储介质上编码的计算机程序。系统之一包括第一LSTM层，该第一LSTM层具有门，门被配置成针对多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量。门中的至少一个门的门参数矩阵是结构化矩阵或者由压缩的参数矩阵和投影矩阵定义。通过将压缩的LSTM层包括在递归神经网络中，递归神经网络被配置成能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练以实现可比得上全尺寸的(例如，未压缩的)递归神经网络的误字率。

【技术实现步骤摘要】
压缩的递归神经网络模型
技术介绍
本说明书涉及神经网络架构和压缩的神经网络。神经网络是采用一个或多个层的非线性单元来针对所接收的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层(hiddenlayer)。每个隐藏层的输出用作对网络中的下一层的输入，即，下一隐藏层或者输出层。网络的每一层根据相应的参数集合的当前值来从所接收的输入生成输出。例如针对时间序列问题或者序列到序列学习而设计的那些神经网络(递归神经网络(RNN))的一些神经网络包含递归环路，该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。RNN的变型，长的短期记忆(LSTM)神经网络，包括用于控制在数据输入之间的数据持久性的每个层内多个门(gate)。一些神经网络(例如，针对时间序列问题或者序列到序列学习而设计的那些神经网络)包含递归环路，该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。
技术实现思路
本说明书描述了涉及递归神经网络架构的技术。一般而言，递归神经网络包括被压缩的至少一个长的短期记忆(LSTM)层。LSTM层具有至少一个门，该至少一个门具有压缩的参数矩阵。可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个或多个，或者通过用压缩的参数矩阵和投影矩阵重新定义门参数矩阵，来对LSTM层进行压缩。可选地，可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个来对一个LSTM层进行压缩，并且可以通过用压缩的参数矩阵和投影矩阵，重新定义门参数矩阵，来代替在另一LSTM层中的门参数矩阵中的一个，来对另一LSTM层进行压缩。对于待配置为执行特定操作或者动作的一个或多个计算机的系统，意味着该系统在其上安装有在运行时使该系统执行该操作或者动作的软件、固件、硬件、或者其组合。对于待配置为执行特定操作或者动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，该指令在由数据处理装置执行时使该装置执行该操作或者动作。可以将本说明书中描述的主题实现为具体实施例，从而实现以下优点中的一个或多个。可以通过将压缩的LSTM层包括在递归神经网络中来提高递归神经网络的性能。具体地，通过将压缩的LSTM层包括在递归神经网络中，递归神经网络被配置为能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练为实现可比得上全尺寸的(例如，未压缩的)递归神经网络的误字率。在附图和以下描述中陈述了本说明书中描述的主题的一个或多个实施例的细节。本主题的其它特征、方面和优点通过说明书、附图和权利要求书将变得显而易见。附图说明图1示出了示例神经网络系统。图2A和图2B示出了示例性结构化矩阵。图3是用于对当前层输入进行处理以生成下一层输出的示例性过程的流程图。图4是用于将门应用于门输入矢量以生成门输出矢量的示例性过程的流程图。图5是用于对包括饱和LSTM层的递归神经网络进行训练的示例性过程的流程图。在各个附图中，相同的附图标记和标志指示相同的元件。具体实施方式图1示出了示例性神经网络系统100。该神经网络系统100是实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中实现下面描述的系统、组件和技术。神经网络系统100是一种机器学习系统，该机器学习系统在多个时间步长中的每个时间步长处接收相应的神经网络输入，并且生成在时间步长中的每个时间步长处的相应的神经网络输出。即，在多个时间步长中的每个时间步长处，神经网络系统100接收神经网络输入，并且对神经网络输入进行处理以生成神经网络输出。例如，在给定时间步长处，神经网络系统100可以接收神经网络输入102，并且生成神经网络输出132。神经网络系统100可以将所生成的神经网络输出存储在输出数据存储库中，或者提供神经网络输出以用于一些其它直接目的。神经网络系统100可以被配置为接收任何种类的数字数据输入，并且基于该输入来生成任何种类的分数或者分类输出。例如，如果对神经网络系统100的输入是图像或者已经从图像提取到的特征，则由神经网络系统100针对给定图像生成的输出可以是对象类别集合中的每一个的分数，其中，每个分数表示图像包含属于该类别的对象的图像的估计的可能性。作为另一示例，如果对神经网络系统100的输入是互联网资源(例如，web页面)、文档、或者文档的一部分、或者从互联网资源、文档、或者文档的一部分提取到的特征，则由神经网络系统100针对给定互联网资源、文档、或者文档的一部分所生成的输出可以是话题集合中的每一个的分数，其中，每个分数表示互联网资源、文档、或者文档的一部分与该话题有关的估计的可能性。作为另一示例，如果对神经网络系统100的输入是对用户的个性化推荐的特征，例如，表征推荐的上下文的特征，例如，表征用户所采取的先前动作的特征，则由神经网络系统100生成的输出可以是内容项集合中的每一个的分数，其中，每个分数表示用户将积极响应被推荐内容项的估计的可能性。在这些示例中的一些中，神经网络系统100是将内容推荐提供给用户的增强式学习系统的一部分。作为另一示例，如果对神经网络系统100的输入是一种语言的文本，则由神经网络系统100生成的输出可以是另一语言的文本段集合中的每个文本段的分数，其中，每个分数表示该另一语言的文本段是输入文本成为该另一语言的适当翻译的估计的可能性。作为另一示例，如果对神经网络系统100的输入是说出的语句的特征，则由神经网络系统100生成的输出可以是文本段集合中的每个文本段的分数，每个分数表示该文本段是对语句的正确转录的估计的可能性。作为另一示例，如果对神经网络系统100的输入是图像，则由神经网络系统100生成的输出可以是文本段集合中的每个文本段的分数，每个分数表示该文本段是存在于输入图像中的文本的估计的可能性。具体地，神经网络系统100包括递归神经网络110，该递归神经网络110进而包括压缩的长的短期记忆(LSTM)层120。递归神经网络110被配置成，在时间步长中的每个时间步长处接收神经网络输入，并且对该神经网络输入进行处理以生成在该时间步长处的神经网络输出。除了压缩的LSTM层120之外，递归神经网络110还可以包括一个或多个其它组件，例如，其它压缩的LSTM层、传统LSTM层、其它递归神经网络层、其它非递归神经网络层等。例如，递归神经网络100可以是深度LSTM网络，该深度LSTM网络包括输入层、彼此上下布置在有序堆叠中的包括压缩的LSTM层120的多个LSTM层、以及输出层，该输出层在每个时间步长处接收来自在该堆叠中的最高LSTM层的层输出，并且可选地接收来自在该堆叠中的其它LSTM层的层输出，并且对该层输出进行处理以生成在该时间步长处的神经网络输出132。压缩的LSTM层120被配置成，在时间步长中的每个时间步长处接收当前层输入122，并且对当前层输入122、当前层状态和当前层输出进行处理，以生成新的层输出126并且对当前层状态进行更新以生成新的层状态124。根据递归神经网络110的配置，当前层输入122可以是神经网络输入102或者由递归神经网络110的不同组件生成的输出。另外，针对在第一步长之后的每个时间步长，当前层状态是在前一个时间步长处生成的新的层状态，本文档来自技高网...

【技术保护点】
一种神经网络系统，包括：递归神经网络，所述递归神经网络由一个或多个计算机实现，其中，所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入，并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出，并且其中，所述递归神经网络包括：第一长的短期记忆(LSTM)层，其中，所述第一LSTM层被配置成，针对所述多个时间步长中的每个时间步长，通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出，所述多个门中的每个门被配置成，针对所述多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量，并且其中，所述多个门中的至少一个门的所述门参数矩阵是类托普利兹结构化矩阵。

【技术特征摘要】
2016.03.01 US 62/301,734;2016.06.03 US 15/172,4571.一种神经网络系统，包括：递归神经网络，所述递归神经网络由一个或多个计算机实现，其中，所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入，并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出，并且其中，所述递归神经网络包括：第一长的短期记忆(LSTM)层，其中，所述第一LSTM层被配置成，针对所述多个时间步长中的每个时间步长，通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出，所述多个门中的每个门被配置成，针对所述多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量，并且其中，所述多个门中的至少一个门的所述门参数矩阵是类托普利兹结构化矩阵。2.根据权利要求1所述的神经网络系统，其中，所述递归神经网络包括第二LSTM层，其中，所述第二LSTM层被配置成，针对所述多个时间步长中的每个时间步长，通过将第二多个门应用于第二当前层输入、第二当前层状态和第二当前层输出来生成第二新的层状态和第二新的层输出，所述第二多个门中的每个门被配置成，针对所述多个时间步长中的每个时间步长，通过使第二门输入矢量乘以第二门参数矩阵来生成相应的第二中间门输出矢量，并且其中，所述第二多个门中的至少一个门的所述门参数矩阵由压缩的参数矩阵和投影矩阵定义。3.根据权利要求2所述的神经网络系统，其中，所述第一LSTM层和所述第二LSTM层中的每一个是在层的有序堆叠中的多个LSTM层中的一个。4.根据权利要求3所述的神经网络系统，其中，所述第一LSTM层在所述堆叠中比所述第二LSTM层低。5.根据权利要求1-4中任一项所述的神经网络系统，其中，所述多个门中的每个门被配置成，针对所述多个时间步长中的每个时间步长，将相应的选通函数应用于所述相应的中间门输出矢量的每个分量，以生成相应的最终门输出矢量。6.根据权利要求1-4中任一项所述的神经网络系统，其中，所述神经网络是声学模型。7.根据权利要求1-4中任一项所述的神经网络系统，其中，所述神经网络是语音识别模型。8.根据权利要求1-4中任一项所述的神经网络系统，其中，所述神经网络被压缩了所述神经网络的未压缩版本的至少75％。9.根据权利要求1-4中任一项所述的神经网络系统，其中，所述神经网络的误字率在所述神经网络的未压缩版本的误字率的0.3％内。10.一种神经网络系统，包括：递归神经网络，所述递归神经网络由一个或多个计算机实现，其中，所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入，并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出，并且其中，所述递归神经网络包括：第一长的短期记忆(LSTM)层，其中，所述第一LSTM层被...

【专利技术属性】
技术研发人员：塔拉·N·赛纳特，维卡斯·辛德瓦尼，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US