白化神经网络层制造技术

用于使用包括白化神经网络层的神经网络系统来处理输入的方法、系统和设备，包括在计算机存储介质上编码的计算机程序。所述方法中的一种包括：接收由所述序列中的所述白化神经网络层之前的层所生成的输入激活；根据白化参数集来处理所接收到的激活以生成白化激活；根据层参数集来处理所述白化激活以生成输出激活；以及将所述输出激活作为输入提供给所述序列中的所述白化神经网络层之后的神经网络层。

Albino neural network layer

It is used to process input methods, systems and devices using neural network system including albino neural network layer, including computer program encoded on computer storage medium. A method comprises: receiving before the whitening generated by the neural network layer in the sequence of input layer activation; according to the parameters set to activate the albino received to generate albino activation; according to the layer parameter set to process the albino activation to generate an output activation; and the output of neural network as input layer after activation to the albino neural network layer in the sequence.

【技术实现步骤摘要】
【国外来华专利技术】白化神经网络层
本说明书涉及通过神经网络的层来处理输入以生成输出。
技术介绍
神经网络是采用非线性单元的一个或多个层来针对接收到的输入预测输出的机器学习模型。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层即下一个隐藏层或输出层的输入。网络的每个层根据相应的参数集的当前值从接收到的输入生成输出。
技术实现思路
一般而言，本说明书中所描述的主题的一个创新方面可用由一个或多个计算机实现的神经网络系统加以具体实现，所述神经网络系统包括白化神经网络层，所述白化神经网络层被配置成：接收由所述白化神经网络层之前的层生成的输入激活，根据白化参数集来处理所接收到的激活以生成白化激活，根据层参数集来处理所述白化激活以生成输出激活，并且将所述输出激活作为输入提供给所述白化神经网络层之后的神经网络层。神经网络系统被配置成接收网络输入并且通过神经网络层的序列中的每一个来处理所述网络输入以从所述网络输入生成网络输出，所述神经网络层的序列包括：白化神经网络层，其中所述神经网络层被配置成执行操作，所述操作包括：接收由所述序列中的所述白化神经网络层之前的层生成的输入激活；根据白化参数集来处理所接收到的激活以生成白化激活；根据层参数集来处理所述白化激活以生成输出激活；以及将所述输出激活作为输入提供给所述序列中的所述白化神经网络层之后的神经网络层。所述白化参数可以包括协方差参数集和均值参数集。所述均值参数集可以包括均值参数向量并且所述协方差参数集可以包括协方差权重矩阵。根据所述白化参数集来处理所接收到的激活以生成所述白化激活可以包括：从所述输入激活减去所述均值参数向量以生成中间白化激活；以及将所述协方差权重矩阵应用于所述中间白化激活以生成所述白化激活。所述协方差权重矩阵可以是具有元素的矩阵，所述元素是从在所述神经网络层的训练期间由所述序列中的所述白化神经网络层之前的所述层生成的输入激活的协方差的矩阵的特征值得到的。可以从在所述神经网络层的训练期间由所述序列中的所述白化神经网络层之前的所述层生成的输入激活的均值得到所述均值参数向量。所述层参数可以包括偏置向量d和层权重矩阵V并且所述输出激活h满足：h＝f(Vhw+d),其中f是逐元素非线性激活函数并且hw是所述白化激活。本主题的另一创新方面可用在训练数据上对所述神经网络层进行训练以调整所述序列中的所述神经网络层的所述参数的值的方法加以具体实现。对所述神经网络层进行训练可以包括，在所述训练期间：使用梯度下降技术来调整所述白化神经网络层的所述层参数集的值；以及使用由所述序列中的所述白化神经网络层之前的所述层生成的输入激活的统计来调整所述白化参数的值。调整所述白化参数的值可以包括，在所述训练期间：基于由所述白化神经网络层之前的所述层生成的输入激活的估计协方差来调整所述协方差参数的值；以及基于由所述白化神经网络层之前的所述层生成的输入激活的估计均值来调整所述均值参数的值。基于所述估计协方差来调整所述协方差参数的值可以包括基于由所述白化神经网络层之前的所述层生成的输入激活的所述估计协方差的矩阵的特征值来调整所述协方差参数的值。使用所述梯度下降技术来调整所述白化神经网络层的所述层参数集的值可以包括在使用所述梯度下降技术来更新所述层参数集的值时将所述白化参数的值视为常数。本主题的其它创新方面可用以下各项加以具体实现：一种包括所述白化神经网络层的相应的操作的方法；一种编码有指令的计算机存储介质，所述指令当由一个或多个计算机执行时，使所述一个或多个计算机执行所述白化神经网络层的相应的操作；一种编码有指令的计算机存储介质，所述指令当由一个或多个计算机执行时，使所述一个或多个计算机执行对所述神经网络层进行训练的方法的相应的操作；以及一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储装置，所述指令当由所述一个或多个计算机执行时，使所述一个或多个计算机执行对所述神经网络层进行训练的所述方法的相应的操作。针对被配置成执行特定操作或动作的一个或多个计算机的系统意味着所述系统已经在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件在操作中使所述系统执行所述操作或动作。针对被配置成执行特定操作或动作的一个或多个计算机程序意味着所述一个或多个程序包括当由数据处理设备执行时使所述设备执行所述操作或动作的指令。应当了解，可组合各方面，使得可在不同方面的上下文中实现在一个方面的上下文中描述的特征。可实现本说明书中所描述的主题的特定实施例以便实现以下优点中的一个或多个。如本说明书中所描述的白化神经网络层可具有被约束为近似为单位矩阵(identity)的Fisher矩阵，从而允许相对于该层的层参数的随机梯度下降相当于自然梯度下降。特别地，被约束的Fisher是相对于白化神经层的参数的目标函数的Fisher。因此，对包括一个或多个白化神经网络层的神经网络进行训练的神经网络系统可利用Fisher的这些性质来在优化过程中不断进步，从而改进训练过程的有效性，即，通过减少训练时间、改进经训练的神经网络模型的性能或者兼而有之。附加地，借助于包括白化神经网络层，经训练的神经网络与不包括白化神经网络层的训练的神经网络相比可更好地推广到先前未见的数据。通过像本说明书中所描述的那样配置白化神经网络层，训练过程可保持在计算上和使用现有技术来对不包括白化神经网络层的神经网络进行训练一样高效或者变得在计算上更加高效。在以下附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。本主题的其它特征、方面和优点将根据说明书、附图和权利要求书变得显而易见。附图说明图1示出示例神经网络系统。图2是用于使用白化神经网络层来处理输入激活的示例过程的流程图。图3是用于对包括白化神经网络层的神经网络进行训练的示例过程的流程图。在各个附图中相似的附图标记和名称指示相似的元件。具体实施方式本说明书描述包括一个或多个白化神经网络层的作为计算机程序实现在处于一个或多个位置中的一个或多个计算机上的神经网络系统。图1示出示例神经网络系统100。神经网络系统100是作为计算机程序实现在处于一个或多个位置中的一个或多个计算机上的系统的示例，其中可实现在下面所描述的系统、组件和技术。神经网络系统100包括在序列中从该序列中的最低层向该序列中的最高层排列的多个神经网络层。该神经网络系统通过通过序列中的每个层来处理神经网络输入102而从神经网络输入102生成神经网络输出114。神经网络系统100可被配置成接收任何种类的数字数据输入并且基于该输入生成任何种类的分数或分类输出。例如，如果对神经网络系统100的输入是图像或已从图像中提取的特征，则由神经网络系统100针对给定图像所生成的输出可以是针对对象类别集合中的每一个的分数，其中每个分数表示该图像包含属于该类别的对象的图像的估计可能性。作为另一示例，如果对神经网络系统100的输入是互联网资源(例如，web页面)、文档、或文档的部分或从互联网资源、文档或文档的部分中提取的特征，则由神经网络系统100针对给定互联网资源、文档或文档的一部分所生成的分数可以是针对主题集合中的每一个的分数，其中每个分数表示互联网资源、文档或文档部分是关于该主题的估计可能性。作为另一示例，如果对神经网络本文档来自技高网...

【技术保护点】
一种神经网络系统，所述神经网络系统由一个或多个计算机来实现并且被配置成接收网络输入并且通过神经网络层的序列中的每一个来处理所述网络输入以从所述网络输入生成网络输出，所述神经网络层的序列包括：白化神经网络层，其中所述神经网络层被配置成执行操作，所述操作包括：接收由所述序列中的所述白化神经网络层之前的层生成的输入激活；根据白化参数集来处理所接收到的激活以生成白化激活；根据层参数集来处理所述白化激活以生成输出激活；以及将所述输出激活作为输入提供给所述序列中的所述白化神经网络层之后的神经网络层。

【技术特征摘要】
【国外来华专利技术】2015.06.05 US 62/172,0091.一种神经网络系统，所述神经网络系统由一个或多个计算机来实现并且被配置成接收网络输入并且通过神经网络层的序列中的每一个来处理所述网络输入以从所述网络输入生成网络输出，所述神经网络层的序列包括：白化神经网络层，其中所述神经网络层被配置成执行操作，所述操作包括：接收由所述序列中的所述白化神经网络层之前的层生成的输入激活；根据白化参数集来处理所接收到的激活以生成白化激活；根据层参数集来处理所述白化激活以生成输出激活；以及将所述输出激活作为输入提供给所述序列中的所述白化神经网络层之后的神经网络层。2.根据权利要求1所述的神经网络系统，其中，所述白化参数集包括均值参数向量和白化权重矩阵，并且其中，根据所述白化参数集来处理所接收到的激活以生成所述白化激活包括：从所述输入激活减去所述均值参数向量以生成中间白化激活；以及将所述白化权重矩阵应用于所述中间白化激活以生成所述白化激活。3.根据权利要求2所述的神经网络系统，其中，所述白化权重矩阵是具有元素的矩阵，所述元素是从在所述神经网络层的训练期间由所述序列中的所述白化神经网络层之前的所述层生成的输入激活的协方差的矩阵的特征分解得到的。4.根据权利要求2或3中的任一项所述的神经网络系统，其中，所述均值参数向量是从在所述神经网络层的训练期间由所述序列中的所述白化神经网络层之前的所述层生成的输入激活的均值得到的。5.根据权利要求1至4中的任一项所述的神经网络系统，其中，所述层参数包括偏置向量d和层权重矩阵V，并且所述输出激活h满足：h＝f(Vhw+d),其中，f是逐元素非线性激活函数并且hw是所述白化激活。6.一种在训练数据上对根据权利要求2至5中的任一项所述的神经网络层进行训练以调整所述序列中的所述神经网络层的所述参数的值的方法。7.根据权利要求6所述的方法，其中，对所述神经网络层进...

【专利技术属性】
技术研发人员：纪尧姆·德雅尔丹，凯伦·西蒙尼扬，科拉伊·卡武克曲奥卢，拉兹万·帕什卡努，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US