前馈生成式神经网络制造技术

公开了一种前馈生成式神经网络，该前馈生成式神经网络生成在单个神经网络推理中包括特殊类型的多个输出示例的输出示例。可选地，生成可以以上下文输入为条件。例如，前馈生成式神经网络可以生成语音波形，语音波形是以文本片段的语言特征为条件的输入文本片段的语言化。

Feedforward generated neural network

A feed-forward generative neural network is disclosed. The feed-forward generative neural network generates output examples including special types of multiple output examples in a single neural network reasoning. Alternatively, the generation can be conditional on the following inputs. For example, the feedforward generated neural network can generate speech waveform, which is the input text segment's linguistic feature.

【技术实现步骤摘要】
【国外来华专利技术】前馈生成式神经网络
技术介绍
本说明书涉及生成式神经网络。神经网络是采用一层或多层非线性单元来预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应的一组参数的当前值从所接收的输入中生成输出。
技术实现思路
总的来说，本说明书描述了前馈生成式神经网络。前馈生成式神经网络是在单个神经网络推理中生成包括多个特殊类型的输出样本的输出示例的神经网络。可选地，生成可以以上下文输入为条件。例如，前馈生成式神经网络可以生成语音波形，语音波形是以文本片段的语言特征为条件的输入文本片段的语言化。因此，在一个实施方案中，本说明书描述了一种训练前馈生成式神经网络的方法，该前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例。每个输出示例包括在多个生成时间步骤的每一个处的相应的输出样本。前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理前馈输入以生成前馈输出，对于生成时间步骤中的每一个，该前馈输出定义在该生成时间步骤处的输出样本的可能值的相应的似然性分布。该训练包括获得训练上下文输入；根据前馈参数的当前值，使用前馈生成式神经网络处理包括该训练上下文输入的训练前馈输入，以生成训练前馈输出；以及使用经训练的自回归生成式神经网络处理训练上下文输入。对于多个生成时间步骤中的每一个，经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，该自回归输出定义了在该生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布。该方法还包括确定相对于前馈参数的第一梯度，以使散度损耗最小化。对于生成时间步骤中的每一个，散度损耗取决于来自由自回归输出定义的、该生成时间步骤的似然性分布和由训练的前馈输出定义的、该生成时间步骤的似然性分布(由自回归输出定义的、该生成时间步骤的似然性分布和由训练的前馈输出定义的、该生成时间步骤的似然性分布之间)的第一散度。该方法还包括至少部分基于第一梯度确定对前馈参数的当前值的更新。此类方法的优点将稍后描述。通常，但并不一定，前馈输入还包括在生成时间步骤中的每一个处的相应的噪声输入。在一些实施方案中，这便于以并行方式生成一组样本的输出分布，因此这比自回归方法快得多。例如，第一散度可以是KL散度或Jensen-Shannon散度。散度损耗可以至少部分地取决于在时间步骤中的每一个处的第一散度的总和。该训练可以还包括获得训练上下文输入的真值输出示例，并且通过从概率分布采样来根据训练的前馈输出生成预测的输出示例。预测的输出示例可以用于确定训练的另一梯度。因此，真值输出示例和预测的输出示例可以定义诸如语音波形的波形。然后，训练可以还包括生成真值输出示例的第一幅度谱；生成预测的输出示例的第二幅度谱；以及确定相对于前馈参数的第二梯度，以使取决于第一与第二幅度谱之间的差异的幅度损耗最小化。确定对前馈参数的当前值的更新可以包括至少部分地基于第二梯度来确定更新。幅度谱可以包括例如定义波形的振幅、能量或类似幅度谱(例如，表示不同频带中的功率)的数据。附加地或可替换地，训练可以包括使用经训练的特征生成神经网络处理真值输出示例，以获得真值输出示例的特征。经训练的特征生成神经网络可以是以波形为输入的经预先训练的神经网络。该训练可以还包括使用经训练的特征生成神经网络处理预测的输出示例，以获得预测的输出示例的特征。然后，该方法可以包括确定相对于前馈参数的第三梯度，以使感知损耗最小化。感知损耗可以被定义为取决于真值输出示例的特征与预测的输出示例的特征之间的差异的量度的损耗。确定对前馈参数的当前值的更新可以包括至少部分地基于第三梯度来确定更新。该特征生成神经网络可以包括语音识别神经网络，特别是当输出示例包括语音波形时。更一般地，该特征生成神经网络可以包括经训练的自回归生成式神经网络。在这些和其他实施方案中，这些特征可以是在特征生成网络中的中间层的输出。该训练可以附加地或可替代地包括获得不同的上下文输入；使用经训练的自回归生成式神经网络处理不同的上下文输入，以获得多个生成时间步骤中的每一个的相应的不同的自回归输出；以及确定相对于前馈参数的第四梯度，以使对比损耗最大化。广义而言，此处，对比损耗定义了两种分布之间的相似性度量。因此，对于生成时间步骤中的每一个，对比损耗可以被定义为至少部分取决于来自由不同自回归输出定义的、该生成时间步骤的似然性分布和由训练的前馈输出定义的、该生成时间步骤的似然性分布的第二散度的损耗。确定对前馈参数的当前值的更新可以包括至少部分地基于第四梯度来确定更新。这里还描述了生成输出示例的方法。该方法可以包括接收上下文输入并通过使用已经使用如上所述的方法训练的前馈生成式神经网络处理包括上下文输入的前馈网络输入来生成输出示例。前馈网络输入可以包括噪声输入。这里还描述了一种方法，该方法包括接收生成波形的请求，该波形包括以调节张量为条件的多个样本，调节张量表示文本输入的特征；获得包括多个样本中的每一个的噪声值的随机噪声向量；以及使用前馈生成式神经网络处理随机噪声向量，以生成波形。前馈生成式神经网络可以包括一系列的卷积神经网络层群组。每个群组可以以调节张量为条件。每个群组可以被配置为接收输入波形，并将以调节张量为条件的波形转换成输出波形。第一卷积神经网络层群组的输入波形可以是随机噪声向量。除第一群组之外的每个卷积神经网络层群组的输入波形可以是紧接在该群组之前的群组的输出波形。所生成的波形可以是最后一个卷积神经网络层群组的输出。在一些实施方案中，卷积神经网络层群组可以包括具有由调节张量门控的激活函数的一个或多个层。例如，激活函数可以是调节张量与一个或多个可学习权重的卷积的函数。每个卷积层群组可以包括一个或多个残差块，一个或多个残差块各自包括一个或多个扩张卷积层，便于模拟长期因果相关性。例如，在一些实施方案中，每个卷积层群组可以具有类似于WaveNet(稍后引用)的结构，但是采用随机噪声向量作为输入。该系列的卷积神经网络层(convolutionalneuralnetwork，CNN)群组可以包括输入和输出之间的一串CNN层群组。前馈生成式神经网络可以生成定义多个样本中的每一个样本的可能值的相应似然性分布的输出。该处理可以还包括使用相应的概率分布为样本中的每一个选择值。本说明书结合系统和计算机程序组件使用术语“配置”。一个或多个计算机的系统被配置为执行特殊的操作或动作意味着系统已经在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中导致系统执行操作或动作。一个或多个计算机程序被配置为执行特定操作或动作的意味着一个或多个程序包括指令，当这些指令由数据处理装置执行时使得该装置执行操作或动作。本说明书中描述的主题的特定实施例可以被实施以便实现以下优点中的一个或多个。自回归神经网络通过在每个时间步骤处执行前向传递来生成跨多个时间步骤的输出本文档来自技高网...

【技术保护点】
1.一种训练前馈生成式神经网络的方法，所述前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例，/n其中，每个输出示例包括在多个生成时间步骤中的每一个生成时间步骤处的相应的输出样本，/n其中，所述前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理所述前馈输入以生成前馈输出，对于所述生成时间步骤中的每一个生成时间步骤，所述前馈输出定义在所述生成时间步骤处的输出样本的可能值的相应的似然性分布。/n其中，所述训练包括：/n获得训练上下文输入；/n根据所述前馈参数的当前值，使用所述前馈生成式神经网络处理包括所述训练上下文输入的训练的前馈输入，以生成训练的前馈输出。/n使用经训练的自回归生成式神经网络处理所述训练的上下文输入，/n其中，对于所述多个生成时间步骤中的每一个生成时间步骤，所述经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，所述自回归输出定义在所述生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布；/n确定相对于所述前馈参数的第一梯度以使散度损耗最小化，对于所述生成时间步骤中的每一个生成时间步骤，所述散度损耗取决于来自由所述自回归输出定义的、所述生成时间步骤的似然性分布和由所述训练的前馈输出定义的、所述生成时间步骤的似然性分布的第一散度；以及/n至少部分地基于所述第一梯度确定对所述前馈参数的当前值的更新。/n...

【技术特征摘要】
【国外来华专利技术】20170520 US 62/509,0531.一种训练前馈生成式神经网络的方法，所述前馈生成式神经网络具有多个前馈参数，并且被配置为生成以第二类型的上下文输入为条件的第一类型的输出示例，
其中，每个输出示例包括在多个生成时间步骤中的每一个生成时间步骤处的相应的输出样本，
其中，所述前馈生成式神经网络被配置为接收包括上下文输入的前馈输入，并被配置为处理所述前馈输入以生成前馈输出，对于所述生成时间步骤中的每一个生成时间步骤，所述前馈输出定义在所述生成时间步骤处的输出样本的可能值的相应的似然性分布。
其中，所述训练包括：
获得训练上下文输入；
根据所述前馈参数的当前值，使用所述前馈生成式神经网络处理包括所述训练上下文输入的训练的前馈输入，以生成训练的前馈输出。
使用经训练的自回归生成式神经网络处理所述训练的上下文输入，
其中，对于所述多个生成时间步骤中的每一个生成时间步骤，所述经训练的自回归生成式神经网络已被训练为自回归地生成自回归输出，所述自回归输出定义在所述生成时间步骤处的以前一生成时间步骤处的输出样本为条件的输出样本的可能值的似然性分布；
确定相对于所述前馈参数的第一梯度以使散度损耗最小化，对于所述生成时间步骤中的每一个生成时间步骤，所述散度损耗取决于来自由所述自回归输出定义的、所述生成时间步骤的似然性分布和由所述训练的前馈输出定义的、所述生成时间步骤的似然性分布的第一散度；以及
至少部分地基于所述第一梯度确定对所述前馈参数的当前值的更新。


2.根据权利要求1所述的方法，其中，所述前馈输入还包括在所述生成时间步骤中的每一个生成时间步骤处的相应的噪声输入。


3.根据权利要求1或2中任一项所述的方法，其中，所述训练还包括：
获得所述训练的上下文输入的真值输出示例；以及
通过从所述概率分布采样来根据所述训练的前馈输出生成预测的输出示例。


4.根据权利要求3所述的方法，其中，所述真值输出示例和所述预测的输出示例是语音波形，其中，所述训练还包括：
生成所述真值输出示例的第一幅度谱；
生成所述预测的输出示例的第二幅度谱；
确定相对于所述前馈参数的第二梯度，以使取决于所述第一幅度谱和所述第二幅度谱之间的差异的幅度损耗最小化，并且其中，确定对所述前馈参数的当前值的更新包括至少部分地基于所述第二梯度确定更新。


5.根据权利要求3至4中任一项所述的方法，其中，所述训练还包括：
使用经训练的特征生成神经网络处理所述真值输出示例，以获得所述真值输出示例的特征，其中，所述经训练的特征生成神经网络是以波形为输入的经预先训练的神经网络；
使用所述经训练的特征生成神经网络处理所述预测的输出示例，以获得所述预测的输出示例的特征，
确定相对于所述前馈参数的第三梯度，以使取决于所述真值输出示例的特征和所述预测的输出示例的特征之间的差异的度量的感知损耗最小化，并且其中，确定对所述前馈参数的当前值的更新包括至少部分地基于所述第三梯度确定更新。


6.根据权利要求5所述的方法，其中，所述特征生成神经网络是语音识别神经网络。


7.根据权利要求5或6中任一项所述的方法，其中，所述特征是所述特征生成网络中的中间层的输出。


8.根据权利要求5至7中任一项所述的方法，其中，所述特征生成神经网络是经训练的自回归生成式神经网络。


9.根据权利要求1至8中任一项所述的方法，其中，所述训练...

【专利技术属性】
技术研发人员：AGA范登奥德，K西蒙扬，O文雅尔斯，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国;GB