用于数据项生成的循环神经网络制造技术

本公开涉及用于数据项生成的循环神经网络。一种方法，包括：使用前一时间步的解码器的解码器隐藏状态向量，从所述数据项读取一瞥；作为编码器的输入，提供所述一瞥和所述前一时间步的所述解码器隐藏状态向量以用于处理；作为所述编码器的输出，接收该时间步的所生成的编码器隐藏状态向量；从所述所生成的编码器隐藏状态向量生成解码器输入；将所述解码器输入提供给所述解码器以用于处理；作为所述解码器的输出，接收该时间步的所生成的解码器隐藏状态向量；从该时间步的所述解码器隐藏状态向量生成神经网络输出更新；以及将所述神经网络输出更新与当前神经网络输出相结合，以生成更新的神经网络输出。的神经网络输出。的神经网络输出。

【技术实现步骤摘要】
用于数据项生成的循环神经网络
[0001]分案说明
[0002]本申请属于申请日为2016年2月6日的中国专利技术专利申请201610139237.7的分案申请。


[0003]本说明书涉及通过循环神经网络的层处理输入以产生输出。

技术介绍

[0004]神经网络是机器学习模型，其采用非线性单元的一个或多个层来预测对于所接收输入的输出。除了输出层之外，一些神经网络包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层即下一隐藏层或输出层的输入。网络的每一层根据各自的参数集合的当前值从所接收的输入生成输出。
[0005]一些神经网络是循环神经网络。循环神经网络是一种接收输入序列并从输入序列生成输出序列的神经网络。尤其是，循环神经网络可将来自前一时间步的网络的一些或全部内部状态用在计算当前时间步的输出中。循环神经网络的示例是长短期记忆(LSTM)神经网络，其包括一个或多个LSTM记忆块。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门、和输出门，其允许该单元存储该单元的先前状态，例如用于生成当前激活或被提供给LSTM神经网络的其它组件。

技术实现思路

[0006]一般来说，本说明书中描述的主题的一个创新方面可在系统中实现，所述系统包括：编码器神经网络，其中，该编码器神经网络是循环神经网络，其被配置成，对于由该编码器神经网络处理的每个输入数据项和在多个步中的每个时间步处：接收通过从所述输入数据项读取而捕获的一瞥(glimpse)；接收前一时间步的解码器神经网络的解码器隐藏状态向量；处理该一瞥、解码器隐藏状态向量、和前一时间步的所述编码器神经网络的编码器隐藏状态向量，以生成该时间步的编码器隐藏状态向量；解码器神经网络，其中该解码器神经网络是一种循环神经网络，其被配置成，对于多个时间步中的每个：接收该时间步的解码器输入，以及处理前一时间步的解码器隐藏状态向量和该解码器输入，以生成该时间步的解码器隐藏状态向量；子系统，其中，该子系统配置成，对于时间步中的每个时间步来说：使用前一时间步的解码器隐藏状态向量，从所述输入数据项读取该一瞥；提供该一瞥作为所述编码器神经网络的输入；在该时间步处从编码器隐藏状态向量生成所述解码器神经网络的解码器输入；提供该解码器输入作为该时间步的所述解码器神经网络的输入；从该时间步的解码器隐藏状态向量生成该时间步的神经网络输出更新；以及将所述该时间步的神经网络输出更新与当前神经网络输出相结合，以生成更新的神经网络输出。
[0007]该方面的其它实施例包括在一个或多个计算机存储设备上记录的计算机程序，所述计算机程序被配置成使一个或多个计算机实现包括由子系统执行的操作的系统和方法。
一个或多个计算机的系统可以被配置成借助于按照在系统上在操作中可使得系统执行动作的软件、固件、硬件、或其任何组合来执行特定的操作或动作。一个或多个计算机程序可以被配置成借助于包括指令而执行特定操作或动作，所述指令在由数据处理装置执行时，使得该装置执行动作。
[0008]本说明书中描述的主题可在特定实施例中实现，以便实现下列优点中的一个或多个优点。
[0009]一种实现用于数据项生成的深度循环注意写入器神经网络架构(deep recurrent attentive writer neural network)的系统将模仿人眼孔隙的空间注意(spatial attention)机构与使得能够迭代构建复杂图像的连续变化自动编码框架(sequential variational autoencoding framework)相结合。该系统可用于生成高质量图像，例如无法用裸眼与真实数据相区分的高度逼真自然的图像。
[0010]与通过单程生成整个场景立刻自动生成图像的标准系统(例如以单个潜在分布上的像素为条件的生成性神经网络(eg.generative neural networks that condition pixels on a single latent distribution))不同，实现深度循环注意写入器神经网络架构的系统应用了自然形式的图像构建，在其中从其它部分独立地创建场景的部分并连续精细化近似草图。实现深度循环注意写入器神经网络架构而因此不排除迭代自校正的可能性的系统，改善了所构建图像的精确性和质量。此外，与不包括深度循环注意写入器神经网络架构的标准系统不同，通过应用自然形式的图像构建，实现深度循环注意写入器神经网络架构的系统易于扩展成大图像。
[0011]经由通过累加包括在架构中的解码器所发出的修改来迭代地构建场景，其中每个场景由包括在架构中的编码器进行观察，该实现深度循环注意写入器神经网络架构的系统可选择性地注意场景的特定部分而忽略其它部分，因此改善了所构建图像的视觉结构。此外，与实现连续注意(sequential attention)模型的其它系统不同，该系统可学习何处看见何时执行部分一瞥序列，因为深度循环注意写入器神经网络模型是完全可辨的，并且可用标准反向传播技术训练。例如，在某些情况下，该系统可参数化潜在变量分布，其是对角高斯分布，其可使得能够使用诸如再参数化技巧(reparameterization trick)的标准技术容易地获得关于分布参数的潜在变量样本的函数梯度，进而通过潜在分布使得能够进行无偏差、低方差随机梯度的损失函数的直接反向传播。
[0012]也被应用于图像生成任务，实现深度循环注意写入器神经网络架构的系统中嵌入的注意机构可进一步应用于图像分类任务、图像修复绘图、语音生成任务、或图像分割任务。
[0013]本说明书的主题的一个或多个实施例的细节在附图和下面描述中阐述。主题的其它特征、方面、和优点将从描述、附图、和权利要求而变得显而易见。
附图说明
[0014]图1示出了示例数据项生成系统。
[0015]图2是用于生成更新的神经网络输出的示例处理的流程图。
[0016]图3是用于使用编码器神经网络处理一瞥的示例处理的流程图。
[0017]图4是用于使用解码器神经网络处理解码器输入的示例处理的流程图。
[0018]各个附图中相同附图标记和名称指示相同元件。
具体实施方式
[0019]图1示出了用于生成神经网络输出的示例数据项生成系统100。该数据项生成系统100是实现为在一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在其中可实现下面描述的系统、组件、和技术。
[0020]数据项生成系统100获得输入数据项并处理所述输入数据项，以生成针对每个输入数据项的相应神经网络输出，例如针对数据项108的神经网络输出110。针对给定输入数据项的所生成的神经网络输出可以是所述输入数据项的重构版本，或者是可以进而用于重构所述输入数据项的画布矩阵(canvas matrices)。例如，输入数据项(例如输入数据项108)可以是来自视频的图像或帧，并且所生成的神经网络输出可以是重构的图像或该视频的逐帧重构。输入数据项被提供给数据项生成系统100并在时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成最终输出图像的计算机实现的方法，包括：在多个时间步中的每一个处重复更新神经网络输出以生成最终神经网络输出，所述更新包括，针对所述时间步中的每一个时间步：生成该时间步的解码器神经网络的解码器输入，其中，所述解码器神经网络是循环神经网络，所述循环神经网络被配置成针对所述时间步中的每一个时间步接收该时间步的所述解码器输入，并且处理前一时间步的解码器隐藏状态向量和所述解码器输入，以生成该时间步的解码器隐藏状态向量；使用所述解码器神经网络处理该时间步的所述解码器输入，以生成该时间步的所述解码器隐藏状态向量；从该时间步的所述解码器隐藏状态向量生成该时间步的神经网络输出更新；以及将该时间步的所述神经网络输出更新与当前神经网络输出相结合，以生成更新的神经网络输出；以及从所述最终神经网络输出生成所述最终输出图像。2.根据权利要求1所述的方法，其中，生成所述解码器神经网络的所述解码器输入包括从先前分布中选择潜在变量样本。3.根据权利要求1所述的方法，其中，所述更新的神经网络输出是图像，并且其中，所述多个时间步中的最近时间步的所述更新的神经网络输出是新图像。4.根据权利要求1所述的方法，其中，所述解码器神经网络是长短期记忆神经网络。5.根据权利要求1所述的方法，其中，所述更新的神经网络输出定义图像的分布，并且其中，所述多个时间步中的最近时间步的所述更新的神经网络输出定义用于参数化所述最终输出图像的分布模型的分布。6.根据权利要求1所述的方法，其中，从所述时间步的所述解码器隐藏状态向量生成所述时间步的所述神经网络输出更新包括：对所述时间步的所述解码器隐藏状态向量应用写操作，以生成所述时间步的所述神经网络输出更新。7.根据权利要求6所述的方法，其中，应用所述写操作包括：从所述时间步的所述解码器隐藏状态向量生成所述时间步的注意力参数集合；以及将所述注意力参数集合应用于所述时间步的所述解码器隐藏状态向量，以生成所述时间步的所述神经网络输出更新。8.根据权利要求1所述的方法，其中，所述神经网络输出更新是写入图像分块。9.一种系统，所述系统包括一个或多个计算机和一个或多个存储指令的存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机执行操作，所述操作包括：在多个时间步中的每一个处重复更新神经网络输出以生成最终神经网络输出，所述更新包括，针对所述时间步中的每一个时间步：生成该时间步的解码器神经网络的解码器输入，其中，所述解码器神经网络是循环神经网络，所述循环神经网络被配置成针对所述时间步中的每一个时间步接收该时间步的所述解码器输入，并且处理前一时间步的解码器隐藏状态向量和所述解码器输入，以生成该时间步的解码器隐藏状态向量；
使用所述解码器神经网络处理该时间步的所述解码器输入，以生成该时间步的所述解码器隐藏状态向量；从该时间步的所述解码器隐藏状...

【专利技术属性】
技术研发人员：卡罗尔，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：