使用鉴别器神经网络从生成器神经网络采样制造技术

方法，系统和装置，包括编码在计算机存储介质上的计算机程序，用于响应于针对数据样本的请求而提供数据样本。在一个方面，一种方法包括：接收针对新数据样本的请求；以及直到生成满足接受标准的候选的新数据样本为止，执行以下操作，包括：使用生成器神经网络生成候选的新数据样本；使用鉴别器神经网络处理候选的新数据样本以生成模仿分数；以及根据模仿分数，确定候选的新数据样本是否满足接受标准；以及响应于接收的请求，提供满足接受标准的候选的新数据样本。

Sampling from generator neural network using discriminator neural network

【技术实现步骤摘要】
使用鉴别器神经网络从生成器神经网络采样
本说明书涉及使用机器学习模型处理数据。
技术介绍
机器学习模型接收输入，并且基于接收的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收的输入和模型参数的值生成输出。一些机器学习模型是深度模型，其采用多层模型来为接收的输入生成输出。例如，深度神经网络是一种深度机器学习模型，包括输出层和一个或多个隐藏层，每个隐藏层将非线性转换(transformation)应用于接收的输入以生成输出。
技术实现思路
本说明书描述了一种实施为生成数据样本(例如，图像、音频片段或文本片段)的一个或多个位置上的一个或多个计算机上的计算机程序的系统。根据第一方面，提供了一种由一个或多个数据处理装置执行的方法，所述方法包括：接收对新数据样本的请求。直到生成满足接受标准的候选的新数据样本为止，所述方法包括使用生成器神经网络生成候选的新数据样本。使用鉴别器神经网络处理候选的新数据样本以生成模仿分数。鉴别器神经网络已被训练为生成数据样本的模仿分数，所述模仿分数表征数据样本是(i)从给定数据样本的训练集合中抽取还是(ii)由生成器神经网络生成的可能性。根据模仿分数，确定候选的新数据样本是否满足接受标准。响应于接收的请求，提供满足接受标准的候选的新数据样本。在一些实施方式中，生成器神经网络生成的候选的新数据样本是图像。在一些实施方式中，根据模仿分数确定候选的新样本是否满足接受标准包括：根据模仿分数确定接受分数；通过从数值范围上的概率分布采样来获得控制样本；以及如果接受分数具有高于控制样本的值，则确定候选的新数据样本满足接受标准。在一些实施方式中，根据模仿分数确定接受分数包括：通过将边界变量的当前值确定为(i)边界变量的先前值和(ii)模仿分数中的最大值来更新边界变量的值；以及根据模仿分数和更新的边界变量来确定接受分数。在一些实施方式中，根据模仿分数和更新的边界变量来确定接受分数包括：将接受分数确定为σ(a)，其中，σ(·)为S(sigmoid)形函数，其中，a定义为：a∶＝D-DM-log(1-exp(D-DM))，其中，D是模仿分数，其中，DM是边界变量的当前值。在一些实施方式中，根据模仿分数和更新的边界变量来确定接受分数包括：将接受分数确定为σ(a-γ)，其中，σ(·)为S形函数，其中，γ为数值，其中，a定义为：a∶＝D-DM-log(1-exp(D-DM-∈))，其中，D是模仿分数，其中，DM是边界变量的当前值，并且其中，∈是为数值稳定性所添加的常数。在一些实施方式中，所述方法还包括将数值γ确定为先前确定的接受分数的预定百分比。在一些实施方式中，通过从数值范围上的概率分布采样来获得控制样本包括：通过从范围[0,1]上的均匀概率分布采样来获得控制样本。在一些实施方式中，鉴别器神经网络已使用逻辑损失函数进行了训练。在一些实施方式中，使用S形函数处理模仿分数定义从给定数据样本的训练集合中抽取数据样本的概率。根据第二方面，提供了一种系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行第一方面的方法的操作。根据第三方面，提供了存储指令的一个或多个计算机存储介质，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行第一方面的方法的操作。可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。生成器神经网络可以学习生成新数据样本(例如，图像)，这些新数据样本共享与“真实”数据样本训练集合相似的特性，这是由于与鉴别器神经网络一起进行训练的结果。(当在本文档中使用时，“数据样本”可以指代数字数据的任何适当元素，例如，图像、文本片段或音频片段)。鉴别器神经网络被训练为区分由生成器神经网络生成的数据样本和真实数据样本，并且生成器神经网络训练为生成鉴别器神经网络将其表征为可能是真实数据样本的数据样本。在训练过程中，生成器神经网络在生成与真实数据样本具有相似特性的数据样本方面变得越来越好，并且鉴别器神经网络不断适应识别真实数据样本与由生成器神经网络生成的数据样本之间的差异。在一些传统系统中，在训练结束时，生成器神经网络被部署(即，以生成新数据样本)，并且鉴别器神经网络被丢弃(即，不再相关)。也就是说，鉴别器神经网络仅用于促进生成器神经网络的训练，并且在训练后不使用。本说明书中描述的系统在训练结束时使用鉴别器神经网络权重中保留的信息来过滤由生成器神经网络生成的数据样本，即，仅“接受”由生成器神经网络生成的特定数据样本，并且“拒绝”其余部分。由数据生成系统提供的接受的数据样本可以具有与由生成器神经网络生成的数据样本的完整集合相比总体上与真实数据样本的训练集合更加一致的特性。例如，数据生成系统更可能过滤具有与真实图像的训练集合不一致的视觉特征的图像，例如，模糊或另外地具有低视觉质量的图像，或描绘不真实对象的图像。因此，与一些传统系统相比，本说明书中描述的数据生成系统可以生成具有更高质量的数据样本(即，更紧密地遵循真实数据样本的真实分布)。本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得明显。附图说明图1示出示例数据生成系统。图2提供了定性说明了可以通过使用数据生成系统来实现的性能增益的示例。图3是用于响应于针对数据样本的请求而提供数据样本的示例处理的流程图。在各个附图中，相同的附图标记和标记表示相同的元件。具体实施方式本说明书描述了一种数据生成系统，用于使用已经与鉴别器神经网络联合地训练的生成器神经网络来生成新数据样本。在训练期间，对鉴别器神经网络进行训练以处理数据样本，以区分由生成器神经网络生成的数据样本和来自数据样本训练集合的“实际”数据样本。生成器神经网络与鉴别器神经网络一起训练，以生成数据样本，鉴别器神经网络将其表征为可能是真实数据样本。数据生成系统在训练结束时使用鉴别器神经网络权重中保留的信息来过滤由生成器神经网络生成的数据样本，即仅“接受”由生成器神经网络生成的特定数据样本，并且“拒绝”其余部分。这些特征和其他特征将在下面更详细地描述。图1示出示例数据生成系统100。数据生成系统100是被实施在一个或多个位置的一个或多个计算机上的计算机程序的系统的示例，其中，实施下面描述的系统、组件和技术。数据生成系统100被配置为响应于对于数据样本的请求(例如，来自系统100的用户)来提供数据样本102。系统100的用户可以例如使用由系统使得可用的应用编程接口(API)将针对数据样本的请求发送到系统100。数据生成系统100包括生成器神经网络104、鉴别器神经网络106、训练引擎108和过滤引擎110，下面将更详细地对其中的每个进行描述。生成器神经网络104被配置为生成数据样本，例如，图像、文本片段或音频片段。通常，生成器神经网络本文档来自技高网...

【技术保护点】
1.一种由一个或多个数据处理装置执行的方法，所述方法包括：/n接收针对新数据样本的请求；/n直到生成满足接受标准的候选的新数据样本为止，执行下述操作，包括：/n使用生成器神经网络生成候选的新数据样本；/n使用鉴别器神经网络处理候选的新数据样本以生成模仿分数，/n其中，鉴别器神经网络已经被训练为生成数据样本的模仿分数，所述模仿分数表征数据样本是(i)从给定数据样本的训练集合中抽取还是(ii)由生成器神经网络生成的可能性；以及/n根据模仿分数确定候选的新数据样本是否满足接受标准；以及响应于接收的请求，提供满足接受标准的候选的新数据样本。/n

【技术特征摘要】
20180927 US 62/737,8601.一种由一个或多个数据处理装置执行的方法，所述方法包括：
接收针对新数据样本的请求；
直到生成满足接受标准的候选的新数据样本为止，执行下述操作，包括：
使用生成器神经网络生成候选的新数据样本；
使用鉴别器神经网络处理候选的新数据样本以生成模仿分数，
其中，鉴别器神经网络已经被训练为生成数据样本的模仿分数，所述模仿分数表征数据样本是(i)从给定数据样本的训练集合中抽取还是(ii)由生成器神经网络生成的可能性；以及
根据模仿分数确定候选的新数据样本是否满足接受标准；以及响应于接收的请求，提供满足接受标准的候选的新数据样本。


2.根据权利要求1所述的方法，其中，由生成器神经网络生成的候选的新数据样本是图像。


3.根据权利要求1所述的方法，其中，根据模仿分数确定候选的新样本是否满足接受标准包括：
根据模仿分数确定接受分数；
通过从数值范围上的概率分布采样来获得控制样本；以及
如果接受分数具有高于控制样本的值，则确定候选的新数据样本满足接受标准。


4.根据权利要求3所述的方法，其中，根据模仿分数确定接受分数包括：
通过将边界变量的当前值确定为(i)边界变量的先前值和(ii)模仿分数中的最大值来更新边界变量的值；以及
根据模仿分数和更新的边界变量确定接受分数。


5.根据权利要求4所述的方法，其中，根据模仿分数和更新的边界变量确定接受分数包括：
将接受分数确定为σ(a)，其中，σ(·)是S形函数，其中，a定义为：
a∶＝D-DM-log(1-exp(D-DM))，
其中，D是模仿分数，并且其中，DM是边界变量的当前值。


6.根据权利要求4所述的方法，其中，根据模仿分数和更新的边界变量来确定接受分数包括：
将接受分数确定为σ(a-γ)，其中，σ(·)是S形函数，其中，γ是数值，其中，a定义为：
a∶＝D-DM-log(1-exp(D-DM-∈))，
其中，D是模仿分数，其中，DM是边界变量的当前值，并且其中，∈是为数值稳定性所添加的常数。


7.根据权利要求6所述的方法，还包括：
将数值γ确定为先前确定的接受分数的预定百分比。


8.根据权利要求3所述的方法，其中，通过从数值范围上的概率分布采样来获得控制样本包括：
通过从范围[0，1]上的均匀概率分布采样来获得控制样本。


9.根据权利要求1所述的方法，其中，鉴别器神经网络已经使用逻辑损失函数进行了训练。


10.根据权利要求1所述的方法，其中，使用S形函数处理模仿分数定义从给定数据样本的训练集合中抽取数据样本的概率。


11.一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行下述操作，包括：
接收针对新数据样本的请求；
直到生成满足接受标准的候选的新数据样本为止，执行下述操作，包括：
使用生成器神经网络生成候选的新数据样本；
使用鉴别器神经网络处理候选的新数据样本以生成模仿分数，
其中，鉴别器神经...

【专利技术属性】
技术研发人员：S阿扎迪，I古德费洛，C奥尔森，AQ奥德纳，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US