通过潜在空间正则化对无监督式生成对抗网络进行优化制造技术

本发明专利技术提出了一种训练生成对抗网络(GAN)中的发生器G的方法，包括发生器G在接收到第一输入Z之后随即生成第一输出G(Z)；GAN的编码器E在接收到第一输出G(Z)作为输入之后随即生成第二输出E(G(Z))；G在接收到第二输出E(G(Z))作为输入之后随即生成第三输出G(E(G(Z)))；E在接收到第三输出G(E(G(Z)))作为输入之后随即生成第四输出E(G(E(G(Z))))；训练E最小化第二输出E(G(Z))和第四输出E(G(E(G(Z))))之间的差；以及使用第二输出E(G(Z))和第四输出E(G(E(G(Z))))来约束对发生器G的训练。G(Z)是Z的环境空间表示。E(G(Z))是G(Z)的潜在空间表示。G(E(G(Z)))是E(G(Z))的环境空间表示。E(G(E(G(Z))))是G(E(G(Z)))的潜在空间表示。

【技术实现步骤摘要】
通过潜在空间正则化对无监督式生成对抗网络进行优化相关申请的交叉引用文件本专利申请要求2019年5月2日提交的第62/842,125号美国临时专利申请，以及2019年10月23日提交的第16/661,982号美国正式专利申请的优先权，其全部内容通过引用的方式纳入本文。
本专利技术涉及生成对抗网络(GAN)，具体领域为GAN的训练方法。
技术介绍
机器学习涉及到计算机在没有明确指令的情况下学习如何执行任务。计算机根据样本数据来构建(如推断出)用于执行任务的模型。当计算机接收到新数据时将使用该模型来执行任务。所述任务可以是分类任务、预测任务、推理任务等。生成对抗网络(GAN)是可用于生成新数据的一类机器学习系统。例如，GAN可用于生成新图像。例如，在超分辨率领域中，GAN可用于通过低分辨率图像来生成高分辨率图像。例如，在修复领域中，GAN可用于重建图像和/或视频中的丢失或受损部分。GAN还可以用在许多其他应用中，例如用于生成逼真的域特定图像(即生成看起来像是真实的图像)。
技术实现思路
一方面，本专利技术提本文档来自技高网...

【技术保护点】
1.一种训练生成对抗网络(GAN)的发生器G的方法，包括：/n发生器G在接收到第一输入Z之后随即生成第一输出G(Z)，其中第一输出G(Z)是第一输入Z的第一环境空间表示；/nGAN的编码器E在接收到第一输出G(Z)作为输入后随即生成第二输出E(G(Z))，其中第二输出E(G(Z))是第一输出G(Z)的第一潜在空间表示；/n发生器G在接收到第二输出E(G(Z))作为输入后随即生成第三输出G(E(G(Z)))，其中第三输出G(E(G(Z)))是第二输出E(G(Z))的第二环境空间表示；/n编码器E在接收到第三输出G(E(G(Z)))作为输入后随即生成第四输出E(G(E(G(Z))))，其中第四输出...

【技术特征摘要】
20190502 US 62/842,125;20191023 US 16/661,9821.一种训练生成对抗网络(GAN)的发生器G的方法，包括：
发生器G在接收到第一输入Z之后随即生成第一输出G(Z)，其中第一输出G(Z)是第一输入Z的第一环境空间表示；
GAN的编码器E在接收到第一输出G(Z)作为输入后随即生成第二输出E(G(Z))，其中第二输出E(G(Z))是第一输出G(Z)的第一潜在空间表示；
发生器G在接收到第二输出E(G(Z))作为输入后随即生成第三输出G(E(G(Z)))，其中第三输出G(E(G(Z)))是第二输出E(G(Z))的第二环境空间表示；
编码器E在接收到第三输出G(E(G(Z)))作为输入后随即生成第四输出E(G(E(G(Z))))，其中第四输出E(G(E(G(Z))))是第三输出G(E(G(Z)))的第二潜在空间表示；
训练编码器E以最小化第二输出E(G(Z))和第四输出E(G(E(G(Z))))之间的差；以及
使用第二输出E(G(Z))和第四输出E(G(E(G(Z))))来约束对发生器G的训练。


2.根据权利要求1所述的方法，其中训练编码器E以最小化第二输出E(G(Z))和第四输出E(G(E(G(Z))))之间的差包括：
通过对m个样本递减一个梯度

来更新编码器E；
其中m个样本包括从噪声先验分布pg(z)中选取的m个随机样本{z1，z2，...，zm}和从真实数据分布pdata(y)中选取的m个目标数据样本{y1，y2，...，ym}，
其中是在给定编码器E的第一当前权重值θE和的情况下编码器E的第二输出E(G(Z))，其中是在给定发生器G的第二当前权重θG时发生器G接收到第一输入zi后随即生成的第一输出；以及
其中是在给定第一当前权重值θE、第二当前权重值θG和第一输入zi，的情况下，编码器E生成的第四输出E(G(E(G(Z))))。


3.根据权利要求1所述的方法，其中使用第二输出E(G(Z))和第四输出E(G(E(G(Z))))来约束对发生器G的训练包括：
在用于更新发生器G的权重的损失函数中使用第二输出E(G(Z))和第四输出E(G(E(G(Z))))。


4.根据权利要求1所述的方法，其中GAN还包括一个鉴别器D，其中使用第二输出E(G(Z))和第四输出E(G(E(G(Z))))来约束对发生器G的训练包括：
通过对m个样本递减一个梯度


来更新发生器G；
其中μ1andμ2是超参数，
其中m个样本包括从噪声先验分布pg(z)中选取的m个随机样本{z1，z2，...，zm}和从真实数据分布pdata(y)中选取的m个目标数据样本{y1，y2，...，ym}，
其中θE是编码器E的第一当前权重值，
其中θG是发生器G的第二当前权重值，
其中θD是鉴别器D的第三当前权重值，并且
其中表示鉴别器D认为第一输出是否为真实数据。


5.根据权利要求1所述的方法，通过应用利普希茨条件来训练发生器G，以使输出G(Z)和第三输出G(E(G(Z)))之间的第一差值不超过第二输出E(G(Z))和第四输出E(G(E(G(Z))))之间的第二差值。


6.根据权利要求1所述的方法，还包括：
由GAN的鉴别器D接收第三输出G(E(G(Z)))；以及
通过对m个样本递增一个梯度


来更新鉴别器D；
其中这m个样本包括从噪声先验分布pg(z)中选取的m个随机样本{z1，z2，...，zm}和从真实数据分布pdata(y)中选取的m个目标数据样本{y1，y2，...，ym}，
其中θE是编码器E的第一当前权重值，
其中θG是发生器G的第二当前权重值，
其中θD是鉴别器D的第三当前权重值，并且
其中表示鉴别器D认为目标数据zi是否为真实数据，
其中表示鉴别器D认为第一输出是否为真实数据，以及
其中表示鉴别器D认为第三输出是否为真实数据。


7.根据权利要求1所述的方法，还包括：
由GAN的鉴别器D接收第三输出G(E(G(Z)))；以及
并且使用损失函数来更新鉴别器D的权重θD；
其中表示在给定当前权重值θD的情况下鉴别器D认为目标样本y是否为真实数据，
其中，表示对于真实数据y的第一分布的第一期望值，
其中表示在给定权重θD的当前值的情况下鉴别器D认为第一输出G(Z)是否为真实数据，以及
其中表示关于第一输出G(Z)的随机第二分布的第二期望值。


8.根据权利要求1所述的方法，其中编码器E包括神经网络。


9.根据权利要求8所述的方法，
其中神经网络包含一个放大层，并且
其中编码器E的第二输出E(G(Z))和第四输出E(G(E(G(Z))))分别具有的第一大小等于第一输入Z的第二大小。


10.一个用于训练生成对抗网络(GAN)中的发生器G的系统，包括：
一台处理器；以及
一个存储器，处理器被配置为可执行存储器中的指令用于：
发生器G在接收到第一输入Z之后随即生成第一输出G(Z)，其中第一输出G(Z)是第一输入Z的第一环境空间表示；
GAN的编码器E在接收到第一输出G(Z)作为输入后随即生成第二输出E(G(Z))，其中第二输出E(G(Z))是第一输出G(Z)的第一潜在空间表示；
发生器G在接收到第二输出E(G(Z))作为输入后随即生成第三输出G(E(G(Z)))，其中第三输出G(E(G(Z)))是第二输出E(G(Z))的第二环境空间表示；
编码器E在接收到第三输出G(E(G(Z)))作为输入后随即生成第四输出E(G(E(G(Z))))，其中第四输出E(G(E(G(Z))))是第三输出G(E(G(Z)))的第二潜在空间表示；
训练编码器E以最小化第二输出E(G(Z))和第四输出E(G(E(G(Z...

【专利技术属性】
技术研发人员：钟声，周世付，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：上海;31