训练类条件生成对抗序列网络制造技术

训练类条件生成对抗序列网络。描述了一种用于训练类条件生成对抗网络（GAN）的计算机实现的方法和系统。使用分类损失函数训练鉴别器，而省略使用对抗损失函数。取而代之地，如果训练数据具有C个类，则分类损失函数可以被表述为2C类分类问题，通过所述2C类分类问题，鉴别器被训练为对C个类区分2次。示出了，这样的经训练的鉴别器为生成器提供信息性训练信号，以通过生成器学习类条件数据合成。此外，描述了一种用于使用经训练的生成对抗网络的生成部分来合成数据的数据合成系统和计算机实现的方法。的方法。的方法。

【技术实现步骤摘要】
训练类条件生成对抗序列网络


[0001]本专利技术涉及用于训练生成对抗网络的计算机实现的方法和系统。本专利技术进一步涉及用于使用经训练的生成对抗网络的生成模型例如用于数据合成、异常检测和/或用于缺失数据插补的计算机实现的方法和系统。本专利技术进一步涉及至少包括经训练的生成对抗网络的生成模型的计算机可读介质，并且涉及包括表示指令的数据的计算机可读介质，所述指令被布置成使得处理器系统执行至少一个计算机实现的方法。

技术介绍

[0002]生成对抗网络（GAN）已由Ian Goodfellow等人在2014年引入[1]。在他们的论文中，提出了一种用于经由对抗网络估计生成模型的框架，其中两个模型被同时训练：捕获要学习的数据分布的生成模型，以及估计输入实例是从训练数据（输入是“真实的”）而不是从生成模型（输入是“虚假的”）获得的概率的鉴别模型。在下文中，生成模型也可以被称为“生成器”或简称为“G”，并且鉴别模型也可以被称为“鉴别器”或简称为“D”。
[0003]最近的研究已示出，这样的经训练的生成对抗网络的生成模型特别是当使用深度生成模型、诸如所谓的“深度”卷积神经网络时，能够以高分辨率和以足够的质量合成看起来自然的图像，以欺骗甚至人类观察者。
[0004]还存在经训练的GAN、并且具体为经训练的GAN的经训练的生成模型的许多其他真实世界应用，所述真实世界应用范围从异常检测、用于另一机器可学习模型的机器学习的合成数据生成到例如用于修补被遮挡的图像区域之类的缺失数据插补。
[0005]例如，在自主驾驶领域中，经训练的GAN可以用于生成用于自主驾驶的“极端用例”场景，例如，表示近碰撞的合成图像，其可以用于测试和验证自主驾驶算法和系统在这样的场景中的性能。在特定示例中，合成图像可以用于训练诸如神经网络之类的机器可学习模型，所述机器可学习模型可以用作控制自主车辆的转向和/或制动的系统的部分。
[0006]GAN的训练通常牵涉到以下内容。生成模型G可以被配置为从来自潜在空间的有噪样本（“潜在向量”）生成合成输出实例。鉴别模型D可以被训练为在源自生成模型G的输入实例与训练数据之间进行鉴别。生成模型G可以被训练为从有噪样本生成合成输出实例，当鉴别模型D被应用于合成输出实例时，所述有噪样本使鉴别误差最大化。训练的每次迭代可以牵涉到通过更新相应模型的权重、例如通过经由反向传播计算梯度，来交替地训练鉴别模型D和生成模型G。
[0007]GAN可以被训练为合成特定类内的数据。例如，GAN可以被训练为合成诸如狗、猫等宠物的图像，其中“狗”、“猫”等各自表示类标签（的语义表示）。这里，术语“标签”可以指代类的标识符，所述类的标识符通常可以是数字标识符，但是其在下文中也可以用其语义解释来指代。这样的基于类的数据合成也可以被称为“类条件”或“标签条件”数据合成，而这样的GAN可以被称为类条件或标签条件GAN，其中两个术语在下文中可互换使用。类条件GAN的示例从出版物[2]-[5]中已知，并且可以在许多情况下提供在未经类条件训练的GAN之上的某些优势。例如，监督式学习可能要求标记的数据，所述标记的数据可以由经训练的类条
件GAN生成为GAN的输入目标类及其合成输出的组合。
[0008]一般而言，GAN的益处可能是付出代价的。也即，GAN难以训练，因为它们包括不是一个而是两个主要组件，所述两个主要组件可能在零和博弈中对抗地工作并且可以被训练为找到纳什均衡。此外，对于类条件GAN，鉴别器的训练目标中的对抗损失项不确保鉴别器学习到类相关信息。虽然已知使用辅助分类损失项（“辅助分类器”，AC）来使得鉴别器学习这样的类相关信息，但是已经发现这样的项不够准确。不利的是，在类条件GAN的实际训练中，对抗损失项和辅助分类器的组合可能不稳定[5]。
[0009]参考文献[1] Generative Adversarial Networks, https://arxiv.org/abs/1406.2661[2] Conditional Image Synthesis With Auxiliary Classifier GANs, https://arxiv.org/abs/1610.09585[3] CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training, https://arxiv.org/abs/1709.02023[4] Rob-GAN: Generator, Discriminator, and Adversarial Attacker, https://arxiv.org/abs/1807.10454[5] cGANs with Projection Discriminator, https://arxiv.org/abs/1802.05637。

技术实现思路

[0010]可能合期望的是，能够通过解决以上缺点中的至少一个来改进类条件生成对抗网络的训练。
[0011]根据本专利技术的第一方面，分别如权利要求1和13所限定的，提供了一种用于训练生成对抗网络的计算机实现的方法和系统。根据本专利技术的另一方面，如权利要求12所限定的，提供了一种包括经训练的生成模型的计算机可读介质。根据本专利技术的另一方面，如权利要求11所限定的，提供了一种包括计算机程序的计算机可读介质，所述计算机程序包括用于使得处理器系统执行所述计算机实现的方法的指令。
[0012]以上措施提供了类条件GAN的训练，所述训练可以牵涉到访问训练数据，所述训练数据包括诸如图像、音频片段、文本片段等之类的训练数据实例以及对应的训练数据标签。训练数据标签可以表示来自类集合的类，所述类的总量可以为C个类，例如。这样的类可以具有例如“狗”的语义含义，但是可以用数字方式表达或者一般以任何计算机可读的方式表达。
[0013]如本身已知的，生成模型G可以例如在模型架构和参数方面被配置为基于从潜在空间采样的相应潜在向量z，并且基于从类集合C选择的并且在这里和别处被称为“生成器输入标签”的输入标签y
g
，来生成合成输出实例，所述合成输出实例诸如是合成图像、音频片段、文本片段等。鉴别模型D可以被配置为对输入实例进行分类，所述输入实例可以是从训练数据获得的输入实例，即训练数据实例x
d
，或者是从生成模型G获得的输入实例，即合成输出实例x
g
。以该普遍性水平的训练例如从参考文献[2]–
[ 5]而本身是已知的。
[0014]根据以上措施，在预测目标上训练鉴别模型D。然而，与已知的训练方法不同，可以为训练数据实例x
d
和合成输出实例x
g
提供单独的预测目标。也即，当两种类型的数据实例与
相同的类集合C相关联时，或者通过训练数据的原始标记或者通过生成模型G从类集合C合成指定类c内的输出，向两种类型的数据实例分配不同的类作为鉴别模型D的训练的预测目标。
[0015]更具体地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练生成对抗网络（GAN）的计算机实现的方法（100），所述方法包括：-访问（110，120）：-生成模型数据，其定义包括生成模型（G）和鉴别模型（D）的生成对抗网络，-生成对抗网络的训练数据，其包括训练数据实例（x
d
）和训练数据标签（y
d
），其中数据标签（y
d
）表示来自类集合（）的类；其中，生成模型（G）被配置为基于从潜在空间采样的潜在向量（z）并且基于从类集合（）选择的生成器输入标签（y
g
）来生成合成输出实例（x
g
），并且其中，鉴别模型（D）被配置为对输入实例（x）进行分类；-交替地训练生成模型和鉴别模型，其中训练（130）鉴别模型（D）包括使用相应的预测目标（y）在训练数据实例（x
d
）和合成输出实例（x
g
）上训练（150）鉴别模型（D），其中训练数据实例（x
d
）的预测目标是训练数据标签（y
d
），并且其中合成输出实例（x
g
）的预测目标是通过将生成器输入标签（y
g
）分配给另一类集合（）来生成的，在所述另一类集合（）中，所述类集合中的每个类（c）由对应的另一类（c+ C）来表示；其中训练（160）生成模型（G）包括使用从鉴别模型（D）获得的信息性信号来训练（170）生成模型（G），其中信息性信号是根据鉴别模型（D）而输入实例（x）属于所述类集合的类（y=c）或者属于所述另一类集合的对应类（y=c
+
C）的相应条件概率的函数。2.根据权利要求1所述的计算机实现的方法（100），其中信息性信号包括输入实例（x）属于所述类集合的类（y=c）的第一条件概率（）和输入实例（x）属于所述另一类集合的对应类（y=c
+
C）的第二条件概率（）的对数概率比（）。3.根据权利要求1所述的计算机实现的方法（100），其中训练生成模型（G）包括使用第一条件概率和第二条件概率的对数概率比来最小化KL散度（）。4.根据权利要求1至3中任一项所述的计算机实现的方法（100），其中标签定义从0到C-1的数字类，并且其中将生成器输入标签（y
g
）分配（140）给所述另一类集合（）包括向相应的生成器输入标签的数字类（c）添加常数C。5.根据权利要求1至4中任一项所述的计算机实现的方法（100），其中鉴别模型（D）的训练（130）包括使用分类损失项而省略使用对抗损失项。6.根据权利要求1至5中任一项所述的计算机实现的方法（100），进一步包括输出至少对经训练的生成对抗网络的经训练的生成模型进行表示的经训练的模型数据。7.根据权利要求1至6中任一项所述的计算机实现的方法，进一步包括通过以下方式使用（400）经训练的生成模型进行数据合成：-从潜在空间采样（410）潜在向量（z）；-从类集合（）选择（420）生成器输入标签（y
g
）；-使用（430）潜在向量（z）和生成器输入标签（y
g
）作为到经训练的生成模型的输入，以获得合成输出实例（x
g
）。8.根据权利要求7所述的计算机实现的方法，进一步包括使用合成输出实例（x
g
）来训练（440）机器可学习模型。
9.根据权利要求1至6中任一项所述的计算机实现的方法，进一步包括通过以下方式使用（500）经训练的生成模型进行异常检测：-获得（510）数据实例（）；-获得（520）数据实例（）的标签（y
pred
）的预测；-搜索（530）潜在向量（），当所述潜在向量（）与...

【专利技术属性】
技术研发人员：张丹，A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：