训练生成型对抗性网络制造技术

训练生成型对抗性网络。描述了用于训练生成型对抗性网络（GAN）的训练系统和计算机实现的训练方法。在训练中，解释信息可以被提供给生成型部分（G），该解释信息标识鉴别性部分在哪个基础上得出其分类。特别地，该解释信息可以以注意力掩模（s）的形式来提供，该注意力掩模（s）可以由鉴别性部分（D）生成并且可以标识相应输入实例的有助于由鉴别性部分对该相应输入实例进行分类的部分。此外，描述了用于使用经训练的生成型对抗性网络的生成型部分来合成数据的数据合成系统和计算机实现的方法。

【技术实现步骤摘要】
训练生成型对抗性网络
本专利技术涉及用于训练生成型对抗性网络的训练系统和计算机实现的训练方法。本专利技术进一步涉及用于使用经训练的生成型对抗性网络的生成型部分来合成数据的数据合成系统和计算机实现的数据合成方法。本专利技术进一步涉及包括经训练的生成型对抗性网络的数据的计算机可读介质，以及包括表示指令的数据的计算机可读介质，所述指令被布置成使得处理器系统执行至少一个计算机实现的方法。
技术介绍
生成型对抗性网络（GAN）已经由IanGoodfellow等人在2014年引入[1]。在他们的论文中，提出了用于经由对抗性网络估计生成型模型的框架，其中两个模型被同时训练：捕获数据分布的生成型模型G和估计输入实例是从训练数据获得的（输入是“真实的”）而不是从生成型模型G获得的（输入是“虚假的”）的概率的鉴别性模型D。最近的研究已经示出了，这样的经训练的生成型对抗性网络的生成型模型、特别是当使用诸如深度卷积神经网络之类的深度生成型模型时，能够以高分辨率和以足够的质量合成看起来自然的图像，以甚至欺骗人类观察者。还存在经训练的GAN的许多其他真实世本文档来自技高网...

【技术保护点】
1.一种用于训练生成型对抗性网络的训练系统（100），所述训练系统包括：/n- 输入接口（120），其被配置成访问：/n- 定义包括生成型部分（G）和鉴别性部分（D）的生成型对抗性网络的生成型模型数据（142），/n- 用于生成型对抗性网络的训练数据（144 ）；/n其中鉴别性部分（D）被配置成在源自生成型部分（G）的输入实例与训练数据之间进行鉴别，并且输出分类和注意力掩模（s），所述注意力掩模（s）标识相应输入实例的有助于由鉴别性部分（D）对所述相应输入实例进行分类的部分，/n其中生成型部分（G）被配置成接收注意力掩模（s）作为输入，并且从i）汲取自潜在空间的有噪样本（z）和ii）注意力掩模...

【技术特征摘要】
20190527 EP 19176670.81.一种用于训练生成型对抗性网络的训练系统（100），所述训练系统包括：
-输入接口（120），其被配置成访问：
-定义包括生成型部分（G）和鉴别性部分（D）的生成型对抗性网络的生成型模型数据（142），
-用于生成型对抗性网络的训练数据（144）；
其中鉴别性部分（D）被配置成在源自生成型部分（G）的输入实例与训练数据之间进行鉴别，并且输出分类和注意力掩模（s），所述注意力掩模（s）标识相应输入实例的有助于由鉴别性部分（D）对所述相应输入实例进行分类的部分，
其中生成型部分（G）被配置成接收注意力掩模（s）作为输入，并且从i）汲取自潜在空间的有噪样本（z）和ii）注意力掩模（s）生成合成输出实例；和
-处理器子系统（160），其被配置成通过在迭代训练中建立内部迭代循环（200）来基于训练数据迭代地训练生成型对抗性网络，在所述迭代训练中，通过迭代地最小化针对生成型部分（G）的损失函数来训练生成型部分（G）的参数，其中最小化损失函数包括最大化包括在损失函数中的互信息项，所述互信息项表示在以下二项之间的互信息：
-鉴别性部分（D）的当前注意力掩模（s），其中，通过对生成型部分（G）的先前合成输出实例进行分类来从鉴别性部分（D）获得当前注意力掩模（s），所述生成型部分（G）的先前合成输出实例是使用在内部迭代循环的先前迭代中从鉴别性部分（D）获得的先前注意力掩模（s’）来被生成的，和
-在使用当前注意力掩模（s）而被生成的生成型部分（G）的当前合成输出实例与生成型部分（G）的先前合成输出实例之间的改变。


2.根据权利要求1所述的训练系统（100），其中处理器子系统（160）被配置成在迭代训练的内部迭代循环中使被用作去往生成型部分（G）的输入的有噪样本（z）保持恒定。


3.根据权利要求1或2所述的训练系统（100），其中，处理器子系统（160）被配置成在内部迭代循环的开始处使用初始注意力掩模（s’）作为先前注意力掩模，其中，初始注意力掩模（s’）同等地标识相应输入实例的所有部分。


4.根据权利要求1至3中任一项所述的训练系统（100），其中所述互信息项是在当前注意力掩模（s）与合成输出实例中的改变之间的真实互信息的近似。


5.根据权利要求4所述的训练系统（100），其中，由变分信息最大化给所述互信息项定下界。


6.根据权利要求1至4中任一项所述的训练系统（100），其中：
-训练数据（144）包括训练图像；
-生成型部分（G）被配置成生成合成输出图像；并且
-鉴别性部分（D）被配置成在源自生成型部分（G）的输入图像与训练数据之间进行鉴别。


7.根据权利要求6所述的训练系统（100），其中，鉴别性部分（D）被配置成生成注意力掩模作为对合成输出图像的空间叠覆，所述合成输出图像被用作去往鉴别性部分（D）的输入。


8.根据权利要求1至7中任一项所述的训练系统（100），进一步包括输出接口（120），所述输出接口（120）被配置成输出至少部分地表征生成型对抗性网络的训练的日志信息（146）。


9.根据权利要求8所述的训练系统（100），其中，处理器子系统（160）被配置成输出在所述训练的内部迭代循环中生成的一个或多个注意力掩模，作为日志信息（146）或者作为日志信息（146）的部分。


10.根据权利要求8或9所述的训练系统（100），其中处理器子系统...

【专利技术属性】
技术研发人员：AM穆诺兹德尔加多，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE