估计生成对抗网络的隐含似然制造技术

本公开公开了估计生成对抗网络的隐含似然，涉及计算机学习领域。深度模型和生成模型的繁荣为高维分布建模提供了方法。生成对抗网络(GAN)可以近似数据分布并从学习的数据流形生成数据样本。本文提供估计GAN模型的隐含似然的实施例。在一个或多个实施例中，借助于生成器的方差网络学习生成器的稳定逆函数。样本分布的局部方差可以通过潜在空间中的归一化距离来近似。对数据集的模拟研究和似然测试验证了实施例，其在这些任务中优于几种基线方法。还将一个实施例应用于异常检测。实验表明，本文实施例可以实现最先进技术水平的异常检测性能。测性能。测性能。

【技术实现步骤摘要】
估计生成对抗网络的隐含似然


[0001]本公开大体涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更具体地，本公开涉及用于估计生成对抗网络(GAN)的隐含似然的实施例。

技术介绍

[0002]许多真实世界高维数据集集中在低维未知流形周围。深度模型为估计极高维数据的密度提供了新的方法。生成模型，例如，生成对抗网络(GAN)，也可以学习高维数据集的分布并生成样本。GAN通常使用对抗损失作为其训练目标，其对所生成的样本和真实样本的分布之间的差异性进行惩罚(penalize)。给定无穷近似幂，原始GAN目标的目的是最小化真实数据分布与所生成的样本之间的Jensen
‑
Shannon散度。
[0003]GAN中的生成器可以看作是从低维潜在空间(latent space)到数据流形的非线性参数映射对于GAN生成的真实感图形，可以说彻底正则化的GAN模型能够很好地近似真实数据流形。利用良好的数据流形近似，人们试图将GAN利用于除图像生成之外的其他任务，例如异常检测、照片样式转换和文本生成。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练生成对抗网络系统的计算机实现的方法，所述方法包括：响应于未达到停止条件，重复用于训练生成对抗网络系统的步骤，所述生成对抗网络系统包括生成器网络、鉴别器网络、推断网络和方差网络，所述步骤包括：从输入数据集中采样小批量输入数据样本；从隐藏变量先验分布中采样第一小批量隐藏变量值；使用第一损失函数更新所述鉴别器网络；从所述隐藏变量先验分布中采样第二小批量隐藏变量值；使用第二损失函数更新所述生成器网络；从所述输入数据集中采样第二小批量输入数据样本；使用第三损失函数更新所述推断网络和所述方差网络；从所述隐藏变量先验分布中采样第三小批量隐藏变量值；和使用第四损失函数更新所述推断网络和所述生成器网络；以及响应于达到停止条件，输出训练的生成器网络、训练的推断网络和训练的方差网络。2.根据权利要求1所述的计算机实现的方法，进一步包括以下步骤：通过从所述隐藏变量先验分布中采样多个隐藏变量值并使用用以获得多个聚类的K均值聚类，获得多个隐藏变量值聚类。3.根据权利要求1所述的计算机实现的方法，其中更新所述推断网络的步骤包括：训练所述推断网络以将输入空间中的给定输入数据样本映射到隐藏变量值，所述隐藏变量值可被映射回至流形中的所述输入数据样本的区域内的值。4.根据权利要求1所述的计算机实现的方法，其中所述第三损失函数包括：将使用所述推断网络和输入数据样本获得的隐藏变量值的估计用作输入的输入数据样本的生成器网络估计之间的差。5.根据权利要求4所述的计算机实现的方法，其中所述第三损失函数进一步包括：对于输入数据样本，使用对使用所述推断网络和输入数据样本获得的隐藏变量值的估计进行操作的方差网络来确定方差值。6.根据权利要求1所述的计算机实现的方法，其中所述第四损失函数包括：采样的隐藏变量值与从使用采样的隐藏变量的输入数据样本的估计作为输入的所述推断网络获得的采样的隐藏变量值的估计之间的差，其中输入数据样本的估计是从所述生成器网络和采样的隐藏变量值获得的。7.一种用于数据的似然估计的计算机实现的方法，所述方法包括：使用训练的推断网络获得与一组输入数据值相对应的一组潜在变量值，所述训练的推断网络已被训练以将输入数据值映射到潜在变量值，所述潜在变量值可使用训练的生成器网络被映射回至流形中的输入数据值的区域内的值；将所述一组潜在变量值输入到所述训练的生成器网络和训练的方差网络中，所述训练的生成器网络和训练的方差网络已经被训练以将潜在变量映射到捕获输入空间中的局部区域不确定性的方差值；使用关于所述一组潜在变量值的所述训练的生成器网络和所述训练的方差网络的一个或多个雅可比矩阵来确定一组黎曼度量矩阵；以及使用所述一组黎曼度量矩阵和所述一组潜在变量值的对数似然值来确定所述一组输
入数据值的对数似然值。8.根据权利要求7所述的计算机实现的方法，其中通过训练生成对抗网络GAN系统来获得所述训练的生成器网络、所述训练的推断网络和所述训练的方差网络，所述GAN系统包括生成器网络、推断网络和方差网络。9.根据权利要求7所述的计算机实现的方法，其中训练包括所述生成器网络、所述推断网络和所述方差网络的GAN系统的步骤包括以下步骤：响应于未达到停止条件，重复用于训练所述GAN系统的步骤，所述GAN系统包括所述生成器网络、鉴别器网络、所述推断网络和所述方差网络，所述步骤包括：从输入数据集中采样小批量输入数据样本；从潜在变量先验分布中采样第一小批量潜在变量值；使用第一损失函数更新所述鉴别器网络；从所述潜在变量先验分布中采样第二小批量潜在变量值；使用第二损失函数更新所述生成器网络；从所述输入数据集中采样第二小批量输入数据样本；使用第三损失函数更新所述推断网络和所述方差网络；从所述潜在变量先验分布中采样第三小批量潜在变量值；和使用第四损失函数更新所述推断网络和所述生成器网络；以及响应于达到停止条件，输出训练的生成器网络、训练的推断网络和训练的方差网络。10.根据权利要求9所述的计算机实现的方法，进一步包括：通过从所述潜在变量先验分布中采样多个潜在变量值并使用用以获得多个聚类的K均值聚类，获得多个潜在变量值聚类。11.根据权利要求9所述的计算机实现的方法，其中所述第三损失函数包括：将使用所述推断网络和输入数据样...

【专利技术属性】
技术研发人员：李定成，任绍刚，周至心，李平，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：