生成模型训练方法和装置、噪声尺度生成方法和计算设备制造方法及图纸

公开了生成模型训练方法和装置、噪声尺度生成方法和计算设备。训练方法包括：获取训练样本集，所述训练样本集包括多个训练样本，所述多个训练样本为独立同分布的样本；从所述训练样本集中每次随机选择一个训练样本，并确定所述训练样本对应的噪声水平；利用随机选择的每个训练样本以及对应的噪声水平，对噪声去除网络和噪声调度网络进行训练，所述噪声去除网络与从噪声输入到期望输出的反向过程相对应，并且所述噪声调度网络与从来自所述训练样本集的训练样本到输出带有噪声的输出的正向过程相对应。程相对应。程相对应。

【技术实现步骤摘要】
生成模型训练方法和装置、噪声尺度生成方法和计算设备


[0001]本申请涉及计算机领域，更具体地，涉及用于生成期望输出的生成模型的训练方法和装置、生成用于样本生成模型中的噪声尺度序列的方法、以及计算设备。

技术介绍

[0002]生成模型也称为概率生成模型，是概率统计和机器学习中的一类重要模型，指可以用于随机生成可观测数据的模型。生成模型的生成过程可以理解为通过学习训练样本集的数据分布，而使用带有一些变量的学习得到的分布来生成新的样本，生成的新样本的分布与训练样本集的真实分布接近。
[0003]生成模型在高保真图像生成、高质量语音合成、自然语言生成(1)、无监督表示学习等方面广泛应用，并取得了巨大进步。
[0004]生成模型的成功架构主要分为生成性对抗网络(GAN)和基于似然的方法。生成性对抗网络(GAN)采用对抗性训练程序，但训练可能不稳定，并且模型难以放大或与其他GAN模型进行评估；基于似然的方法使用对数似然或替代损失(surrogate loss)作为训练目标，但它们也有内在的局限性，例如样本生成(sampling)速度较慢、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成期望输出的生成模型的训练方法，包括：获取训练样本集,所述训练样本集包括多个训练样本,所述多个训练样本为独立同分布的样本；从所述训练样本集中随机选择一个训练样本，并确定所述训练样本对应的噪声水平；利用随机选择的每个训练样本以及对应的噪声水平，对噪声去除网络和噪声调度网络进行训练，其中，所述噪声去除网络和所述噪声调度网络被包括在生成模型中，其中，所述噪声去除网络与从噪声输入到期望输出的反向过程相对应，并且所述噪声调度网络与从来自所述训练样本集的训练样本到输出带有噪声的输出的正向过程相对应。2.根据权利要求1所述的训练方法，其中，从所述训练样本集中随机选择一个训练样本，并确定所述训练样本对应的噪声水平，包括：获取初始噪声尺度序列和索引序列，所述初始噪声尺度序列包括第一数量的噪声尺度，所述索引序列中包括的第二数量的索引，所述第二数量小于等于第一数量；基于所述初始噪声尺度序列和从所述索引序列中随机选择的索引，确定所述训练样本对应的两个相邻噪声水平。3.根据权利要求2所述的训练方法，其中,利用随机选择的每个训练样本以及对应的噪声水平，对噪声去除网络和噪声调度网络进行训练，包括：对于随机选择的每个训练样本，基于所述训练样本对应的噪声水平，生成所述训练样本的中间样本；基于所述中间样本以及所述对应的噪声水平，利用所述噪声去除网络计算与所述中间样本相关的第一损失；基于中间样本以及所述两个相邻噪声水平，利用所述噪声调度网络生成估计噪声尺度；基于所述中间样本、所述两个相邻噪声水平以及所述估计噪声尺度，计算与所述中间样本相关的第二损失；基于所述第一损失和所述第二损失，对所述噪声去除网络和所述噪声调度网络进行训练。4.根据权利要求3所述的训练方法，其中基于中间样本以及所述两个相邻噪声水平，利用所述噪声调度网络生成估计噪声尺度，包括：基于所述两个相邻噪声水平，确定噪声尺度约束；利用所述噪声调度网络，基于所述噪声尺度约束和所述中间样本，生成噪声调度因子；基于所述噪声尺度约束以及所述噪声调度因子，生成所述估计噪声尺度。5.根据权利要求2所述的训练方法，其中，基于所述第一损失和第二损失，对所述噪声去除网络和噪声调度网络进行训练，包括：调整所述噪声去除网络和噪声调度网络的参数，使得所述第一损失和第二损失最小化，其中，所述第一损失是按照第一损失函数计算的，并且所述第二损失是按照第二损失函数计算的。6.根据权利要求5所述的训练方法，其中，所述第一损失是根据第一损失函数计算的，所述第一损失函数与相对于具有样本参考分布的噪声变量、噪声去除网络针对所述第一训练样本的中间样本以及所述对应的噪声水
平的计算结果之间的差异相关联；所述第二损失是根据第二损失函数计算的，所述第二损失函数与相对于具有样本参考分布的噪声变量与第一系数的乘积、噪声去除网络针对所述训练样本的中间样本以及所述对应的噪声水平的计算结果与第二系数的乘积之间的差异相关联，第一系数由所述对应的噪声水平确定，第二系数由估计噪声尺度和对应的噪声水平确定。7.根据权利要求5和6所述的训练方法，还包括：通过最小化与所述训练样本的中间样本相关的第一损失和第二损失，确定相比于所述训练样本集的分布相关的证据下界，与所述训练样本集的分布更接近的下界。8.根据权利要求2所述的训练方法，其中，所述初始噪声尺度序列中的噪声尺度单调递增。9.一种生成用于生成模型中的噪声尺度序列的方法，包括：获取随机噪声输入、预设噪声水平、以及预设噪声尺度，分别作为第N个数据、待生成的噪声水平序列中的第N个噪声水平、待...

【专利技术属性】
技术研发人员：林永业，王珺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：