生成模型训练方法和装置、样本生成方法和计算设备制造方法及图纸

公开了生成模型训练方法和装置、样本生成方法和计算设备。训练方法包括：获取已经训练的、所述生成模型中的噪声去除网络的参数，作为参考参数，所述第一训练样本集包括独立同分布的多个第一训练样本；获取第二训练样本集,第二训练样本集与第一训练样本集为同一训练样本集或者具有相同的分布；从第二训练样本集中随机选择一个第二训练样本，并确定所述第二训练样本对应的噪声水平；以及利用随机选择的每个第二训练样本以及对应的噪声水平，对生成模型中的噪声调度网络进行训练；其中，所述噪声去除网络的参数在训练所述噪声调度网络期间保持在所述参考参数不变，其中，所述噪声去除网络与反向过程相对应，并且所述噪声调度网络与正向过程相对应。络与正向过程相对应。络与正向过程相对应。

【技术实现步骤摘要】
生成模型训练方法和装置、样本生成方法和计算设备


[0001]本申请涉及计算机领域，更具体地，涉及用于生成期望输出的生成模型的训练方法和装置、样本生成方法、以及计算设备。

技术介绍

[0002]生成模型也称为概率生成模型，是概率统计和机器学习中的一类重要模型，指可以用于随机生成可观测数据的模型。生成模型的生成过程可以理解为通过学习训练样本集的数据分布，而使用带有一些变量的学习得到的分布来生成新的样本，生成的新样本的分布与训练样本集的真实分布接近。
[0003]生成模型在高保真图像生成、高质量语音合成、自然语言生成(1)、无监督表示学习等方面广泛应用，并取得了巨大进步。
[0004]生成模型的成功架构主要分为生成性对抗网络(GAN)和基于似然的方法。生成性对抗网络(GAN)采用对抗性训练程序，但训练可能不稳定，并且模型难以放大或与其他GAN模型进行评估；基于似然的方法使用对数似然或替代损失(surrogate loss)作为训练目标，但它们也有内在的局限性，例如样本生成(sampling)速度较慢、采用证据下界(ELBO)而导致样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成期望输出的生成模型的训练方法，包括：获取所述生成模型中的噪声去除网络的参数，作为参考参数，所述噪声去除网络已经利用第一训练样本集并基于每个第一训练样本对应的噪声水平训练得到，所述第一训练样本集包括独立同分布的多个第一训练样本；获取第二训练样本集,其中所述第二训练样本集与所述第一训练样本集为同一训练样本集或者具有相同的分布；从所述第二训练样本集中随机选择一个第二训练样本，并确定所述第二训练样本对应的噪声水平；以及利用随机选择的每个第二训练样本以及对应的噪声水平，对所述生成模型中的噪声调度网络进行训练；其中，所述噪声去除网络的参数在训练所述噪声调度网络期间保持在所述参考参数不变，其中，所述噪声去除网络与从噪声输入到期望输出的反向过程相对应，并且所述噪声调度网络与从来自所述第二训练样本集的第二训练样本到输出带有噪声的输出的正向过程相对应。2.根据权利要求1所述的训练方法，其中，从所述第二训练样本集中随机选择一个第二训练样本，并确定所述第二训练样本对应的噪声水平，包括：获取初始噪声尺度序列和索引序列，所述初始噪声尺度序列包括第一数量的噪声尺度，所述索引序列中包括第二数量的索引，所述第二数量小于等于第一数量；基于所述初始噪声尺度序列和从所述索引序列中随机选择的索引，确定所述第二训练样本对应的两个相邻噪声水平。3.根据权利要求2所述的训练方法，其中，所述索引序列的索引步长为大于1且小于所述第一数量的整数，其中，基于所述初始噪声尺度序列和从所述索引序列中随机选择的索引，确定所述第二训练样本对应的两个相邻噪声水平，包括：确定所述初始噪声尺度序列中、其索引小于等于随机选择的所述索引的第一组初始噪声尺度；基于所述第一组初始噪声尺度，确定所述第二训练样本对应的第一个噪声水平；确定所述初始噪声尺度序列中、其索引小于等于所述索引序列中随机选择的所述索引的下一个索引的第二组初始噪声尺度；以及基于所述第二组初始噪声尺度，确定所述第二训练样本对应的与第一个噪声水平相邻的第二个噪声水平。4.根据权利要求2所述的训练方法，其中,利用随机选择的每个第二训练样本以及对应的噪声水平，对噪声调度网络进行训练，包括：对于随机选择的每个第二训练样本，基于所述第二训练样本对应的噪声水平，生成所述第二训练样本的中间样本；基于所述第二训练样本的中间样本以及所述两个相邻噪声水平，利用所述噪声调度网络生成估计噪声尺度；基于所述第二训练样本的中间样本、所述两个相邻噪声水平以及所述估计噪声尺度，利用噪声去除网络计算与所述第二训练样本的中间样本相关的第一损失；
调整所述噪声调度网络的参数，使得所述第一损失最小化。5.根据权利要求4所述的训练方法，其中基于中间样本以及所述两个相邻噪声水平，利用所述噪声调度网络生成估计噪声尺度，包括：基于所述两个相邻噪声水平，确定噪声尺度约束；利用所述噪声调度网络，基于所述噪声尺度约束和所述中间样本，生成噪声调度因子；基于所述噪声尺度约束以及所述噪声调度因子，生成所述估计噪声尺度。6.根据权利要求5所述的训练方法，其中，所述第一损失按照第一损失函数计算，并且所述第一损失函数为：所述第一损失函数为：其中，∈
θ(t)
＝∈
θ
(x
t
,α
t
)，)，其中，t为大于等于1且小于所述第二数量的正整数，∈
t
为噪声变量，且具有样本参考分布∈
t
～N(0,I),x
t
为所述第二训练样本的中间样本，α
t
为所述第二训练样本对应的噪声水平，∈
θ(t)
为所述噪声去除网络∈
θ
(
·
)基于当前参数针对所述第二训练样本的中间样本和所述对应的噪声水平时的计算结果，表示向量或矩阵的二范数的平方，μ
t
为噪声尺度约束并且为所述第二训练样本的中间样本x
t
所对应的噪声尺度约束，为所述噪声调度网络基于当前参数针对所述中间样本和所述噪声尺度约束时的计算结果，作为噪声调度因子，D为x
t
的维数，表示向量或矩阵的二范数的平方。7.根据权利要求1所述的训练方法，其中，所述噪声去除网络通过以下方式训练：从所述第一训练样本集中随机选择第一训练样本，并基于初始噪声尺度序列确定每个第一训练样本对应的噪声水平，所述初始噪声尺度序列包括第一数量的初始噪声尺度；对于随机选择的每个第一训练样本：基于所述第一训练样本对应的噪声水平，生成所述第一训练样本的中间样本；基于所述第一训练样本的中间样本以及所述对应的噪声水平，利用噪声去除网络计算与所述第一训练样本的中间样本相关的第二损失；调整所述噪声调度网络的参数，使得第二损失...

【专利技术属性】
技术研发人员：林永业，王珺，苏丹，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：