基于扩散模型蒸馏的生成式去噪器训练、可控生成方法技术

技术编号:46097595 阅读:10 留言:0更新日期:2025-08-12 18:17
本申请提供了生成式去噪器的训练方法及图像可控生成和复原方法,包括:将预训练的扩散模型作为教师扩散模型;初始化生成式去噪器、得分模型和判别器;获取无噪声信号,结合生成式去噪器,获得带噪信号和高斯噪声;根据带噪信号、高斯噪声,获得有效噪声强度和有效噪声信号;根据有效噪声强度、有效噪声信号和带噪信号,利用教师扩散模型估计数据分数;根据带噪信号,利用得分模型估计模型分数;计算生成式去噪器可学习参数的梯度并进行优化;根据带噪信号、数据分数、模型分数和优化后生成式去噪器,计算得分模型的去噪得分匹配以及判别器的对抗损失,优化得分模型和判别器。基于生成式去噪器实现图像可控生成和图像复原。

【技术实现步骤摘要】

本申请涉及信号处理领域,具体地,涉及一种基于扩散模型蒸馏的生成式去噪器训练方法、图像可控生成方法、图像处理系统、终端和介质。


技术介绍

1、随着深度学习技术的发展,生成模型在图像生成、视频生成等领域取得了显著的成果。其中,扩散模型(diffusion models)作为一种新兴的生成模型,因其在高维数据生成方面的卓越性能而受到广泛关注。扩散模型通过逐步向数据中添加噪声,然后学习如何逆转这一过程来生成数据,从而实现对复杂数据分布的建模。然而,扩散模型的迭代采样机制虽然提供了灵活的推理控制,但在实际应用中,尤其是在需要实时生成的场景中,其采样效率较低,限制了其在实际应用中的广泛使用。

2、为了解决这一问题,研究者们提出了多种方法来加速扩散模型的采样过程。其中一种方法是通过知识蒸馏技术,将预训练的扩散模型蒸馏成更快的生成器。然而,现有的蒸馏方法通常只能支持一步或几步采样,这在一定程度上牺牲了生成样本的质量和多样性。此外,这些方法在处理复杂的生成任务时,往往缺乏对生成过程的精细控制,导致生成结果的可控性和灵活性不足。


>

技术实本文档来自技高网...

【技术保护点】

1.基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,包括:

2.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,训练获得的所述生成式去噪器为μθ(x0|yσ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;使用神经网络参数化μθ(x0|yσ),表示中间带噪信号,表示中间噪声强度;θ为Dθ的可学习参数,以所述教师扩散模型D0初始化所述神经网络神经网络的输出满足x0~μθ(x0|yσ);

3.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述得分模型为Dφ(xt,t,yσ,σ),yσ表示输入...

【技术特征摘要】

1.基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,包括:

2.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,训练获得的所述生成式去噪器为μθ(x0|yσ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;使用神经网络参数化μθ(x0|yσ),表示中间带噪信号,表示中间噪声强度;θ为dθ的可学习参数,以所述教师扩散模型d0初始化所述神经网络神经网络的输出满足x0~μθ(x0|yσ);

3.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述得分模型为dφ(xt,t,yσ,σ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度,xt表示第二噪声信号,t表示第二高斯噪声的噪声强度t,φ为dφ的可学习参数,以所述教师扩散模型d0初始化所述得分模型;

4.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述判别器为cψ(xt,t,yσ,σ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;xt表示第二噪声信号,t表示第二高斯噪声的噪声强度t;ψ=[ψ1,ψ2]为判别器的可学习参数;

5.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述获取无噪声信号,结合所述生成式去噪器,获得带噪信号和高斯噪声,包括:

6.根据权利要求5所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述根据所述带噪信号、高斯噪声,获得有效噪声强度和有效噪声信号,包括:

7.根据权利要求5所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述根据所述有效噪声强度、有效噪声信号和所述带噪信号,利用所述教师扩散模型估计数据分数,包括:

8.根据...

【专利技术属性】
技术研发人员:郑紫阳彭欣宇戴文睿李成林邹君妮熊红凯
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1