【技术实现步骤摘要】
本申请涉及信号处理领域,具体地,涉及一种基于扩散模型蒸馏的生成式去噪器训练方法、图像可控生成方法、图像处理系统、终端和介质。
技术介绍
1、随着深度学习技术的发展,生成模型在图像生成、视频生成等领域取得了显著的成果。其中,扩散模型(diffusion models)作为一种新兴的生成模型,因其在高维数据生成方面的卓越性能而受到广泛关注。扩散模型通过逐步向数据中添加噪声,然后学习如何逆转这一过程来生成数据,从而实现对复杂数据分布的建模。然而,扩散模型的迭代采样机制虽然提供了灵活的推理控制,但在实际应用中,尤其是在需要实时生成的场景中,其采样效率较低,限制了其在实际应用中的广泛使用。
2、为了解决这一问题,研究者们提出了多种方法来加速扩散模型的采样过程。其中一种方法是通过知识蒸馏技术,将预训练的扩散模型蒸馏成更快的生成器。然而,现有的蒸馏方法通常只能支持一步或几步采样,这在一定程度上牺牲了生成样本的质量和多样性。此外,这些方法在处理复杂的生成任务时,往往缺乏对生成过程的精细控制,导致生成结果的可控性和灵活性不足。
>技术实本文档来自技高网...
【技术保护点】
1.基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,包括:
2.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,训练获得的所述生成式去噪器为μθ(x0|yσ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;使用神经网络参数化μθ(x0|yσ),表示中间带噪信号,表示中间噪声强度;θ为Dθ的可学习参数,以所述教师扩散模型D0初始化所述神经网络神经网络的输出满足x0~μθ(x0|yσ);
3.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述得分模型为Dφ(xt,t,yσ
...【技术特征摘要】
1.基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,包括:
2.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,训练获得的所述生成式去噪器为μθ(x0|yσ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;使用神经网络参数化μθ(x0|yσ),表示中间带噪信号,表示中间噪声强度;θ为dθ的可学习参数,以所述教师扩散模型d0初始化所述神经网络神经网络的输出满足x0~μθ(x0|yσ);
3.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述得分模型为dφ(xt,t,yσ,σ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度,xt表示第二噪声信号,t表示第二高斯噪声的噪声强度t,φ为dφ的可学习参数,以所述教师扩散模型d0初始化所述得分模型;
4.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述判别器为cψ(xt,t,yσ,σ),yσ表示输入的第一带噪信号,σ表示输入的第一带噪信号的高斯噪声的强度;xt表示第二噪声信号,t表示第二高斯噪声的噪声强度t;ψ=[ψ1,ψ2]为判别器的可学习参数;
5.根据权利要求1所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述获取无噪声信号,结合所述生成式去噪器,获得带噪信号和高斯噪声,包括:
6.根据权利要求5所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述根据所述带噪信号、高斯噪声,获得有效噪声强度和有效噪声信号,包括:
7.根据权利要求5所述的基于扩散模型蒸馏的生成式去噪器训练方法,其特征在于,所述根据所述有效噪声强度、有效噪声信号和所述带噪信号,利用所述教师扩散模型估计数据分数,包括:
8.根据...
【专利技术属性】
技术研发人员:郑紫阳,彭欣宇,戴文睿,李成林,邹君妮,熊红凯,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。