【技术实现步骤摘要】
本公开涉及扩散模型的蒸馏。在所公开的实施例中，可以在蒸馏架构中利用深度平衡模型。所公开的实施例可以使得能够将扩散模型直接从初始噪声蒸馏到结果所得图像。
技术介绍
1、扩散模型已经跨广泛范围的生成任务示出卓越的性能，包括高质量图像生成、音频和视频合成。知识蒸馏是指将知识从大模型或模型集转移到单个更小(和更快)的模型的过程，该模型可以在现实世界的约束下被实际部署。知识蒸馏可以被视为模型压缩的形式。
技术实现思路
1、扩散模型的主要缺点是其缓慢的生成过程限制了扩散模型在实时或资源受约束的场景中的实际适用性。现有的针对扩散模型的蒸馏方法旨在将多步采样过程浓缩成更高效的几步或单步过程。然而，这些方法的缺点是需要多趟(pass)训练来蒸馏冗长的采样过程，并且由于维护模型的双重副本，它们需要大量的存储器和计算资源。所公开的实施例可以仅使用噪声/图像对将多步扩散过程蒸馏成单步生成模型。
2、在一些实施例中，所公开的方法包括：将噪声转换成噪声嵌入向量；经由注入变换器(transformer)使噪...
【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述注入变换器包括一系列变换器块。
3.根据权利要求2所述的方法，其中每个变换器块都包括：
4.根据权利要求1所述的方法，其中所述平衡变换器包括一系列变换器块。
5.根据权利要求4所述的方法，其中每个变换器块都包括：
6.根据权利要求1所述的方法，其中所述解码是由解码器执行的，所述解码器包括层归一化组件和线性层。
7.根据权利要求1所述的方法，进一步包括：
8.一种非暂时性存储器，包括计算机可执行指令，所述指令在由系统执行时使系统...
【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述注入变换器包括一系列变换器块。
3.根据权利要求2所述的方法，其中每个变换器块都包括：
4.根据权利要求1所述的方法，其中所述平衡变换器包括一系列变换器块。
5.根据权利要求4所述的方法，其中每个变换器块都包括：
6.根据权利要求1所述的方法，其中所述解码是由解码器执行的，所述解码器包括层归一化组件和线性层。
7.根据权利要求1所述的方法，进一步包括：
8.一种非暂时性存储器，包括计算机可执行指令，所述指令在由系统执行时使系统执行操作，所述操作包括：
9.根据权利要求8所述的存储器，其中所述注入变换器包括一系列变换器块。
10.根据权利要求9所述的存储器，其中每个变换器块都包括：
11.根据权利要...
【专利技术属性】
技术研发人员：耿正阳，A·珀科勒，J·柯尔特，B·阿扎里，I·巴塔洛夫，F·孔德萨，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。