当前位置: 首页 > 专利查询>清华大学专利>正文

一种级联扩散方法技术

技术编号:40668843 阅读:31 留言:0更新日期:2024-03-18 19:04
本发明专利技术提出一种级联扩散方法,包括,获取低分辨率高斯噪声,通过标准扩散模型对低分辨率高斯噪声进行处理得到低分辨率图像;将低分辨率图像进行最邻近线性插值,得到模糊高分辨率图像;获取高分辨率高斯噪声,根据高分辨率高斯噪声构建块状噪声和高斯噪声的混合噪声;将模糊高分辨率图像加上混合噪声得到加噪模糊图像;将加噪模糊图像输入中继扩散模型,输出得到模糊高分辨率图像的条件概率分布梯度;通过模糊扩散利用条件概率分布梯度和混合噪声构建随机微分方程采样器;对加噪模糊图像通过随机微分方程采样器进行采样,得到清晰的高分辨率图像。本发明专利技术提出的方法,通过模糊扩散和块状噪声将低分辨率图像转为对应的高分辨率图像。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域。


技术介绍

1、扩散模型在图像合成方面取得了巨大的成功,显著提升了图片合成的质量。然而,扩散模型在合成高分辨率图片时仍面临较大挑战,一是低分辨率的噪声调度很难直接用于高分辨率,研究者们需要为高分辨的场景谨慎地调节噪声调度表,且仍难以获得良好的结果;二是高分辨的训练过程需要大量资源,计算成本较高。

2、一种流行的解决方案是stablediffusion[rombach,2022]提出的在潜在空间内训练,再映射回像素空间,但不可避免地会受到低级伪影的影响;另一种方案[ho,2022]是训练一系列不同分辨率的超分扩散模型构成级联,现有的级联方法是有效的,但它需要每个阶段的完整采样,且严重依赖于条件增强,高分辨率阶段的噪声调度表仍有待调整。

3、但是,现有的级联方法的缺点也很明显:(1)虽然确定了低分辨率部分,但仍然要训练和采样从纯噪声开始的完整扩散模型以进行超分辨率,这是耗时的。(2)真实情况和生成的低分辨率条件之间的分布不匹配会损害性能。此外,高分辨率阶段的噪声表仍未得到很好的研究。p>

本文档来自技高网...

【技术保护点】

1.一种级联扩散方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述根据所述高分辨率高斯噪声构建块状噪声和高斯噪声的混合噪声,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述模糊高分辨率图像加上所述混合噪声得到加噪模糊图像,表示为:

4.根据权利要求1所述的方法,其特征在于,在将所述加噪模糊图像输入中继扩散模型之前,还包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述加噪模糊图像通过所述随机微分方程采样器进行采样,包括:

6.一种级联扩散装置,其特征在于,包括以下模块:

<...

【技术特征摘要】

1.一种级联扩散方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述根据所述高分辨率高斯噪声构建块状噪声和高斯噪声的混合噪声,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述模糊高分辨率图像加上所述混合噪声得到加噪模糊图像,表示为:

4.根据权利要求1所述的方法,其特征在于,在将所述加噪模糊图像输入中继扩散模型之前,还包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述...

【专利技术属性】
技术研发人员:唐杰滕嘉彦郑问迪丁铭
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1