生成扩散先验的统一图像修复与增强的方法技术

本发明专利技术涉及一种生成扩散先验的统一图像修复与增强的方法，属于数字图像处理领域。所述方法采用以受损图片作为引导图像的扩散模型受控生成方式，并在受控生成过程中，方差不参与每一步采样均值的偏移计算，该方法不仅能够解决线性退化、非线性退化的图片修复问题，而且可进行盲图像修复。进一步，根据任务类型，可采用多张引导图像修复生成单幅图像，以提高图像修复与增强质量；而通过基于块的策略和分层引导的生成方法，在低分辨率的情况下估计得到退化模型，该退化模型通过插值还原其分辨率后，以用于恢复图像，可对任意尺寸受损图像进行修复与增强。行修复与增强。行修复与增强。

【技术实现步骤摘要】
生成扩散先验的统一图像修复与增强的方法


[0001]本公开涉及数字图像处理，尤其涉及一种生成扩散先验的统一图像修复与增强的方法。

技术介绍

[0002]在获取、存储、传输和渲染过程中，图像质量通常会下降。图像恢复与增强的目的是克服图像的退化，提高图像质量。通常情况下，恢复增强任务可以分为两大类：1)线性逆问题，如图像超分辨率(SR)、去模糊、补齐、着色等，其中退化模型通常为线性且已知；2)非线性或盲问题，如图像弱光增强和HDR图像恢复，其中退化模型是非线性和未知的。对于特定的线性退化模型，可以通过神经网络的端到端监督训练来解决图像恢复问题。尽管如此，在现实世界中损坏的图像通常有多个复杂的降级，在这些情况下，完全监督的方法难以推广。

技术实现思路

[0003]针对现有技术中，图像修复和增强技术大多依赖于传统的生成对抗网络(GAN)，而扩散模型(DDPM，Denoising DiffusionProbabilistic Model)近期被证实为在图像生成领域有着超越GAN的性能，本专利技术的目的在于提出了生成式扩散模型先验来解决统一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成扩散先验的统一图像修复与增强的方法，其特征在于，所述方法包括下述步骤：通过对共含T步的扩散模型添加噪声和去除噪声的过程，对扩散模型进行预训练；生成服从N(0，I)分布的扩散先验图像x
T
；获取当前步t＝T；S100、基于当前步t对应的噪声，计算关于x
t
的均值μ和方差∑；设置引导图像，并基于引导图像和受损图像y，计算去噪梯度损失基于去噪梯度损失生成一个服从分布的x
t
‑1，s是控制引导大小的缩放因子；将t
‑
1作为当前步t，返回步骤S100，至得到相对受损图像y修复与增强的原始自然图像x0。2.根据权利要求1所述的方法，其特征在于，基于引导图像和受损图像y，计算去噪梯度损失包括：引导图像为在图像x
t
上添加引导，梯度的计算公式为：上式中：L是距离度量，Z是归一化因子，s是控制引导大小的缩放因子，Q为质量增强损失，λ为调整图像质量的比例因子；其中，Q是可选项。3.根据权利要求1所述的方法，其特征在于，基于引导图像和受损图像y，去噪梯度损失包括：通过估计x0中的噪声，从噪声图像x
t
中预测出一个干净图像根据任务，确定添加引导图片数目，逐步在上添加引导，获得最终的引导图像并基于该引导图像和受损图像y计算去噪梯度和受损图像y计算去噪梯度其中：i用于添加引导步数。4.根据权利要求3所述的方法，其特征在于，通过估计x0中的噪声，从噪声图像x
t
中预测出一个干净图像出一个干净图像其中：α
i
＝1
‑
β
i
，β
i
为权重；∈
θ
(x
t
，t)为噪声预测模型。5.根据权利要求3所述的方法，其特征在于，根据任务，确定添加引导图片数目，包括：若要恢复的图像为HDR图像，则图片数目为3；否...

【专利技术属性】
技术研发人员：费奔，吕照阳，戴勃，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：