基于条件扩散模型的单一图像超分辨率方法技术

本发明专利技术公开了一种基于条件扩散模型的单一图像超分辨率方法，获取图像样本并下采样生成低分辨率图像，对低分辨率图像进行上采样生成噪声图像并去噪得到对应的超分辨率图像，从而得到训练样本；根据实际需要构建条件扩散模型，将训练样本中噪声图像对应的超分辨率图像作为时刻

【技术实现步骤摘要】
基于条件扩散模型的单一图像超分辨率方法


[0001]本专利技术属于图像恢复
，更为具体地讲，涉及一种基于条件扩散模型的单一图像超分辨率方法
。

技术介绍

[0002]单一图像超分辨率重建
(SISR)
旨在给定低分辨率图像
(LR)
后重建一个包含清晰细节特征的高分辨率图像
(HR)。
高分辨率意味着图像中像素的高密度，为实际应用提供更多必要的细节
。
同时
SISR
具有一定的挑战性，因为其是一个
ill
‑
posed
问题，即没有稳定和唯一的解，往往多个输出对应于一个输入
。
这是由于模型在训练期间将范数作为目标函数的不确定性造成的
。
范数的输出被当作可能的平均值，以适应预测中的不确定性，而被用来预测所有这些结果的中值
。
这种不确定性使训练出的模型无法产生丰富的高频信息，尽管它在重建精度上产生了不错的结果
(
如
PSNR
和
SSIM)。
而使用者希望得到有真实且丰富细节的输出，如何生成这些真实细节纹理成为了一个不可避免的重要问题
。
[0003]目前单一图像超分方法大致可以分为：基于回归的图像超分辨率和基于生成的图像超分辨率
。
基于回归的图像超分辨率方法通过将低分辨率图像
(LR)
输入到模型中，通过模型放大到与高分辨率图像
(HR)
相同的像素值来得到我们的超分辨率图像
(SR)
，将
SR
和
HR
通过最小化逐个像素点之间的距离，也就是最小化范数
。
基于生成的图像超分辨率方法是通过利用生成模型的生成能力在超分辨率的过程中生成真实的细节纹理
。
这类方式属于一种联系图像的上下文信息生成新的像素点的方式
。
目前对于单一图像超分率方法仍存在下列不足：
[0004]1、
基于回归的单一图像超分方法尽管在重建精度上产生了不错的结果
(
如
PSNR
和
SSIM)
，但是其输出很难产生丰富的图像细节
。
其超分结果往往存在模糊
、
形变
、
伪影等问题，而使用者希望得到有真实且丰富细节的输出
。
[0005]2、
基于生成的单一图像超分方法虽然在基于回归的基础上能产生更为丰富且真实的细节，但是生成模型常常难以控制且需要较为复杂的网络模型
。
基于
FLOW
和
VAE
的模型的方法常常受各种限制，渐进模型对于高分辨率图像生成来说成本高昂，
FLOW
和
VAE
通常会产生次优样本质量
。GAN
需要精心设计的正则化和优化技巧来避免其不稳定和模式崩溃的问题，且常常产生不符合人类视觉习惯的纹理
。
扩散模型使用的是范数做为优化目标，其通常会遭受数据集中存在不确定性的困扰
。
基于范数的损失函数对结果的这种模糊导致超分结果出现伪影
、
低质量和模糊，在大尺度超分任务中甚至发生图像的形变
。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种基于条件扩散模型的单一图像超分辨率方法，基于条件扩散模型进行超分辨率图像生成，对条件扩散模型训练时的优化目标进行调整，最大化模型的输入和输出之间的互信息，能够在保证模型生成能力的同时提升模型输出图像的质量
。
[0007]为了实现上述专利技术目的，本专利技术基于条件扩散模型的单一图像超分辨率方法包括以下步骤：
[0008]S1
：根据实际需要获取若干尺寸相同的图像样本
HR
，对每个图像样本
HR
进行
N
倍下采样得到低分辨率图像
LR
，然后对低分辨率图像
LR
进行
N
倍上采样作为噪声图像
INF
，将噪声图像
INF
去噪后作为对应的超分辨率图像
[0009]S2
：根据实际需要构建条件扩散模型，该模型将超分辨率图像作为在时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，并按照条件扩散过程的逆向顺序对其进行去噪，从而递归生成超分辨率图像
SR
；
[0010]S3
：采用步骤
S1
中的每个图样样本
HR
对应的超分辨率图像作为时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，对应的图像样本
HR
作为期望输出，对条件扩散模型进行训练，得到训练好的条件扩散模型；条件扩散模型训练的具体步骤包括：
[0011]S3.1
：根据实际需要构建一个参数为
ψ
的神经网络
M
，其输入为条件扩散模型逆向去噪过程中
t
时刻的超分辨率图像的高斯表示
x
t
和输出
y
t
在通道维度上的拼接特征图，其输出为通道维度为1的全局特征向量；
[0012]S3.2
：将训练样本中超分辨率图像作为时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，输入条件扩散模型进行逆向去噪，递归地生成超分辨率图像
SR
，同时获取逆向去噪过程中每个时刻
t
时的高斯表示
x
t
和条件扩散模型的输出
y
t
；
[0013]S3.3
：基于互信息计算损失函数，具体方法如下：
[0014]基于正态分布随机采样一个噪声
ε
′
，对图像样本
HR
添加噪声
ε
′
得到超分辨率图像在时刻
t
的另一高斯表示
x
′
t
；分别将高斯表示
x
t
、x
′
t
与输出
y
t
进行拼接，得到拼接向量
(x
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于条件扩散模型的单一图像超分辨率方法，其特征在于，包括以下步骤：
S1
：根据实际需要获取若干尺寸相同的图像样本
HR
，对每个图像样本
HR
进行
N
倍下采样得到低分辨率图像
LR
，然后对低分辨率图像
LR
进行
N
倍上采样作为噪声图像
INF
，将噪声图像
INF
去噪后作为对应的超分辨率图像
S2
：根据实际需要构建条件扩散模型，该模型将超分辨率图像作为在时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，并按照条件扩散过程的逆向顺序对其进行去噪，从而递归生成超分辨率图像
SR
；
S3
：采用步骤
S1
中的每个图样样本
HR
对应的超分辨率图像作为时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，对应的图像样本
HR
作为期望输出，对条件扩散模型进行训练，得到训练好的条件扩散模型；条件扩散模型训练的具体步骤包括：
S3.1
：根据实际需要构建一个参数为
ψ
的神经网络
M
，其输入为条件扩散模型逆向去噪过程中
t
时刻的超分辨率图像的高斯表示
x
t
和输出
y
t
在通道维度上的拼接特征图，其输出为通道维度为1的全局特征向量；
S3.2
：将训练样本中超分辨率图像作为时刻
T
的高斯表示
x
T
，将低分辨率图像
LR
上采样得到的噪声图像
INF
作为初始噪声图像
x
inf
，输入条件扩散模型进行逆向去噪，递归地生成超分辨率图像
SR
，同时获取逆向去噪过程中每个时刻
t
时的高斯表示
x
t
和条件扩散模型的输出
y
t
；
S3.3
：基于互信息计算损失函数，具体方法如下：基于正态分布随机采样一个噪声
ε
′
，对图像样本
HR
添加噪声
ε
′
得到超分辨率图像在时刻
t
的另一高斯表示
x
t
′
；分别将高斯表示
x
t
、x
t
′
与输出
y
t
进行拼接，得到拼接向量
(x
t
:y
t
)
和
(x
t
′
:y
t
)
；将两个拼接向量分别输入神经网络
M
，得到全局特征向量
M
θ
,
ψ
(x
t
′
:y
t
)
和
M
θ
,
ψ
(x
t
:y
t
)
；采用如下公式计算香农互信息采用如下公式计算香农互信息其中，表示求取期望，
θ
表示条件扩散模型的参数，
ψ
表示神经网络
M
的参数，
sp(z)
＝
log(1+e
z
)
，表示输入输出的边缘分布乘积，表示输入输出的联合分布；采用如下公式计算损失函数
L
DM
：然后采用如下公式计算最终的损失函数
loss
：其中，
α
、
β
表示预设的权重参数；
S3.4
：根据计算得到的损失函数
loss
对条件扩散模型和神经网络的参数进行调整；
S3.5
：判断是否达到预测的训练完成条件，如果达到，则训练结束，否则返回步骤
S3.2
；
S4
：当需要对某个低分辨率图像
LR
′
进行超分辨率图像生成时，对低分辨率图像
SR
′
进行
N
倍上采样作为噪声图像
INF
′
，将噪声图像
INF
′
去噪后作为对应的超分辨率图像然后将超分辨率图像作为
T
时刻的高斯表示
x
T
、
将噪声图像
INF
′
作为初始噪声图像
x
inf
输入条件扩散模型，按照条件扩散过程的逆向顺序对其进行去噪，从而递归地生成低分辨率图像
LR
′
对应的超分辨率图像
SR
′
。2.
根据权利要求1所述的单一图像超分辨率方法，其特征在于，所述步骤
S2
中条件扩散模型包括输入处理模块
、
第一下采样模块
、
第二下采样模块
、
第一卷积视觉转换模块
、
第三下采样模块
、
第二卷积视觉...

【专利技术属性】
技术研发人员：董云云，石宇，王汝欣，周维，张锦弘，
申请(专利权)人：云南大学，
类型：发明
国别省市：