图像超分辨率重建方法技术

本发明专利技术公开了提出了一个基于PUGAN

Image super-resolution reconstruction method

【技术实现步骤摘要】
图像超分辨率重建方法


[0001]本专利技术涉及一种超分辨率重建方法，更具体的说是涉及一种图像超分辨率重建方法。

技术介绍

[0002]最近，生成对抗网络(GAN)由于广泛用来合成图像的真实高频细节，因此在超分辨率重建(SR)中使用GAN得到了快速发展。然而GAN的训练过程具有不稳定性，主要原因是GAN中的判别器在整个学习过程中对生成样本的正负(真假)判别标准一直保持不变，没有考虑生成样本的质量逐渐提高甚至比真实样本更逼真的情况。

技术实现思路

[0003]针对现有技术存在的不足，本专利技术的目的在于提供一种训练过程更加稳定的图像超分辨率重建方法。
[0004]为实现上述目的，本专利技术提供了如下技术方案：一种图像超分辨率重建方法，其特征在于：包括如下步骤：
[0005]步骤一，将LR图像x输入生成器网络，并使用a
‑
Charbon正则化保存生成图像的良好、清晰可区分的局部结构，获得相应的重建图像G(x)，然后，使用Charbon惩罚函数计算真实HR图像y与重建图像G(x)的内容损失；
[0006]步骤二，将真实HR图像y和重建图像G(x)导入VGG，提取各自的高层次特征φ(y)和φ(G(x))，使用Charbon惩罚函数计算高层次特征φ(y)和φ(G(x))的内容损失；
[0007]步骤三，将提取的高层次特征φ(y)和φ(G(x))输入到判别器网络，并且基于PU分类正则化得到对抗损失，确定最终目标损失函数为内容损失和对抗损失的加权和；
[0008]步骤四，利用自适应的a
‑
Charbon方法和PU分类正则化实现网络反向传播，计算各层梯度，根据训练策略，通过更新判别器网络和生成器网络的参数θ
d
和θ
G
来迭代优化网络；
[0009]步骤五，重复步骤一至步骤四，直至损失函数值最小后结束。
[0010]作为本专利技术的进一步改进，所述步骤三中的PU框架如下：
[0011][0012]其中，P
data
表示真实样本的分布情况，Z是从先验分布P
z
中采样的随机噪声，D(x)是由判别器预测x为真实数据的概率，f1(
·
)是将输入分类为真实样本的损失，f2(
·
)是将输入分类为生成样本的损失，π是先验知识，即生成样本中高质量样本所占的比例。
[0013]作为本专利技术的进一步改进，所述步骤四中的a
‑
Charbon的自适应演化方程如下：
[0014]式中，y为估计出高分辨率图像，b
k
表示扭曲、模糊和抽取运算的变换矩阵，x
k
表示低分辨率图像序列，γ1是正则化参数，γ2(y
‑
y0)是数据保真项，其中，
就是a
‑
Charbon正则化项。
[0015]作为本专利技术的进一步改进，所述步骤三中的目标损失函数如下：
[0016]l＝l
charbon
+0.008l
VGG
‑
charbon
+2
×
10
‑6l
α
‑
charbon
+10
‑3l
PU
‑
Gen
，
[0017]其中，l
charbon
为内容损失，l
VGG
‑
charbon
为对VGG损失进行改进的损失，l
α
‑
charbon
为a
‑
Charb损失，l
PU
‑
Gen
表示对抗性损失。
[0018]作为本专利技术的进一步改进，所述内容损失的定义如下：
[0019][0020]其中，r为上采样因子，W和H分别是HR图像的宽和高，ε＝10
‑3，ρ(m)是Charbonnier惩罚函数，X为LR图像，y为原始HR图像。
[0021]作为本专利技术的进一步改进，所述对VGG损失进行改进的损失定义如下：
[0022][0023]其中，φ
5，4
表示VGG网络中第5个最大池化层之前的第4个卷积Relu后获得的特征图，W
5，4
和H
5，4
分别表示对应特征图的宽度和高度。
[0024]作为本专利技术的进一步改进，所述a
‑
Charb损失的定义如下：
[0025][0026]其中，θ
G
表示生成器的参数，0≤α≤2。
[0027]作为本专利技术的进一步改进，所述对抗性损失的定义如下：
[0028][0029]其中，ε＝10
‑2用来防止对数项为0，θ
d
表示判别器的参数，π表示类先验知识，即未标记数据中正数据比例，n表示训练样本的数量，λ为正则化参数。本专利技术的有益效果：
[0030]基于Charbonnier惩罚函数作为损失函数设计了我们模型的判别器，提高了判别器的训练稳定性。
[0031]生成的SR图像样本作为未标记样本进行处理，使生成器专注于改进生成的低质量SR图像样本，以提高生成器的性能。
[0032]提出了一种新的感知损失集合，通过对内容损失、特征损失、纹理损失和Charbonnier相对对抗性损失的加权和，尽可能地增强重建图像真实纹理和背景轮廓细节。
附图说明
[0033]图1为本专利技术的图像超分辨率重建方法网络架构简图。
具体实施方式
[0034]下面将结合附图所给出的实施例对本专利技术做进一步的详述。
[0035]参照图1所示，本实施例的一种图像超分辨率重建方法，利用Charbonnier损失函数的正未标记GAN进行单图像超分辨率重建。它的目标是生成在视觉上合理的具有感知纹理细节的超分辨率图像，具体内容如下：
[0036]整个训练过程可分为五个步骤：
[0037](1)将LR图像x输入生成器网络，并使用a
‑
Charbon正则化保存生成图像的良好、清晰可区分的局部结构，获得相应的重建图像G(x)，然后，使用Charbon惩罚函数计算真实HR图像y与重建图像G(x)的内容损失。
[0038](2)将真实HR图像y和重建图像G(x)导入VGG，提取各自的高层次特征φ(y)和φ(G(x))，同样地，使用Charbon惩罚函数计算高层次特征φ(y)和φ(G(x))的内容损失。
[0039](3)将提取的高层次特征φ(y)和φ(G(x))输入到判别器网络，并且基于PU分类正则化得到对抗损失，最终目标损失函数为内容损失和对抗损失的加权和。
[0040](4)利用自适应的a
‑
Charbon方法和PU分类正则化实现网络反向传播，计算各层梯度，根据训练策略，通过更新判别器网络和生成器网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于：包括如下步骤：步骤一，将LR图像x输入生成器网络，并使用a
‑
Charbon正则化保存生成图像的良好、清晰可区分的局部结构，获得相应的重建图像G(x)，然后，使用Charbon惩罚函数计算真实HR图像y与重建图像G(x)的内容损失；步骤二，将真实HR图像y和重建图像G(x)导入VGG，提取各自的高层次特征φ(y)和φ(G(x))，使用Charbon惩罚函数计算高层次特征φ(y)和φ(G(x))的内容损失；步骤三，将提取的高层次特征φ(y)和φ(G(x))输入到判别器网络，并且基于PU分类正则化得到对抗损失，确定最终目标损失函数为内容损失和对抗损失的加权和；步骤四，利用自适应的a
‑
Charbon方法和PU分类正则化实现网络反向传播，计算各层梯度，根据训练策略，通过更新判别器网络和生成器网络的参数θ
d
和θ
G
来迭代优化网络；步骤五，重复步骤一至步骤四，直至损失函数值最小后结束。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于：所述步骤三中的PU框架如下：其中，P
data
表示真实样本的分布情况，Z是从先验分布P
z
中采样的随机噪声，D(x)是由判别器预测x为真实数据的概率，f1(
·
)是将输入分类为真实样本的损失，f2(
·
)是将输入分类为生成样本的损失，π是先验知识，即生成样本中高质量样本所占的比例。3.根据权利要求1或2所述的图像超分辨率重建方法，其特征在于：所述步骤四中的a
‑
Charbon的自适应演化方程如下：式中，y为估计出高分辨率图像，b
k
表示扭曲、模糊和抽取运算的变换矩阵，X
k
表示低分辨率图像序列，γ1是正则化参数，γ2(y
‑
y0)是数据保真项，其中，就是a
‑
Charbon正则化项。4.根据权利要求1或2所述的图像...

【专利技术属性】
技术研发人员：许淑华，齐鸣鸣，张谦，孙亚新，
申请(专利权)人：温州理工学院，
类型：发明
国别省市：