一种基于循环网络的图像超分辨率和去雾融合方法及系统技术方案

本发明专利技术公开了一种基于循环网络的图像超分辨率和去雾融合方法及系统，该方法步骤为：获取无需配对的低分辨率有雾图像和高分辨率无雾图像；构建无监督循环网络系统；训练该循环网络系统；在循环网络的第一分支，低分辨率有雾图像L输入到第一生成网络G

【技术实现步骤摘要】
一种基于循环网络的图像超分辨率和去雾融合方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种基于循环网络的图像超分辨率和去雾融合方法及系统。

技术介绍

[0002]诸如雾霾，下雨，浓雾等天气现象会降低环境的可见度，在这些天气下通过电子成像设备获取的图像存在清晰度不高，内容被遮挡等问题。由于退化的图像对于更高层级的计算机视觉应用构成了重大障碍，在将这些图像输入计算机进行应用之前，要对它们进行一定程度的可视性增强操作，如尽可能去除这些图像上的雾霾，恢复出原始场景的内容，并得到较为清晰的无雾图像。
[0003]实际上，对于受雾天天气影响的清晰度较差的图像，除了要进行图像去雾(Image Dehazing)之外，还需要对图像进行超分辨率重建(Super resolution image reconstruction，SR)。图像SR是指通过软件算法将低分辨率模糊图像(Low
‑
resolution，LR)或序列组合以生成高分辨率图像(High
‑
resolution，HR)或者序列的过程。HR意味着图像内的像素密度很高，因此可以提供更多的细节，这对于许多图像应用来说，是非常重要的。但是，在现实生活中，由于设备分辨率不够高或天气条件影响等问题，通过设备保存下来的图像达不到一些高层级视觉应用的要求。而要获取满足要求的高质量图像，则需要消耗大量的人力物力，因此，如果可以对保存下来的有雾低分辨率图像进行去雾和超分辨率重建的联合操作，将大大节省资源。
[0004]在已有的工作当中，基于深度卷积神经网络的方法在图像超分辨率和图像去雾各自的领域内都取得了一定的进展。然而，这两个任务所关注的重点不同：前者旨在建立从低分辨率图像到高分辨率图像的映射，后者旨在还原受雾天天气影响的退化图像的内容。现有的图像去雾方法往往会产生较为模糊的复原图像，丢失掉图像中的一部分高频细节。一个朴素的想法是应用超分辨率技术对去雾后的图像进行细节重建，但是由于去雾和超分采用的是不同的模型，这样会带来误差累积和噪声放大的问题。

技术实现思路

[0005]为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于循环网络的图像超分辨率和去雾融合方法及系统，无需配对数据，能够避免人工合成的配对数据训练带来的域适应性问题，在对退化的有雾图像进行去雾的同时加入超分辨率重建模块，增强了图像的细节，使还原的图像更加清晰。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]一种基于循环网络的图像超分辨率和去雾融合方法，包括下述步骤：
[0008]获取低分辨率的有雾图像L
i
和高分辨率的无雾图像H
j
，进行随机大小裁剪，缩放为固定尺寸；
[0009]构建基于非配对数据的无监督循环网络系统，所述无监督循环网络系统包括第一
生成网络，第一判别器，第二生成网络和第二判别器；
[0010]训练无监督循环网络系统：低分辨率的有雾图像L输入第一生成网络得到估计的高分辨率无雾图像通过第一判别器对估计的高分辨率无雾图像进行约束；
[0011]高分辨率的无雾图像H输入第二生成网络得到估计的低分辨率有雾图像通过第二判别器对低分辨率有雾图像进行约束；
[0012]将估计的高分辨率无雾图像和低分辨率有雾图像分别通过第二生成网络和第一生成网络，得到重建的低分辨率有雾图像～L和高分辨率无雾图像分别使用对应的原始低分辨率有雾图像L和原始高分辨率无雾图像H进行约束，通过训练调整重建图像和原始图像之间的重建损失；
[0013]对原始低分辨率有雾图像L进行上采样，对原始高分辨率无雾图像H进行下采样，分别输入到第一生成网络和第二生成网络中，通过损失函数进行监督；
[0014]采用随机梯度下降算法更新无监督循环网络系统中的卷积核参数；
[0015]将低分辨率的有雾图像L输入到训练好的第一生成网络，输出估计的高分辨无雾图像
[0016]作为优选的技术方案，所述进行随机大小裁剪，缩放为固定尺寸，具体步骤包括：
[0017]随机设置裁剪框的中心像素、裁剪框的大小和纵横比，将裁剪框通过双三次插值缩放为固定尺寸，同时保持低分辨率图像裁剪块与高分辨率图像裁剪块的比例。
[0018]作为优选的技术方案，所述第一生成网络和第二生成网络均采用编码
‑
解码网络结构；
[0019]所述第一生成网络包括1个初始的卷积层、1个编码器、9个残差连接块、1个密集残差连接块、1个解码器、1个2x上采样模块以及最终的输出卷积层；
[0020]所述第二生成网络包括1个初始的卷积层，1个编码器，9个残差连接块，1个密集残差连接块，1个解码器以及最终的输出卷积层。
[0021]作为优选的技术方案，低分辨率的有雾图像L输入第一生成网络得到估计的高分辨率无雾图像通过第一判别器对估计的高分辨率无雾图像进行约束，所述第一生成网络的损失函数为：
[0022][0023]所述第一判别器的损失函数为：
[0024]L
D
(D
H
)＝E
L
[||D
H
(G
L2H
(L
i
))
‑
M0||2]+E
H
[||D
H
(H
j
)
‑
M1||2][0025]其中，||
·
||2指计算均方误差，M1是元素全为1的单通道矩阵，M0是元素全为0的单通道矩阵，E[
·
]代表求期望操作，G
L2H
表示第一生成网络，D
H
表示第一判别器。
[0026]作为优选的技术方案，所述高分辨率的无雾图像H输入第二生成网络得到估计的低分辨率有雾图像通过第二判别器对低分辨率有雾图像进行约束，所述第二生成网络的损失函数为：
[0027][0028]第二判别器的损失函数为：
[0029]L
D
(D
L
)＝E
H
[||D
L
(G
H2L
(H
i
))
‑
M0||2]+E
L
[||D
L
(L
i
)
‑
M1||2][0030]其中，||
·
||2表示计算均方误差，M1是元素全为1的单通道矩阵，M0是元素全为0的单通道矩阵，E[
·
]代表求期望操作，G
H2L
表示第二生成网络，D
L
表示第二判别器。
[0031]作为优选的技术方案，所述重建损失包括L1损失和循环感知一致性损失，具体表示为：
[0032][0033][0034]其中，||
·
||2表示计算均方误差，||
·本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环网络的图像超分辨率和去雾融合方法，其特征在于，包括下述步骤：获取低分辨率的有雾图像L
i
和高分辨率的无雾图像H
j
，进行随机大小裁剪，缩放为固定尺寸；构建基于非配对数据的无监督循环网络系统，所述无监督循环网络系统包括第一生成网络，第一判别器，第二生成网络和第二判别器；训练无监督循环网络系统：低分辨率的有雾图像L输入第一生成网络得到估计的高分辨率无雾图像通过第一判别器对估计的高分辨率无雾图像进行约束；高分辨率的无雾图像H输入第二生成网络得到估计的低分辨率有雾图像通过第二判别器对低分辨率有雾图像进行约束；将估计的高分辨率无雾图像和低分辨率有雾图像分别通过第二生成网络和第一生成网络，得到重建的低分辨率有雾图像和高分辨率无雾图像分别使用对应的原始低分辨率有雾图像L和原始高分辨率无雾图像H进行约束，通过训练调整重建图像和原始图像之间的重建损失；对原始低分辨率有雾图像L进行上采样，对原始高分辨率无雾图像H进行下采样，分别输入到第一生成网络和第二生成网络中，通过损失函数进行监督；采用随机梯度下降算法更新无监督循环网络系统中的卷积核参数；将低分辨率的有雾图像L输入到训练好的第一生成网络，输出估计的高分辨无雾图像2.根据权利要求1记载的基于循环网络的图像超分辨率和去雾融合方法，其特征在于，所述进行随机大小裁剪，缩放为固定尺寸，具体步骤包括：随机设置裁剪框的中心像素、裁剪框的大小和纵横比，将裁剪框通过双三次插值缩放为固定尺寸，同时保持低分辨率图像裁剪块与高分辨率图像裁剪块的比例。3.根据权利要求1记载的基于循环网络的图像超分辨率和去雾融合方法，其特征在于，所述第一生成网络和第二生成网络均采用编码
‑
解码网络结构；所述第一生成网络包括1个初始的卷积层、1个编码器、9个残差连接块、1个密集残差连接块、1个解码器、1个2x上采样模块以及最终的输出卷积层；所述第二生成网络包括1个初始的卷积层，1个编码器，9个残差连接块，1个密集残差连接块，1个解码器以及最终的输出卷积层。4.根据权利要求1记载的基于循环网络的图像超分辨率和去雾融合方法，其特征在于，低分辨率的有雾图像L输入第一生成网络得到估计的高分辨率无雾图像通过第一判别器对估计的高分辨率无雾图像进行约束，所述第一生成网络的损失函数为：所述第一判别器的损失函数为：L
D
(D
H
)＝E
L
[||D
H
(G
L2H
(L
i
))
‑
M0||2]+E
H
[||D
H
(H
j
)
‑
M1||2]其中，||
·
||2指计算均方误差，M1是元素全为1的单通道矩阵，M0是元素全为0的单通道矩阵，E[
·
]代表求期望操作，G
L2H
表示第一生成网络，D
H
表示第一判别器。
5.根据权利要求1记载的基于循环网络的图像超分辨率和去雾融合方法，其特征在于，所述高分辨率的无雾图像H输入第二生成网络得到估计的低分辨率有雾图像通过第二判别器对低分辨率有雾图像进行约束，所述第二生成网络的损失函数为：第二判别器的损失函数为：L
D
(D
L
)＝E
H
[||D
L
(G
H2L
(H
i
))
‑
M0||2]+E
L
[||D
L
(L
i
)
‑
M1||2]其中，||
·
||2表示计算均方误差，M1是元素全为1的单通道矩阵，M0是元素全为0的单通道矩阵，E[
·
]代表求期望操作，G
H2L
表示第二生成网络，D
L
表示第二判别器。6.根据权利要求1记载的基于循环网络的图像超分辨率和去雾融合方法，其特征在于，所述重建损失包括L1损失和循环感知一致性损失，具体表示为：所述重建损失包括L1损失和循环感知一致性损失，具体表示为：其中，||
·
||2表示计算均方误差，||
·
||1表示计算平均绝对值误差，φ代表采用预训练的VGG16网络作为特征提取器，E[
·
]代表求期望操作。7.根据权利要求1记载的基于循环网络的图像超分辨率和...

【专利技术属性】
技术研发人员：李展，方雪清，伍雯，邝文卿，赵鸿博，柯瑞凯，
申请(专利权)人：暨南大学，
类型：发明
国别省市：