一种基于主动采样对抗学习的真实世界图像超分辨率方法技术

本发明专利技术提供了一种基于主动采样对抗学习的真实世界图像超分辨率方法，包括：使用已有高分辨图像与对应的经过双三次插值(bicubic)退化的低分辨率图像以有监督方式训练超分辨率模型；将真实世界图像首先经过无监督去噪网络进行首次去噪处理；将经过一轮去噪的真实世界图像及已有且配对的高分辨率图像

【技术实现步骤摘要】
一种基于主动采样对抗学习的真实世界图像超分辨率方法


[0001]本专利技术涉及一种提高真实世界图像分辨率的方法，一种基于主动采样对抗学习的真实世界图像超分辨率方法。

技术介绍

[0002]最近几年，随着深度学习技术的发展及计算机硬件的升级，图像处理技术也日趋完善。由于不同拍摄设备性能存在差距、高分辨率图像占用空间大不易在互联网上海量保存，因此我们所能获得的图像大多是低分辨率的，这不仅使得视觉体验不好，也会丢失很多图像信息。因此提高图像的分辨率具有重要的意义。
[0003]目前已有的提高图像分辨率的技术有传统方法和基于深度学习的方法，但目前的大多数技术都假定输入图像和高分辨率图像是经过预定义退化参数退化的(比如双三次插值)。但真实世界中的图像可能与环境、设备以及拍摄者的操作都有密切关系，这往往使得真实世界中的图像带有未知模糊及噪声，且没有对应的高分辨率图像组成配对供以有监督训练。现有的有监督超分辨率方法训练的模型无法处理真实世界低分辨率图像，即时是近年流行的一些盲超分辨率方法也只能估计有限的退化参数，难以适应真实世界中的图像。
[0004]随着生成对抗网络(Generative adversarial net，GAN，参考：Goodfellow I,Pouget
‑
Abadie J,Mirza M,et al.Generative adversarial nets[J].Advances in neural information processing systems,2014,27.)及相关技术的发展，基于对抗的图像重建技术引起了人们的关注。
[0005]基于对抗的图像重建技术应用于图像超分辨率任务后，便无需考虑真实世界图像的退化参数，利用对抗学习，使得带噪声和模糊的真实世界图像转换为干净、清晰的图像。这样，可以使用已有的超分辨率模型对其进行处理，得到的高分辨率图像清晰无噪声，有着更好的观感体验。

技术实现思路

[0006]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于主动采样对抗学习的真实世界图像超分辨率方法。
[0007]为了解决上述技术问题，本专利技术公开了一种基于主动采样对抗学习的真实世界图像超分辨率方法，包括以下步骤：
[0008]步骤1，选择数据集及超分辨率骨干网络backbone；
[0009]步骤2，使用高分辨率图像数据集DIV2K及其经过双三次插值bicubic退化的低分辨图像数据集DIV2K bicubic以有监督形式训练超分辨率网络；
[0010]步骤3，利用无监督去噪网络将步骤1中所述数据集中的真实世界低分辨率图像经过第一次去噪预处理；
[0011]步骤4，利用边缘检测算法对每张图像进行边缘检测，得到所有图像的边缘信息图；
[0012]步骤5，对每一张边缘信息图进行400个随机图像块采样；其中，低分辨率图像为32
×
32，高分辨率图像为128
×
128，统计每个图像块边缘像素点并排序后得到边缘块池和平滑块池，每个池的大小为50；
[0013]步骤6，将经过步骤3后的真实世界低分辨率图像和DIV2K bicubic图像输入基于GAN的网络框架中，利用全局随机采样及对步骤4中边缘块池和平滑块池的随机采样结合采样数据进行训练；
[0014]步骤7，加入步骤2中经过有监督形式训练的超分辨率网络，固定步骤6中已训练好的相关模块参数，加入DIV2K高分辨率图像微调超分辨率网络，得到训练好的超分辨率网络模型；
[0015]步骤8，将训练好的超分辨率网络模型对真实低分辨率图像进行测试，重建得到最终的高分辨率图像。
[0016]本专利技术步骤1中所述数据集包括：真实世界低分辨率图像数据集、高分辨率图像数据集DIV2K和低分辨率图像数据集DIV2K bicubic；其中真实世界低分辨率图像数据集为
×
4倍退化的DIV2K mild数据集，DIV2K bicubic低分辨率图像同样为
×
4倍的退化因子，超分模型选取EDSR模型(一种有监督超分网络模型，参考：Lim B,Son S,Kim H,et al.Enhanced deep residual networks for single image super
‑
resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops.2017:136
‑
144.)，无监督去噪网络选取Neighbor2Neighbor模型(一种基于自监督策略的无监督去噪网络模型，参考：Huang T,Li S,Jia X,et al.Neighbor2neighbor:Self
‑
supervised denoising from single noisy images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:14781
‑
14790.)。
[0017]本专利技术中，步骤2包括：
[0018]使用EDSR结构的超分辨率网络作为待训练模型，将配对的DIV2K高分辨率图像和DIV2K bicubic低分辨率图像作为训练数据集，使用ADAM优化器(一种优化器，参考：Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXiv preprint arXiv:1412.6980,2014.)，设置批尺寸batch size为16，初始学习率10
‑4，每2
×
105个小批量后衰减为原来一半；以此有监督方式训练EDSR超分辨率网络直至拟合。
[0019]本专利技术中，步骤3包括：
[0020]使用基于自监督策略的无监督去噪方法Neighbor2Neighbor作为去噪网络；
[0021]将DIV2K mild低分辨率图像数据集作为训练集，并进行随机翻转和随机90
°
旋转的数据增强操作，设置折中参数γ＝1，训练去噪网络至拟合；
[0022]将训练好的去噪网络处理DIV2K mild低分辨率图像，得到经过第一次去噪处理后的DIV2K mild低分辨率图像。
[0023]本专利技术中，步骤4包括：
[0024]使用Canny算子(一种边缘检测算子，参考：Canny J.A computational approach to edge detection[J].IEEE Transactions on pattern analysis and machine intelligence,1986(6):679...

【技术保护点】

【技术特征摘要】
1.一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，包括以下步骤：步骤1，选择数据集及超分辨率骨干网络backbone；步骤2，使用高分辨率图像数据集DIV2K及其经过双三次插值bicubic退化的低分辨图像数据集DIV2K bicubic以有监督形式训练超分辨率网络；步骤3，利用无监督去噪网络将步骤1中所述数据集中的真实世界低分辨率图像经过第一次去噪预处理；步骤4，利用边缘检测算法对每张图像进行边缘检测，得到所有图像的边缘信息图；步骤5，对每一张边缘信息图进行400个随机图像块采样；其中，低分辨率图像为32
×
32，高分辨率图像为128
×
128，统计每个图像块边缘像素点并排序后得到边缘块池和平滑块池，每个池的大小为50；步骤6，将经过步骤3后的真实世界低分辨率图像和DIV2K bicubic图像输入基于生成对抗网络GAN的网络框架中，利用全局随机采样及对步骤4中边缘块池和平滑块池的随机采样结合采样数据进行训练；步骤7，加入步骤2中经过有监督形式训练的超分辨率网络，固定步骤6中已训练好的相关模块参数，加入DIV2K高分辨率图像微调超分辨率网络，得到训练好的超分辨率网络模型；步骤8，将训练好的超分辨率网络模型对真实世界低分辨率图像进行测试，重建得到最终的高分辨率图像。2.根据权利要求1所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤1中所述数据集包括：真实世界低分辨率图像数据集、高分辨率图像数据集DIV2K和低分辨率图像数据集DIV2K bicubic；其中真实世界低分辨率图像数据集为
×
4倍退化的DIV2K mild数据集，DIV2K bicubic低分辨率图像同样为
×
4倍的退化因子，超分辨率模型选取EDSR模型，无监督去噪网络选取Neighbor2Neighbor模型。3.根据权利要求2所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤2包括：使用EDSR结构的超分辨率网络作为待训练超分辨率模型，将配对的DIV2K高分辨率图像和DIV2K bicubic低分辨率图像作为训练数据集，使用ADAM优化器，设置批尺寸batch size为16，初始学习率10
‑4，每2
×
105个小批量后衰减为原来一半；以此有监督方式训练EDSR超分辨率网络直至拟合。4.根据权利要求3所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤3包括：使用基于自监督策略的无监督去噪方法Neighbor2Neighbor构成去噪网络；将DIV2K mild低分辨率图像数据集作为训练集，并进行随机翻转和随机90
°
旋转的数据增强操作，设置折中参数γ＝1，训练去噪网络至拟合；将训练好的去噪网络处理DIV2K mild低分辨率图像，得到经过第一次去噪处理后的DIV2K mild低分辨率图像。5.根据权利要求4所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤4包括：
使用Canny算子作为边缘检测工具，其中确定边缘的梯度双阈值分别设为60和180；将DIV2K mild中的每一张低分辨率图像进行边缘检测，得到对应的边缘信息图；将每一张DIV2K高分辨率图像进行边缘检测，得到对应的边缘信息图。6.根据权利要求5所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤5包括：将每一张边缘信息图进行数目为400的随机采样，对于低分辨率图像每个图像块大小为32
×
32，高分辨率图像每个图像块大小为128
×
128；将400个图像块进行非极大值抑制算法处理减少重复，交并比IOU阈值设为0.2；将经过处理后的所有图像块统计边缘像素点数目，从大到小排序，选取前50个图像块和后50个图像块分别作为该图像的边缘池和平滑池，供后续主动采样过程进行挑选。7.根据权利要求6所述的一种基于主动采样对抗学习的真实世界图像超分辨率方法，其特征在于，步骤6包括：将经过第一次去噪后的DIV2K mild和DIV2K bicubic两个域的低分辨率图像输入基于GAN的网络框架中，进行对抗训练学习；该网络框架基于两层循环生成对抗网络结构的CinCGAN，并进行改良；该训练过程包括以下步骤：步骤6
‑
1，将DIV2K mild和DIV2K bicubic两个域的每批次图像进行主动采样，DIV2K mild中的图像从边缘池和平滑池中分别随机采样出一个32
×
32大小的图像块，再从整个图像全局随机采样出一个32
×
32大小的图像块；DIV2K bicubic图像则根据对应的DIV2K高分辨图像的边缘池和平滑池并根据
×
4倍的比例关系分别随机采样出一个32
×
32大小的图像块，再从整个图像全局随机采样出一个32
×
32大小的图像块，即每个低分辨率图像都采样出3个图像块，形成一个图像块组；步骤6
‑
2，DIV2K mild的每张图像的图像块组[x
r
，x
s
，x
e
]经过生成器G
ab
处理生成新的图像块组，新的图像块组和DIV2K bicubic采样出的图像块组[y
r
，y
s
，y
e
]分别输入鉴别器D
1f
进行域的鉴别，G
ab
和D
1f
进行对抗训练，前向对抗损失如下：其中，对应的每个图像块对抗损失由计算得到，N是训练样本的数目，i为当前图像样本索引号，是从第i张图像全局随机采样的图像块，和分别代表从第i张图像对应的平滑池和边缘池中随机采样出的图像块，α1和α2为权重参数，|| ||2为均方误差MSE损失，y
r
是从整...

【专利技术属性】
技术研发人员：杨育彬，龙坤，江彪，
申请(专利权)人：南京大学，
类型：发明
国别省市：