基于多退化模型的多任务协同优化图像超分辨率重建方法技术

本发明专利技术涉及一种基于多退化模型的多任务协同优化图像超分辨率重建方法。所述方法包括以下步骤：获取训练数据集、验证数据集，其中LR图像由多退化系统生成；采用经典的模型FSRCNN为基础模型；初始化上述建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；改进后的模型提出了一种多任务协同优化的策略优化模型；获取测试数据集，其中部分图像运用多退化模型获得，部分选用真实图像；将测试数据集输入到超分辨率模型生成超分辨率图像；计算峰值信噪比(PSNR)，结构相似性(SSIM)，并保存可视化图像。本发明专利技术通过优化退化系统，改进优化方案来提升网络重建超分辨率图像的性能，解决真实场景下图像超分辨率问题。题。题。

【技术实现步骤摘要】
基于多退化模型的多任务协同优化图像超分辨率重建方法


[0001]本专利技术属于计算机视觉领域，尤其是基于多退化模型的多任务协同优化图像超分辨率重建方法。

技术介绍

[0002]伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式增长，因此迫切的要求信息处理技术不断完善和发展。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。图像超分辨技术作为数字图像处理的一个重要应用，在众多要求高分辨图像领域：如医学成像、遥感军事应用、视频监控等发挥着重要作用。
[0003]图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度，意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。过去几十年来，图像超分辨率重建已被广泛研究，许多准确和有效的方法已被广泛应用于计算机视觉领域。
[0004]最近，很多基于卷积神经CNN的SR网络实现了对双三次下采样图像的强大性能。其中以EDSR(Bee Lim，Sanghyun Son，Heewon Kim，Seungjun Nah，and Kyoung Mu Lee.Enhanced deep residual networks for single image super
‑
resolution.In Proceedings of the IEEE conference on computer vision and pattern recognition workshops，pages 136
‑
144，2017.)为代表，它使用深度残差网络训练SR模型。Dai等人提出了一种二阶通道注意模块网络SAN(Tao Dai，Jianrui Cai，Yongbing Zhang，Shu
‑
Tao Xia，and Lei Zhang.Second
‑
order attention network for single image super
‑
resolution.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 11065
‑
11074，2019.)，通过使用二阶特征统计量来自适应地重新缩放通道特征，以获得更多的判别表示。Haris(Muhammad Haris，Gregory Shakhnarovich，and Norimichi Ukita.Deep back
‑
projection networks for super
‑
resolution.In Proceedings of the IEEE conference on computer vision and pattern recognition，pages 1664
‑
1673，2018.)等人提出深度反投影网络利用迭代的上采样层和下采样层，为每个阶段的投影误差提供误差反馈机制。
[0005]这些基于双三次核生成的数据训练的SR模型只能在干净的HR数据上很好地工作，因为模型在训练过程中从未见过模糊/噪声的数据，这与现实世界的需求不一致，真实的LR图像经常带有噪音和模糊。为了解决这个矛盾，Xu等人(Xiangyu Xu，Yongrui Ma，and Wenxiu Sun.Towards real scene super
‑
resolution with raw images.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 1723
‑
1731，2019.)用特定的相机设备直接从自然场景中收集原始照片对，但是收集这样的配对数据需要严格的条件和大量的人工成本。与此同时，一系列现实世界的超分辨率挑战吸引了许多参与者，许多新的方法被提出来解决这个问题。例如Fritsche等人(Manuel Fritsche，Shuhang Gu，and Radu Timofte.Frequency separation for real
‑
world super
‑
resolution.arXiv preprint arXiv：1911.07850，2019.)提出了DSGAN模型来生成退化图像。Lugmayr等人(Andreas Lugmayr，Martin Danelljan，and Radu Timofte.Unsupervised learning for real
‑
world super
‑
resolution.In ICCV Workshops，2019.)提出了一种用于现实世界超分辨率的无监督学习方法。ZSSR(AssafShocher，Nadav Cohen，and Michal Irani.“zero
‑
shot”super
‑
resolution using deep internal learning.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，pages 3118
‑
3126，2018.)放弃了对大数据的训练过程，对每幅测试图像训练一个小模型，使特定的模型更关注图像的内部信息，但是付出的代价是推理的时间大大增加了。

技术实现思路

[0006]本专利技术的目的在于解决上述的问题，提供一种改进的基于多退化模型的多任务协同优化图像超分辨率重建方法。本专利技术通过多退化模型制作训练集和验证集，使退化后的低分辨率图像更加接近真实图像，从而使网络模型对处理真实图像更加友好；另外通过应用多任务协同优化的策略优化网络，使得模型更关注于图像本身特征，包括局部亮度、对比度、结构相似性，实验证明本专利技术能够生成更高质量的超分辨率图像。
[0007]基于多退化模型的多任务协同优化图像超分辨率重建方法，包括以下步骤：
[0008]步骤1：获取训练数据集、验证数据集，其中训练集和验证集都包括原始的高分辨率HR图像以及由特有的退化系统生成的低分辨率LR图像；
[0009]步骤2：采用经典的深度学习模型FSRCNN为基础模型重建超分辨率图像，该模型提出了一个紧凑的沙漏形CNN结构，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1：获取训练数据集、验证数据集，其中训练集和验证集都包括原始的高分辨率HR图像以及由多退化模型生成的低分辨率LR图像；步骤2：采用经典的深度学习模型FSRCNN为基础模型重建超分辨率图像，该模型提出了一个紧凑的沙漏形CNN结构，以更快、更好的进行图像的超分辨；步骤3：初始化步骤2中建立的深度学习网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；步骤4：改进后的模型没有沿用FSRCNN中的MSE损失函数，而是提出了一种多任务协同优化的策略来代替像素级的L2损失函数优化模型；步骤5：制作测试数据集realset，该数据集由两部分组成，其中一部分是真实场景下图像，另一部分运用多退化模型获取；步骤6：加载训练好的网络模型，将测试数据集输入到超分辨率网络模型，生成超分辨率图像；步骤7：计算生成的超分辨率图像SR与真实的高分辨率图像HR之间的峰值信噪比(PSNR)，结构相似性(SSIM)，获得图像重建质量的量比评价指标；此外，将该模型的SR图像进行可视化，并获得图像重建质量可视化评价。2.根据权利要求1所述的一种基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤1中，制作训练数据集时，采用多退化模型处理高清图像，得到下采样率为r的低分辨率图像。不同于其他研究工作算法中的低分辨率图像，该工作中低分辨率图像在尺寸大小、模糊度和加黑暗三方面都做了工作。另外为了贴合真实场景下黑暗图片，该退化模型根据源域中真实黑暗程度调节低分辨率图像，低分辨率图像的生成公式表示为：I
LR
＝I
HR
↓
r，dark
ꢀꢀ
(1)其中I
LR
和I
HR
分别为低分辨率图像和高分辨率图像，r为下采样比例因子，dark为黑暗操作。3.根据权利要求1所述的基于多退化模型的多任务协同优化图像超分辨率重建方法，其特征在于，在上述步骤1中，传统算法多采用譬如set5、set14、urban100、Manga109等标准数据集作为验...

【专利技术属性】
技术研发人员：杨巨成，白亚欣，陈亚瑞，魏峰，左美然，孙笑，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：