一种无监督单图像超分辨率重建方法和系统技术方案

本发明专利技术公开了一种无监督单图像超分辨率重建方法和系统，所述方法将域分离网络应用于图像超分辨率任务，具体包含多组编码器的设计与约束改进，基于超分辨任务设计的解码器约束，以及无监督超分辨率重建模块与约束。USR

【技术实现步骤摘要】
一种无监督单图像超分辨率重建方法和系统


[0001]本专利技术涉及一种无监督单图像超分辨率重建方法和系统，属于图像处理


技术介绍

[0002]超分辨率的目标是利用低分辨率的图像，重建出更高分辨率的图像，包括其中的细节、纹理等等。图像超分辨率重建算法主要分为多帧图像超分辨率(MISR)和单帧图像超分辨率(SISR)。多帧图像超分辨率可以利用多张低分辨率图像之间互补的信息实现单张高分辨率图像的合成，而单帧图像超分辨率则主要依赖于单张图像内部的信息，以及图像处理算法包含的先验信息来获得清晰的图像，本专利技术主要的研究对象则是单帧图像超分辨率方法。
[0003]随着深度学习的发展，图像超分辨率任务已经取得了很大的进步。深度学习一般使用堆叠的神经网络实现非线性映射，以达到特征提取的目的，并且能够根据学习到的参数，再通过这些特征重建出期望的高分辨率图像。随着超分辨率重建算法的不断发展，许多问题也逐渐暴露出来，尤其是当相关模型应用到真实场景时，往往超分效果大幅下降，这其中的根本原因在于早期基于深度学习的超分模型在训练时往往使用基于理想退化假设生成的数据集，其退化模式与真实环境相差较大。
[0004]无监督学习的超分辨率方案旨在利用丰富但未成对的真实低分辨率图像和高分辨率图像提高超分辨率重建模型在真实世界的表现。而无监督学习的方案一般可以统一到域转换的框架下进行处理，其中对于中间特征实现有效的对齐以及对于整体模型进行稳定地训练都是重要的问题。基于域自适应的无监督超分辨率模型(USR
‑
DA)，从图像特征的角度出发，虽然也使用了对抗损失进行域对齐，但是设计了一套良好的正则化方法，稳定了训练过程。而且，学习特征域的不变特征相较于直接学习像素分布，难度也有一定下降，尽管这会带来细节上的损失，但依靠强大的HR图像生成器，依然能够较好实现图像的重建。基于域自适应的方法在处理图像特征时，是作为一个整体考虑的，固然对抗损失可以监督编码器提取来自不同图像域的共同特征，但是难以避免一些域私有的特征被包含进去，这也会导致模型在应用时效果下降。

技术实现思路

[0005]为解决上述现有技术的不足，本专利技术提供一种无监督单图像超分辨率重建方法，采用域分离的策略，将各个图像域的共有特征和私有特征同时纳入考虑，并设计了一套正则化方法，使得由共享编码器在各个域获得的共有特征获得更好的对齐，这些约束帮助训练更加稳定。更进一步，利用各个域中的数据特点，结合监督学习与无监督学习，能够获得更优秀的超分辨率重建结果，也能获得泛化能力更强的超分辨率模型。
[0006]为实现上述目的本专利技术采用如下技术方案：
[0007]使用共有特征编码器、LR图像域私有特征编码器和合成LR图像域私有特征编码器
分别获取来自RLRD和SLRD的低分辨率图像中的共有特征与私有特征，不同域之间共有特征具有相同的分布，不能区分，共有特征和私有特征之间没有重复信息。对齐的共有特征可以最大程度减少RLRD和SLRD中图像的差异，实现后续超分模型泛化性能的提升。
[0008]将共有特征和私有特征组合输入解码器进行解码，恢复出的图像根据其所输入的私有特征呈现所在域特定的风格；解码器及其损失函数一方面用于约束共有特征与私有特征的分离符合提取退化模式的任务需求，即共有特征表征了主要的图像内容，私有特征包含了退化过程中的各类噪声，模糊等信息；另一方面恢复出的图像辅助后续超分辨率重建部分的循环一致性，低频一致性损失的计算；
[0009]使用共有特征进行超分辨率重建，得到高分辨率图像。无监督超分辨率重建模块利用共有编码器提取出的特征实现高分辨率图像的重建。其对SLRD中的图像采用监督学习，而对RLRD中的图像采用无监督学习，两者的结合既保证了训练的稳定性，又能有效利用无监督学习从真实世界不成对图像中进行学习。
[0010]优选的，共有特征编码器输出特征的一致性利用对抗损失进行保证；共有特征编码器和私有特征编码器的差异损失不仅包含了编码器组提取出的特征，还包含了解码器的输出。
[0011]优选的，解码器约束针对超分辨任务进行了改进与强化。除重建损失外，还包括私有风格损失和特征循环一致性损失。私有风格损失促使分离出的域私有特征是可重现的，有意义的；特征循环一致性损失避免了图像经过编码器与解码器后的信息丢失。
[0012]优选的，SLRD中低分辨率图像都是来自于合成，可以轻易获得成对低
‑
高分辨率图像数据，因此对于这部分采用监督学习，使用重建损失(L1损失)，感知损失，对抗损失，循环一致损失进行约束。前三个损失旨在获得质量更好的高分辨率图像，循环一致损失旨在训练一个下采样模型，用于后续无监督学习。
[0013]优选的，RLRD中低分辨率图像都是来自于真实世界，没有对应的高分辨率图像，采用无监督学习，包括低频一致损失，对抗损失，和循环一致性损失。低频一致损失用以保证生成的高分辨率图像与低分辨率图像内容一致；对抗损失用以学习高分辨率图像的分布，改善图像重建质量；而循环一致损失与监督学习共享相同的下采样模型，用来约束高分辨率图像和低分辨率图像之间的内在联系一致。
[0014]更具体的，本专利技术公开的无监督单图像超分辨率重建方法设计大致可以分为三部分：(1)特征提取部分；(2)图像恢复与约束部分；(3)超分辨率重建部分。
[0015]特征提取部分：如图1所示，特征提取部分包含了三个编码器，即域共享特征编码器Enc
share
Enc
share
，真实LR图像域私有特征编码器Enc
t
(目标域编码器)和合成LR图像域私有特征编码器Enc
s
(源域编码器)。利用这三个编码器，结合后续的损失函数设置可以获得源域和目标域中共享的特征，也会分别获取到各个域独有的特征，于是来自于目标域RLRD与源域SLRD的图像x
t
，x
s
通过编码器就能分别获得共享特征表示f
st
，f
ss
以及每个域独有的特征表示f
t
，f
s
。
[0016]f
st
＝E
share
(x
t
),f
t
＝E
t
(x
t
)
[0017]f
ss
＝E
share
(x
s
),f
s
＝E
s
(x
s
)
[0018]为了达到共享域特征域和私有域特征分离的目的，需要约束来自于源域与目标域的共享特征f
st
和f
ss
具有较高分布相似性，而对于每张图像的共享特征与私有特征，如来自
于x
s
的f
ss
和f
s
，特征内容应当尽量分离开，以避免其中的私有特征对于超分辨率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督单图像超分辨率重建方法，其特征在于，包括如下步骤：使用共有特征编码器、LR图像域私有特征编码器和合成LR图像域私有特征编码器分别获取来自RLRD和SLRD的低分辨率图像中的共有特征与私有特征，不同域之间共有特征具有相同的分布，不能区分，共有特征和私有特征之间没有重复信息；将共有特征和私有特征组合输入解码器进行解码，恢复出的图像根据其所输入的私有特征呈现所在域特定的风格；解码器及其损失函数一方面用于约束共有特征与私有特征的分离符合提取退化模式的任务需求，另一方面恢复出的图像辅助后续超分辨率重建部分的循环一致性，低频一致性损失的计算；使用共有特征进行超分辨率重建，得到高分辨率图像。2.根据权利要求1所述的一种无监督单图像超分辨率重建方法，其特征在于，共有特征编码器采用残差网络，私有特征编码器采用带通道注意力的U
‑
Net网络。3.根据权利要求1所述的一种无监督单图像超分辨率重建方法，其特征在于，共有特征编码器输出特征的一致性利用对抗损失进行保证；共有特征编码器和私有特征编码器的差异损失包含编码器组提取出的特征和解码器的输出。4.根据权利要求1所述的一种无监督单图像超分辨率重建方法，其特征在于，解码器约束包括重建损失、私有风格损失和循环一致性损失。5.根据权利要求1所述的一种无监督单图像超分辨率重建方法，其特征在于，SLRD中低分辨率图像进行超分辨率重建时，采用监督学习，使用重建损失，感知损失，对抗损失，循环一致损失进行约束。6.根据权利要求1所述的一种无监督单图像超分辨率重建方法，其特征在于，RLRD中低分辨率图像进行超分...

【专利技术属性】
技术研发人员：裴文江，张超，夏亦犁，
申请(专利权)人：东南大学，
类型：发明
国别省市：