本发明专利技术提出了一种基于弱监督对比学习的图像盲超分辨率重建方法。训练阶段首先从输入的低分辨率图像(LR)中进行弱监督对比学习得到退化表示向量，以此来适应不同的输入低分辨率图像；同时，输入的低分辨率图像和与其对应的退化表示向量共同作为超分辨率网络的输入，从而充分利用退化信息来引导超分辨率网络的重建；最终，在测试阶段通过图像切块操作进行图像重建。本发明专利技术主要应用于图像处理软件中，在视频监控，医学，目标检测等领域中具有开阔的应用前景。的应用前景。
【技术实现步骤摘要】
一种基于弱监督对比学习的图像盲超分辨率重建方法
[0001]本专利技术涉及一种基于弱监督对比学习的图像盲超分辨率重建方法，以及涉及了一种新的图像退化作为辅助信息的超分辨率重建网络方法，涉及图像复原领域中的单幅图像超分辨率重建问题，属于计算机视觉与智能信息处理领域。
技术介绍
[0002]单幅图像超分辨率重建(Single Image Super Resolution，SISR)，是图像复原的一个子任务，目的从低分辨率(Low Resolution，LR)图像中恢复出高分辨率(High Resolution，HR)的图像。作为计算机视觉的一个基础性问题，它在遥感、医学影像、安全监控等领域的巨大应用潜力越来越受到人们的关注。
[0003]近十年来，SISR已经成为低级计算机视觉领域的一个活跃的话题，因此大量研究者提出了许多方法。这些方法可以大体归结为三类：基于插值的方法、基于重建的方法、基于学习的方法。在基于学习的方法中，特别是基于深度学习的SISR方法将超分辨率的性能提高到一个新的水平。然而，现有的大多数方法假设LR图像的退化是已知的，如双三次下采样，这在实际场景中并不适用。更糟糕的是，LR图像的固有退化与假设退化之间的不匹配通常会导致重建出的图像出现伪影。针对图像退化未知的情况(即盲超分辨率)，本专利技术提出一种基于弱监督对比学习的图像盲超分辨率重建方法，旨在解决未知退化类型的图像重建问题。
技术实现思路
[0004]本专利技术提出了一种基于弱监督对比学习的图像盲超分辨率重建方法(Weakly
‑
supervised contrastive learning
‑
based Blind image Super
‑
Resolution，WCBSR)方法，该方法由隐式退化建模网络(Implicit Degradation Modeling Network，IDMN)和退化信息作为引导的超分辨率网络(Degradation
‑
Guided Super
‑
Resolution Network，DGSRN)两个网络组成。具体来说，IDMN负责对LR图像y进行退化编码，生成退化表示向量，而DGSRN通过LR图像和与其对应的退化表示向量作为输入，进而重建出高分辨率图像x。IDMN和DGSRN之间的协调使得本专利技术在处理未知退化类型图像中表现出很好的性能。
[0005]一种基于弱监督对比学习的图像盲超分辨率重建方法，包括以下步骤：
[0006](1)训练阶段：将N
train
张低分辨率图像送入IDMN网络，编码成退化表示向量d，并进行弱监督对比学习；
[0007](2)训练阶段：然后将退化表示向量d通过全连接层降维变为d
r
，每一张LR图像和与其对应的降维后的退化表示向量d
r
一同送入DGSRN网络进行联合优化，最后得到重建的HR图像；(步骤(1)和步骤(2)都是训练过程)
[0008](3)测试阶段：采用两种测试方式去获取退化表示向量，并结合图像进行重建。
附图说明
[0009]图1为本专利技术一种基于弱监督对比学习的图像盲超分辨率重建方法的整体框图；
[0010]图2为本专利技术弱监督对比学习增加正样本的示意图；
[0011]图3为本专利技术弱监督对比学习距离加权的示意图；
[0012]图4为本专利技术测试方法2的示意图；
[0013]图5为本专利技术与其他对比方法的测试结果图，测试方法为测试阶段方法1，选取的图片为Urban100数据集的img_044，输入的图像退化信息为模糊核宽度0.6，噪声水平5；
[0014]图6为本专利技术与其他对比方法的测试结果图，测试方法为测试阶段方法2，选取的图片为B100数据集的3096，输入的图像退化信息为模糊核宽度1.8，噪声水平5。
具体实施方式
[0015]下面结合附图1、附图2、附图3、附图4对本专利技术作进一步说明：
[0016]图1是本专利技术的整体框图：主要由两个部分组成：隐式退化建模网络(IDMN)、退化信息作为引导的超分辨率网络(DGSRN)组成。其中，DGSRN主要由LR图像特征提取(LR Image Feature Extraction)、退化信息引导的特征变换(Degradation
‑
Guided Feature Transformation)和HR图像重建(HR Image Reconstruction)三部分组成。
[0017]整体网络架构：
[0018]首先，输入LR图像y通过IDMN网络进行对比学习，得到退化表示向量d；然后，y通过LR特征提取(3
×
3的卷积，64通道)得到F
IF
。之后，F
IF
与降维后的退化表示向量d
r
一同送入退化信息引导的特征变换网络中得到输出特征F
RF
,如公式(1)所示：
[0019]F
RF
＝T
FTN
(F
IF
,d
r
)
ꢀꢀꢀꢀꢀ
(1)
[0020]其中，T
FTN
(
·
)表示特征变换网络，包含了K
g
个退化信息引导的特征变换组(DGFTG)，d
r
通过一个全连接层降维得到，如公式(2)所示：
[0021]d
r
＝T
DRN
(d)
ꢀꢀꢀꢀꢀꢀ
(2)
[0022]其中，T
DRN
(
·
)表示通过全连接层进行降维操作，该全连接层输入输出通道分别为256和64。最后，F
RF
通过HR图像重建模块得到高分辨率的输出图像。如公式(3)所示：
[0023][0024]其中，是输出的高分辨率图像，T
IRN
(
·
)表示图像重建过程，整个重建过程采用L1损失函数进行优化参数。
[0025]退化信息引导的超分辨率网络(DGSRN)：
[0026]DGSRN包含k
g
个退化信息引导的特征变换组(DGFTG)和跳连接。每一个DGFTG又包含了k
m
个退化信息引导的特征变换模块(DGFTM)和跳连接。在DGFTM内部包含2个退化信息引导的特征调制块(DGFMB)，该模块是DGFTM的核心。
[0027]更具体地，DGSRN的最后输出特征F
RF
可以表示为公式(4)所示：
[0028][0029]其中，表示第K
g
个DGFTG模块，T
NC
代表DGFTG最后一个3
×
3卷积。输入的第
个DGFTG是第(k
g
‑
1)<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于弱监督对比学习的图像盲超分辨率重建方法，其特征在于以下步骤：(1)训练阶段：将N
train
张低分辨率图像送入隐式退化建模网络(IDMN)，生成退化表示向量d，并进行弱监督对比学习；(2)训练阶段：然后将退化表示向量d通过降维变为d
r
，每一张LR图像和与其对应的降维后的退化表示向量d
r
一同送入退化信息作为引导的超分辨率网络(DGSRN)进行联合优化，最后得到重建的HR图像；(步骤(1)和(2)均为训练环节)(3)测试阶段：采用两种测试方式去获取退化表示向量，并结合图像本身进行重建。2.根据权利要求1所述的方法，其特征在于步骤(1)中采用了增加正样本的对比学习损失：其中r
i+
是第i个正样本，r是r
i+
对应的参考样本，r
j
‑
是第j个负样本，τ设置为常数0.07，N
pos
、N
neg
表示正样本和负样本数量。3.根据权利要求1所述的方法，其特征在于步骤(1)中采用了距离加权的对比学习损失：其中，为不同负样本对应权重系数，r、r
+
、r
j
‑
分别表示参考样本、正样本、第j个负样本，N
neg
表示负样本数量，τ设置为常数0.07；w
j
可以由公式(3)得到：其中，δ、为参考样本和第j个负样本的模糊核宽度，σ、为参考样本和第j个负样本的加性高斯噪声强度。4.根据权利要求1所述的方法，其特征在于步骤(1)中设计了一种弱监督对比学习损失：其中，r
i+
、r
j
‑
、r分别表示第i个正样本、第j个负样本、参考样本，w
j
是距离加权系数，N
pos
、N
neg
分别表示正样本和负样本数量，τ设置为常数0.07，N
train
是训练样本数量。5.根据权利要求1所述的方法，...
【专利技术属性】
技术研发人员：陈洪刚，张永飞，董领，卿粼波，何小海，吴晓红，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。