一种基于内核引导网络的盲超分辨率重建方法技术

本发明专利技术公开了一种基于内核引导网络的盲超分辨率重建方法，首先将图像块输入降尺度生成器得到下采样图像和内核，然后将另一个图像块和下采样图像同时输入鉴别器；接着将下采样图像和内核同时输入升尺度生成器，最后得到超分辨重建后的图像。本发明专利技术可以捕获方向信息并提高生成图像的准确性。此外，从而生成高质量的高分辨率图像。的高分辨率图像。的高分辨率图像。

【技术实现步骤摘要】
一种基于内核引导网络的盲超分辨率重建方法


[0001]本专利技术属于图像处理
，具体涉及一种盲超分辨率重建方法。

技术介绍

[0002]图像超分辨率目标是从低分辨率图像中恢复出清晰的高分辨率图像。现有的方法大多是有监督的超分辨率方法，这种方法是使用大量的低分辨率
‑
高分辨率图像对来学习低频和高频之间的映射关系，然后利用映射关系重建需要超分辨率的图像。然而，这类有监督的方法需要大量的低分辨率
‑
高分辨率图像对，现实世界成像过程复杂，大规模且高质量的数据集难以获得。文献“多尺度密集特征融合的图像超分辨率重建，光学精密工程，2022，Vol 30(20)，pp 2489
‑
2500”公开了一种基于多尺度密集特征融合网络的图像超分辨率重建方法。该方法通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并将不同尺度的特征融合，以提取丰富的图像特征。在模块间采用密集特征融合结构将不同模块提取到的特征信息充分融合，以更好地保留图像的高频细节、获取更好的视觉感受。文献所述方法是有监督的方法，需要大量的图像对，但是，构建大规模和高质量的超分辨数据集是一项艰巨或甚至不可能完成的任务，尤其是当需要捕获真实世界的图像时，因此该方法对处理真实场景图像的超分辨是不适用的。此外所述方法更注重参数的轻量化，在模型的结构、模型性能方面仍有所欠缺。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种基于内核引导网络的盲超分辨率重建方法，首先将图像块输入降尺度生成器得到下采样图像和内核，然后将另一个图像块和下采样图像同时输入鉴别器；接着将下采样图像和内核同时输入升尺度生成器，最后得到超分辨重建后的图像。本专利技术可以捕获方向信息并提高生成图像的准确性。此外，从而生成高质量的高分辨率图像。
[0004]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0005]步骤1：将图像A的图像块x输入降尺度生成器G
DN
，得到下采样图像x
′
和内核K
s
；
[0006]通过降尺度生成器获得给定分辨图像的下采样版本，图像块x下采样过程如下：
[0007]x
′
,K
s
＝G
DN
(x)
ꢀꢀ
(1)其中x是高分辨图像，x
′
是下采样图像，K
s
是内核，s是缩放因子；
[0008]所述降尺度生成器包括6个隐藏的卷积层，每个卷积层有64个通道；首先，经过3个卷积层，然后再经过池化操作表示二次采样，池化操作包括另外3个1
×
1的滤波器，从而获得下采样图像；
[0009]步骤2：将图像A的图像块y和下采样图像x
′
同时输入鉴别器D
DN
，鉴别器通过判断图像块的真假使下采样图像x
′
趋近原图像；
[0010]所述鉴别器由卷积、光谱归一化、批量归一化、ReLU和Sigmoid激活组成；第一层是大小为7
×
7的卷积和光谱归一化操作，中间5层是5个1
×
1卷积，每个卷积后是批量归一化
操作并使用ReLU激活函数，最后一层使用三个并行卷积，并使用Sigmoid激活函数，其中并行卷积内核大小分别为水平方向1
×
3，垂直方向3
×
1和对角线方向3
×
3；鉴别器的输出是三个并行卷积输出的平均映射，该映射属于区间[0，1]，输出的大小与输入的大小相同；
[0011]设计一个与鉴别器输入大小相同的映射作为鉴别器的标签，该映射为真/假矩阵，即分别代表1/0标签；
[0012]步骤3：将下采样图像x
′
和内核K
s
同时输入升尺度生成器G
UP
，得到图像x
″
；
[0013]升尺度生成器输出的图像x
″
约等于初始输入图像块x，过程如下：
[0014]x
″
＝G
UP
(G
DN
(x))≈x
ꢀꢀ
(2)
[0015]式中，x
″
是超分辨重建后的图像；
[0016]所述升尺度生成器包括图像分支和内核分支；所述图像分支包括9个隐藏的3
×
3卷积层，以及三个特征变换FT模块，最后一层是一个3
×
3的卷积层，用于生成最终图像；内核分支包括两个隐藏层和一个64个节点的输出层，内核分支的输出被送入FT模块；最后通过输入输出之间的全局残差连接得到高分辨图像；
[0017]所述特征变换FT模块根据核特征F
K
对图像的特征F
I
进行细化，在每个FT模块中，两个内核感知的FC层用于调整特征，FT模块通过缩放和移位操作为以内核特征F
K
为条件的特征图F
I
提供仿射变换：
[0018]FT(F
I
，F
K
)＝F
I
+γ
⊙
F
K
+β
ꢀꢀ
(3)
[0019]式中γ和β分别表示缩放和平移的参数，
⊙
表示Hadamard乘积；
[0020]变换参数γ和β由具有核特征F
K
的FC层获得：
[0021]γ＝FC2(FC1(F
K
))
ꢀꢀꢀꢀ
(4)
[0022]β＝FC4(FC3(F
K
))
ꢀꢀꢀ
(5)
[0023]式中FC
i
(
·
)，i＝1，2，3，4是全连接层；
[0024]步骤4：实现反向过程，将图像A的图像块y与内核K
s
输入升尺度生成器，然后输入降尺度生成器得到图像y
″
，其过程如下所示：
[0025]y
″
＝G
DN
(G
UP
(y))≈y
ꢀꢀꢀꢀ
(6)
[0026]步骤五：训练降尺度生成器、鉴别器和升尺度生成器；
[0027]使用循环一致性损失L
cycle
来约束前向和后向循环流；掩码插值损失L
interp
用于去除G
UP
结果中不满意的伪影；使用L
GAN
来提高学习退化过程降尺度生成器的准确性；
[0028]训练所用损失函数为：
[0029]L
total
＝L
GAN
+λ
cycle
L
cycle
+λ
interp
L
i本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内核引导网络的盲超分辨率重建方法，其特征在于，包括如下步骤：步骤1：将图像A的图像块x输入降尺度生成器G
DN
，得到下采样图像x
′
和内核K
s
；通过降尺度生成器获得给定分辨图像的下采样版本，图像块x下采样过程如下：x
′
，K
s
＝G
DN
(x)
ꢀꢀ
(1)其中x是高分辨图像，x
′
是下采样图像，K
s
是内核，s是缩放因子；所述降尺度生成器包括6个隐藏的卷积层，每个卷积层有64个通道；首先，经过3个卷积层，然后再经过池化操作表示二次采样，池化操作包括另外3个1
×
1的滤波器，从而获得下采样图像；步骤2：将图像A的图像块y和下采样图像x
′
同时输入鉴别器D
DN
，鉴别器通过判断图像块的真假使下采样图像x
′
趋近原图像；所述鉴别器由卷积、光谱归一化、批量归一化、ReLU和Sigmoid激活组成；第一层是大小为7
×
7的卷积和光谱归一化操作，中间5层是5个1
×
1卷积，每个卷积后是批量归一化操作并使用ReLU激活函数，最后一层使用三个并行卷积，并使用Sigmoid激活函数，其中并行卷积内核大小分别为水平方向1
×
3，垂直方向3
×
1和对角线方向3
×
3；鉴别器的输出是三个并行卷积输出的平均映射，该映射属于区间[0，1]，输出的大小与输入的大小相同；设计一个与鉴别器输入大小相同的映射作为鉴别器的标签，该映射为真/假矩阵，即分别代表1/0标签；步骤3：将下采样图像x
′
和内核K
s
同时输入升尺度生成器G
UP
，得到图像x
″
；升尺度生成器输出的图像x
″
约等于初始输入图像块x，过程如下：x
″
＝G
UP
(G
DN
(x))≈x
ꢀꢀ
(2)式中，x
″
是超分辨重建后的图像；所述升尺度生成器包括图像分支和内核分支；所述图像分支包括9个隐藏的3
×
3卷积层，以及三个特征变换FT模块，最后一层是一个3
×
3的卷积层，用于生成最终图像；内核分支包括两个隐藏层和一个64个节点的输出层，内核分支的输出被送入FT模块；最后通过输入输出之间的全局残差连接得到高分辨图像；所述特征变换FT模块根据核特征F
K
对图像的特征F
I
进行细化，在每个FT模块中，两个内核感知的FC层用于调整特征，FT模块通过缩放和移位操作为以内核特征F
K
为条件的特征图F
I
提供仿射变换：FT(F
I
，F
K
)＝F
I
+γ
⊙
F
K
+β
ꢀꢀ
(3)式中γ和β分别表示缩放和平移的参数，
⊙
表示Ha...

【专利技术属性】
技术研发人员：张艳宁，闫庆森，刘胜强，朱宇，孙瑾秋，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：