一种基于生成对抗网络的单幅图像超分辨率重建方法及系统技术方案

本发明专利技术涉及一种基于生成对抗网络的单幅图像超分辨率重建方法及系统，其方法包括：S1：获取高分辨率子图像集I

【技术实现步骤摘要】
一种基于生成对抗网络的单幅图像超分辨率重建方法及系统


[0001]本专利技术涉及图像处理领域，具体涉及一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。

技术介绍

[0002]图像分辨率越高，图像越清晰，得到的图像中的信息也越准确。成像的效果往往会受到硬件设备的限制，比如元件性能低、设备老化等问题，得到不理想的图像。另外环境因素的不确定性也会干扰拍摄图像的清晰度，比如天气、物体遮挡、空气湿度等。诸多客观因素使得设备在成像的时候出现模糊、噪声、降采样等退化现象，使得最后成像分辨率不高。现实生活中通常增加硬件设备成本，提高成像系统的性能，得到高分辨率图像。使用这种方法存在问题，一方面通过硬件提升的方法代价过于昂贵；另一方面，通过增加成像系统传感器的密度提高图像分辨率目前已达到瓶颈，继续增加摄像机的传感器数量很难再提高图像分辨率。并且，这样的方法仍无法避免环境因素对成像效果的影响。此外，高分辨率图像在存储介质中占用空间大，存储高清图像和视频时，经常出现存储介质空间不够用的情况，也使硬件成本增加。超分辨率重建算法就是为了从软件算法的途径解决上述因图像分辨率产生的问题。
[0003]超分辨率重建问题的目标是给定一幅或多幅低分辨率图像，恢复其高频细节，得到尽可能合理的高分辨率图像。高分辨率图像一方面有拥有更多的图像像素，另一方面在对同一场景的描述上能体现出更多的细节信息。这样，即使原摄像传感器的分辨率不变，也可进一步提高图像分辨率；此外，面对解决高清图像存储问题，可以先将图像以低分辨率图像进行储存，需要使用时通过超分辨率重建复原，达到节约存储介质空间的目的。
[0004]图像的超分辨率技术已广泛应用于生产生活，在许多领域取得很重要的成果。比如视频监控、高清电视、数码相机、手机照相技术等。超分辨率重建技术最成熟的应用是在图像和视频压缩传输中。
[0005]按照重建目标的不同，超分辨率重建问题可以分为三类：单帧图像，多帧图像和视频的超分辨率重建。其中，由于单帧图像没有多帧图像与视频的图像参照信息，其超分辨率重建过程设计有难度。因此，如何提高重建图片的质量，成为亟待解决的问题。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供一种基于生成对抗网络的单幅图像超分辨率重建方法及系统。
[0007]本专利技术技术解决方案为：一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：
[0008]步骤S1：获取高分辨率图像集I
H
，对I
H
进行裁剪，裁剪尺寸为M
×
M，其中，M小于I
H
中最小尺寸图像的长或宽，得到高分辨率子图像集I
BH
；
[0009]步骤S2：设置图像下采样因子为s，利用双三次插值法对I
BH
进行下采样，得到低分
辨率子图像集I
BL
，I
BL
中图像的大小为
[0010]步骤S3：将所述低分辨率子图像集I
BL
输入到生成网络，通过网络的正向传播得到重建后的图像集I
S
，其中，I
S
中图像大小为M
×
M；
[0011]步骤S4：将I
BH
与I
S
分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；
[0012]步骤S5：采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络；
[0013]步骤S6：采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络；
[0014]步骤S7：重复步骤S3～S6，直至当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1，得到重建的超分辨率图像。
[0015]本专利技术与现有技术相比，具有以下优点：
[0016]1、本专利技术公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中的生成网络方法采用U
‑
Net网络结构，相较于传统使用残差结构的生成网络，U
‑
Net结构对图像的先验信息提取能力更强，经过U
‑
Net结构重建的图片其像素空间更接近于真实图像空间，使生成图像更容易快速的向真实图像的生成空间拟合。且通过实验证明U
‑
Net结构可以提升图片重建质量。
[0017]2、本专利技术公开的一种基于生成对抗网络的单幅图像超分辨率重建方法，改进了判别网络结构。相较于普遍的使用VGG网络结构的判别网络，本专利技术引入了残差模块对网络提取深层特征的能力进行提升。使其可以提取到更多更深层的特征信息，让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
附图说明
[0018]图1为本专利技术实施例中一种基于生成对抗网络的单幅图像超分辨率重建方法的流程图；
[0019]图2为本专利技术实施例中生成网络的结构示意图；
[0020]图3为本专利技术实施例中判别网络的结构示意图；
[0021]图4为本专利技术实施例中一种基于生成对抗网络的单幅图像超分辨率重建系统的结构框图。
具体实施方式
[0022]本专利技术提供了一种基于生成对抗网络的单幅图像超分辨率重建方法，其中生成网络方法采用U
‑
Net网络结构，使得重建的图片更接近于真实图像，并在判别网络引入残差模块，提升抽取深层特征的能力,让判别网络对生成网络的图像与原图进行判别，迫使生成网络进一步提升生成图像的质量。
[0023]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0024]实施例一
[0025]如图1所示，本专利技术实施例提供的一种基于生成对抗网络的单幅图像超分辨率重建方法，包括下述步骤：
[0026]步骤S1：获取高分辨率图像集I
H
，对I
H
进行裁剪，裁剪尺寸为M
×
M，其中，M小于I
H
中最小尺寸图像的长或宽，得到高分辨率子图像集I
BH
；
[0027]步骤S2：设置图像下采样因子为s，利用双三次插值法对I
BH
进行下采样，得到低分辨率子图像集I
BL
，I
BL
中图像的大小为
[0028]步骤S3：将低分辨率子图像集I
BL
输入到生成网络，通过网络的正向传播得到重建后的图像集I
S
，其中，I
S
中图像大小为M
×
M；
[0029]步骤S4：将I
BH
与I
S
分别送入判别网络中进行正向传播得到其分类概率，以使判别网络学习区分真实图像与生成图像；使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，包括：步骤S1：获取高分辨率图像集I
H
，对I
H
进行裁剪，裁剪尺寸为M
×
M，其中，M小于I
H
中最小尺寸图像的长或宽，得到高分辨率子图像集I
BH
；步骤S2：设置图像下采样因子为s，利用双三次插值法对I
BH
进行下采样，得到低分辨率子图像集I
BL
，I
BL
中图像的大小为步骤S3：将所述低分辨率子图像集I
BL
输入到生成网络，通过网络的正向传播得到重建后的图像集I
S
，其中，I
S
中图像大小为M
×
M；步骤S4：将I
BH
与I
S
分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像；使用交叉熵函数作为损失函数对二者的分类概率进行计算；步骤S5：采用Adam算法对所述判别网络的参数反向传播，更新所述判别网络；步骤S6：采用Adam算法对所述生成网络的参数反向传播，更新所述生成网络；步骤S7：重复步骤S3～S6，直至当所述生成网络与所述判别网络达到相对的平衡状态时，即所述生成网络的损失函数趋于0，所述判别网络的损失函数趋于1时，得到重建的超分辨率图像。2.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S2中利用双三次插值法对I
BH
进行下采样，具体包括：步骤S21：构造双三次插值函数，如公式(1)所示：其中，x为I
BH
图像像素的坐标；步骤S22：对于待插值像素点(x，y)，取其附近的4
×
4领域点(x
i
，y
j
)，i，j＝0，1，2，3，按公式(2)计算插值位置：其中，f(x，y)为像素点(x，y)的值。3.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S3：将所述低分辨率子图像集I
BL
输入到生成网络，通过网络的正向传播得到重建后的图像集I
S
，具体包括：步骤S31：将所述低分辨率子图像集I
BL
通过亚像素卷积进行上采样，其中，亚像素卷积层的计算公式(3)如下所示，放大至重建目标图像的尺寸；I
input
＝PS(LRELU(conv(I
BL
)3))4ꢀꢀꢀꢀ
(3)其中，conv表示卷积运算，卷积运算中下标3表示卷积核的尺寸，LRELU为Leaky ReLU函数；PS表示亚像素卷积上采样模块，下标4表示采样倍数，表示PS的公式(4)如下所示：PS(T)
H，W，C
＝T
[H/S][W/S]C
·
s
·
mod(W，s)+C
·
mod(H，s)+b
ꢀꢀꢀꢀ
(4)
公式(4)表示对形状为H
×
W
×
C
·
s2的输入图像张量元素进行变换，最终得到图像形状变为sH
×
sW
×
C，s为采样因子，C表示图像的色彩通道数，T为转换函数；b为偏置；步骤S32：通过步长对I
input
进行n次下采样，n＞1，每次下采样后图像尺寸缩小一倍，记第n次下采样后的图像为I
n
；步骤S33：将最后一次下采样的图像I
n
进行通过亚像素卷积方法进行上采样操作，采样后图像再经过n次批量正则化层计算，如公式(5)所示，最终得到图像I
′
的尺寸与重建目标图像尺寸一致；I
′
n
‑1＝BN(upsample(LRELU(conv(I
n
)3))2)
ꢀꢀꢀꢀ
(5)其中，BN表示批量正则化，upsample表示上采样；步骤S34：将I
′
通过三层卷积网络进行非线性映射重组，最后经过Sigmoid函数激活得到重建后的图像集I
S
。4.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，所述步骤S4：将I
BH
与I
S
分别送入判别网络中进行正向传播得到其分类概率，以使所述判别网络学习区分真实图像与生成图像，具体包括：步骤S41：图像I
S
与I
BH
输入判别网络中，通过残差块对...

【专利技术属性】
技术研发人员：杨斌，解凯，李桐，杨泽鹏，杨梦瑶，
申请(专利权)人：北京印刷学院，
类型：发明
国别省市：