本发明专利技术公开了一种基于残差生成对抗网络的单图超分辨率重建方法，首先建立生成网络，将低分辨率图像输入生成网络，得到生成的高分辨率图像；然后将生成的高分辨率图像和低分辨率图像对应的真实高分辨率图像共同输入判别网络模型，通过感知损失函数计算二者之间的差距；接着对生成网络以及判别网络同时进行训练，使得生成的高分辨率图像相对真实高分辨率图像的损失小于等于预设的阈值，得到训练之后的生成网络；最后将需要提高分辨率的低分辨率图像输入已经训练好的生成网络，得到重建后的高分辨率图像。本发明专利技术克服了现有技术中无法在感知上体现出输入和输出图像的差距的缺陷，提高了模型的精度和生成图像的质量。高了模型的精度和生成图像的质量。高了模型的精度和生成图像的质量。
【技术实现步骤摘要】
基于残差生成对抗网络的单图超分辨率重建方法
[0001]本专利技术涉及图像增强
，尤其涉及一种基于残差生成对抗网络的单图超分辨率重建方法。
技术介绍
[0002]超分辨率重建是隶属于计算机视觉领域的一个经典的应用，它在监控设备、显微成像、视频编码通信、视频复原、卫星成像遥感、数字高清影像、医学图像处理等方面有着广泛的应用。超分辨率重建通过分析数字图像的信号并且采用软件的算法，将一帧或多帧图像重建成更高分辨率图像或视频。图像风格迁移则是通过分别输入一张风格图和内容图，将内容图渲染成有风格图类型的画作，从语义维度输出图片需跟输入图像接近，在风格、颜色和纹理上与目标图片接近。风格迁移对于理解图像以及图片表示都具有很重要的意义。
[0003]图像超分辨率重建问题以及风格化的问题都可以看作是对于图像的处理转换问题，其一在有监督模式下对前馈卷积神经网络进行训练，损失函数用于表示输出、输入图像之间的不同，在该网络中使用逐像素求差法作为损失函数。该方法可做的只需一次前馈即可得已训练好的网络，但缺点在于这种运用了逐像素求差的损失函数的方法，无法在感知上体现出输入和输出图像的差距。其二是建立一个感知损失函数，从已经训练好的CNN中提取高层的图像特征用来求差，通过使损失函数最小化来实现超分辨率图像重建，得到的图像综合及图像风格化后的图像质量较高。但是缺点是训练过程非常缓慢，需要长期的迭代优化过程。
[0004]当前超分辨率重建仍然存在着一个难以解决的问题，即低分辨率图像(LR)和转换后高分辨率的图像(HR)可能存在一对多的关系。这种不确定性会随着超分辨率因子变大而变得更大。
技术实现思路
[0005]本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种基于残差生成对抗网络的单图超分辨率重建方法。
[0006]本专利技术为解决上述技术问题采用以下技术方案：
[0007]基于残差生成对抗网络的单图超分辨率重建方法，包括如下步骤：
[0008]步骤1)，建立生成网络；
[0009]步骤2)，将低分辨率图像输入生成网络，得到生成的高分辨率图像；
[0010]步骤3)，将生成的高分辨率图像和低分辨率图像对应的真实高分辨率图像共同输入判别网络模型，通过感知损失函数计算二者之间的差距；
[0011]步骤4)，对生成网络以及判别网络同时进行训练，使得生成的高分辨率图像相对真实高分辨率图像的损失小于等于预设的阈值，得到训练之后的生成网络；
[0012]步骤5)，将需要提高分辨率的低分辨率图像输入已经训练好的生成网络，得到重建后的高分辨率图像。
[0013]作为本专利技术基于残差生成对抗网络的单图超分辨率重建方法进一步的优化方案，步骤1)中所述的生成网络包含预处理层、核心残差网络和上采样层；
[0014]所述预处理层包含第一卷积层、第二卷积层和relu激活层，其中，第一卷积层、第二卷积层交替，深度分别为64、256；第一卷积层卷积核大小为9
×
9，第一卷积层卷积核大小为3
×
3；
[0015]所述核心残差网络包含16个残差块，所述残差块采用BN(Batch Normalization)层+64个特征图的卷积层+relu激活层+BN层+64个特征图的卷积层+relu激活层的结构；
[0016]所述上采样层使用两个亚像素卷积层进行上采样，提高输入图像的分辨率；并且在这两个亚像素卷积层之前各自增加一个深度为256的卷积层，在这两个亚像素卷积层之后各自增加一个relu激活层，逐步将图像进行重建放大，以避免图像连续放大造成的图像细节丢失。
[0017]作为本专利技术基于残差生成对抗网络的单图超分辨率重建方法进一步的优化方案，步骤3)中所述的判别网络采用stride＝1的32个特征图的卷积层+leaky relu激活层+stride＝2的32个特征图的卷积层+leaky relu激活层+stride＝1的64个特征图的卷积层+leaky relu激活层+stride＝2的64个特征图的卷积层+leaky relu激活层+stride＝1的128个特征图的卷积层+leaky relu激活层+stride＝2的128个特征图的卷积层+leaky relu激活层+stride＝1的256个特征图的卷积层+leaky relu激活层+stride＝2的256个特征图的卷积层+leaky relu激活层+stride＝1的512个特征图的卷积层+leaky relu激活层+stride＝2的512个特征图的卷积层+leaky relu激活层+flattenlayer层+两个denselayer层的结构。
[0018]作为本专利技术基于残差生成对抗网络的单图超分辨率重建方法进一步的优化方案，步骤3)中所述的感知损失函数包含像素级MAE损失、VGG损失、判别器损失；
[0019]所述像素级MAE损失直接使用L1
‑
loss进行计算；
[0020]所述VGG损失式中，代表生成网络，I
HR
、I
LR
分别代表高分辨率图像、低分辨率图像，φ
i,j
代表的含义是vgg19网络中第i个池化层之前的第j个卷积层，W
i,j
、H
i,j
分别是VGG网络中第i个池化层之前的第j个卷积层中的特征图的宽度、高度；
[0021]判别器损失式中，代表判别器，N为bacth
‑
size的大小。
[0022]作为本专利技术基于残差生成对抗网络的单图超分辨率重建方法进一步的优化方案，所述步骤4)中，训练集使用了DIV2K数据集，将训练集中每一个图像变换到384x384的尺寸作为高分辨率输入、变换到96x96的尺寸作为低分辨率输入，该训练集共800张训练图，训练时bacth
‑
size＝16，迭代次数为100000次，每训练1000次对网络进行反向更新；用RMSprop优化使感知损失损失下降，学习速率1e
‑
4，无dropout。
[0023]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0024]本专利技术克服了现有技术中无法在感知上体现出输入和输出图像的差距的缺陷，提高了模型的精度和生成图像的质量。
附图说明
[0025]图1为本专利技术的总体结构示意图。
[0026]图2为本专利技术的残差生成网络结构示意图。
[0027]图3为本专利技术的残差块结构示意图。
[0028]图4为本专利技术的判别网络结构示意图。
具体实施方式
[0029]下面结合附图对本专利技术的技术方案做进一步的详细说明：
[0030]本专利技术可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本专利技术的范围。在附图中，为了清楚起见放大了组件。
[0031]如图1所示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于残差生成对抗网络的单图超分辨率重建方法，其特征在于，包括如下步骤：步骤1)，建立生成网络；步骤2)，将低分辨率图像输入生成网络，得到生成的高分辨率图像；步骤3)，将生成的高分辨率图像和低分辨率图像对应的真实高分辨率图像共同输入判别网络模型，通过感知损失函数计算二者之间的差距；步骤4)，对生成网络以及判别网络同时进行训练，使得生成的高分辨率图像相对真实高分辨率图像的损失小于等于预设的阈值，得到训练之后的生成网络；步骤5)，将需要提高分辨率的低分辨率图像输入已经训练好的生成网络，得到重建后的高分辨率图像。2.如权利要求1所述的基于残差生成对抗网络的单图超分辨率重建方法，其特征在于，步骤1)中所述的生成网络包含预处理层、核心残差网络和上采样层；所述预处理层包含第一卷积层、第二卷积层和relu激活层，其中，第一卷积层、第二卷积层交替，深度分别为64、256；第一卷积层卷积核大小为9
×
9，第一卷积层卷积核大小为3
×
3；所述核心残差网络包含16个残差块，所述残差块采用BN(Batch Normalization)层+64个特征图的卷积层+relu激活层+BN层+64个特征图的卷积层+relu激活层的结构；所述上采样层使用两个亚像素卷积层进行上采样，提高输入图像的分辨率；并且在这两个亚像素卷积层之前各自增加一个深度为256的卷积层，在这两个亚像素卷积层之后各自增加一个relu激活层，逐步将图像进行重建放大，以避免图像连续放大造成的图像细节丢失。3.如权利要求2所述的基于残差生成对抗网络的单图超分辨率重建方法，其特征在于，步骤3)中所述的判别网络采用stride＝1的32个特征图的卷积层+leaky relu激活层+stride＝2的32个特征图的卷积层+leaky relu激活层+stride＝1的64个特征图的卷积层+leaky relu激活层+stride＝2的64个特征图的卷积层+leaky relu激活层+...
【专利技术属性】
技术研发人员：杨旭广，杨欣，李恒锐，朱义天，樊江锋，周大可，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。