一种基于条件生成对抗网络的超分辨率重建方法技术

本发明专利技术公开了一种基于条件生成对抗网络的超分辨率重建方法，具体为：利用公开的超分辨率图像数据集，制作低分辨率图像和对应高分辨率图像训练集；构建条件生成对抗网络模型，在生成器网络中使用密集残差块，在生成网络模型的末端，用亚像素上采样方法实现超分辨率图像重建；把训练图像集输入到条件生成对抗网络中进行模型训练，通过感知损失函数让训练模型收敛；对图像测试集进行下采样处理，获得低分辨率测试图像；把低分辨率测试图像输入到条件对抗网络模型中，获得高质量的高分辨率图像。本发明专利技术可以很好的解决传统生成对抗网络生成的超分辨图像看似清晰、评估指标极低的问题，同时通过密集残差网络缓解梯度消失和高频信息丢失的问题。

A Super-resolution Reconstruction Method Based on Conditional Generation Countermeasure Network

【技术实现步骤摘要】
一种基于条件生成对抗网络的超分辨率重建方法
本专利技术涉及一种超分辨率重建方法，具体涉及一种基于条件生成对抗网络的超分辨率重建方法，属于图像处理

技术介绍
单幅图像的超分辨率(SISR)旨在从一个单一的低分辨率图像(LR)恢复高分辨率图像(HR)。这在许多领域中直接应用，如HDTV、医学成像、卫星成像、人脸识别和视频监控。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈。从软件方面提高图像分辨率，一定程度上克服了硬件不足的问题。因此，图像超分辨率重建成为研究热点之一。目前超分辨率重建的方法主要分为两类：(1)将超分看成是图像处理中的不适定问题，可通过引入先验信息解决该问题。(2)采用机器学习的方法来学习到低分辨率和高分辨率图像之间的映射关系，从而实现图像超分辨率重建。其中，基于插值的方法，包括最近邻插值(Nearest)、双线性插值(Bilinear)和双三次插值(Bicubic)虽然速度快，但是其效果比较差，在预测详细的、真实的纹理方面存在很大的局限性。邻域嵌入(NB)的方法采用插补补丁子空间的策略。稀疏编码的方法使用基于稀疏信号表示的字典学习LR和HR之间的映射关系。Dong等首先提出了一种基于深度学习的方法(SRCNN)，证明CNN可以被有效应用于端到端的学习LR到HR的映射。Shi等人提出了亚像素卷积的方法(ESPCN)，直接在低分辨率图像上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到高分辨率图像。Kim等人首先介绍了残差网络，用于训练更深层次的网络架构(VDSR)，并取得了卓越的性能。这些超分辨率网络通常先使用特征提取模块从低分辨率图像中提取一系列特征图，接着与上采样模块级联以增加分辨率进而重建高分辨率图像。但是，这些已有的网络往往会产生过度平滑的输出图片并丢失一些纹理细节和特征。Ledig等把生成对抗网络(GenerativeAdversarialNetwork,GAN)应用于超分辨率重建。提出了基于生成对抗网络的超分辨率(Super-ResolutionUsingaGenerativeAdversarialNetwork,SRGAN)算法，虽然这种博弈式的优化SRGAN够生成高质量的图像，但是细节效果较差，而且用这种网络的训练方式太过自由。GAN模型的输入缺少约束，对于较大的输入图片或者较多像素会导致训练崩塌，从而使得GAN变的不可控。SRGAN的超分辨率图像看起来“很好”，但是并没有骗过评估指标。因为其放大后的图像有许多令人不快的虚构的伪影和斑点。此外，SRGAN训练使用了大量的训练数据集，对计算机硬件配置比较高，不利于普及学术研究和工业应用。虽然SRResNet成功地解决了具有良好性能的时间和内存问题，但它只是采用了He等人的残差块(ResNet)架构，没有太多的修改。然而，原来的残差块被提出来解决更高级别的计算机视觉问题，如图像分类和检测。因此，将残差块架构直接应用于超级分辨率等低级视觉问题可能不是最佳的。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于条件生成对抗网络的超分辨率重建方法，解决了现有技术的缺陷，可获得如真实图像般，纹理清晰、特征不变的高质量的高分辨率图像。本专利技术为解决上述技术问题采用以下技术方案：一种基于条件生成对抗网络的超分辨率重建方法，包括如下步骤：步骤1，对训练集中的高分辨率图像采用双三次插值的方法进行下采样处理，获得低分辨率图像，分别对高分辨率图像和低分辨率图像进行随机裁剪，获得训练图像对集；步骤2，设计条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络，其中，生成器网络包括低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块，判别器网络的判别条件是原始高分辨率图像；步骤3，将步骤1获得的训练图像对集输入步骤2设计好的条件生成对抗网络，进行迭代训练，并通过感知损失函数判断条件生成对抗网络的收敛情况，从而得到训练好的条件生成对抗网络模型；步骤4，对测试集中的高分辨率图像采用双三次插值的方法进行下采样处理，得到低分辨率测试图像，将低分辨率测试图像作为训练好的条件生成对抗网络模型的输入，并输出超分辨率图像。作为本专利技术的一种优选方案，步骤2所述条件生成对抗网络中生成器网络和判别器网络的对抗过程公式如下：其中，G表示生成器网络，D表示判别器网络，E表示期望，y表示原始高分辨率图像，x表示低分辨率图像，G(x)表示G生成的超分辨率图像，D(y,y)表示在y的条件下，判断输入图像y的真伪，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真伪。作为本专利技术的一种优选方案，步骤3所述感知损失函数表达式为：Loss＝lMSE+0.006*lVGG+2*10-8lTV+100*L1+10-3lGen其中，Loss表示感知损失函数，lMSE表示最小均方差损失，lVGG表示神经网络损失，lTV表示梯度损失，L1表示L1范数，lGen表示对抗损失。作为本专利技术的一种优选方案，所述最小均方差损失lMSE，公式如下：其中，r表示放大因子，W、H是高分辨率图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像。作为本专利技术的一种优选方案，所述梯度损失lTV，公式如下：其中，r表示放大因子，W、H是高分辨率图像的宽、高大小，G(x)表示生成器网络G生成的超分辨率图像。作为本专利技术的一种优选方案，所述对抗损失lGen，公式如下：其中，N表示训练样本数量，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像，D(y,G(x))表示在y的条件下，判断输入图像G(x)的真伪。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1、本专利技术采用了条件对抗网络，弥补了GAN网络的不足。在判别器D网络中给一个原始图像作为判别条件，可以提高判别器D的判别精度。原始GAN网络中的判别器D没有一个标准，很难判断出正确的图像。给定一个条件，类似给定一个判断标签。2、本专利技术采用了极深的密集残差块的方法并且改进了传统的残差块，明显地解决了训练过程中高频细节丢失的问题，同时，也有效地解决了训练过程中梯度消失的问题。3、本专利技术采用感知损失函数，改进了原始感知损失函数，明显的提高收敛的速度和模型的精度。4、本专利技术采用了预训练的方法，经过实验论证，该方法可以有效的缩短运行时间、提高运行效率。附图说明图1是本专利技术一种基于条件生成对抗网络的超分辨率重建方法的流程图。图2是本专利技术提出的条件生成对抗网络的框架图。图3是本专利技术提出的条件生成对抗网络中生成器网络G的网络结构图。图4是本专利技术提出的条件生成对抗网络中判别器网络D的网络结构图。图5是本专利技术提出的重建方法用不同初始化方法的对比图。图6是本专利技术提出的深度密集残差模块的效果比较图。图7是本专利技术的条件生成对抗网络和生成对抗网络的对比图。图8是本专利技术提出的重建方法和其他方法在视觉效果上的比较图。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图1所示，为本专利技术提供的基于条件生成对抗网络的超分辨率重建方本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的超分辨率重建方法，其特征在于，包括如下步骤：步骤1，对训练集中的高分辨率图像采用双三次插值的方法进行下采样处理，获得低分辨率图像，分别对高分辨率图像和低分辨率图像进行随机裁剪，获得训练图像对集；步骤2，设计条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络，其中，生成器网络包括低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块，判别器网络的判别条件是原始高分辨率图像；步骤3，将步骤1获得的训练图像对集输入步骤2设计好的条件生成对抗网络，进行迭代训练，并通过感知损失函数判断条件生成对抗网络的收敛情况，从而得到训练好的条件生成对抗网络模型；步骤4，对测试集中的高分辨率图像采用双三次插值的方法进行下采样处理，得到低分辨率测试图像，将低分辨率测试图像作为训练好的条件生成对抗网络模型的输入，并输出超分辨率图像。

【技术特征摘要】
1.一种基于条件生成对抗网络的超分辨率重建方法，其特征在于，包括如下步骤：步骤1，对训练集中的高分辨率图像采用双三次插值的方法进行下采样处理，获得低分辨率图像，分别对高分辨率图像和低分辨率图像进行随机裁剪，获得训练图像对集；步骤2，设计条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络，其中，生成器网络包括低频信息提取模块、深度密集残差模块、亚像素上采样模块和重建模块，判别器网络的判别条件是原始高分辨率图像；步骤3，将步骤1获得的训练图像对集输入步骤2设计好的条件生成对抗网络，进行迭代训练，并通过感知损失函数判断条件生成对抗网络的收敛情况，从而得到训练好的条件生成对抗网络模型；步骤4，对测试集中的高分辨率图像采用双三次插值的方法进行下采样处理，得到低分辨率测试图像，将低分辨率测试图像作为训练好的条件生成对抗网络模型的输入，并输出超分辨率图像。2.根据权利要求1所述基于条件生成对抗网络的超分辨率重建方法，其特征在于，步骤2所述条件生成对抗网络中生成器网络和判别器网络的对抗过程公式如下：其中，G表示生成器网络，D表示判别器网络，E表示期望，y表示原始高分辨率图像，x表示低分辨率图像，G(x)表示G生成的超分辨率图像，D(y,y)表示在y的条件下，判断输入图像y的真伪，D(y,...

【专利技术属性】
技术研发人员：宋慧慧，乔娇娇，张开华，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32