基于生成对抗网络的图像超分辨率方法技术

本发明专利技术公开了基于生成对抗网络的图像超分辨率方法。所述方法包括以下步骤：获取训练数据集、验证数据集；构建图像超分辨率模型，包括生成网络模型和判别网络模型；初始化建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；使用损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡；获取测试数据集并输入到训练好的生成网络模型，生成超分辨率图像；计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。本发明专利技术通过优化网络结构来提升网络重建超分辨率图像的性能，解决图像超分辨率问题。

【技术实现步骤摘要】
基于生成对抗网络的图像超分辨率方法
本专利技术涉及计算机视觉领域，具体涉及基于生成对抗网络(GAN)的图像超分辨率方法。
技术介绍
在日常的生产生活中，图像是一种重要的信息载体，而图像分辨率是衡量图像质量的重要标准之一。高分辨率图像包含更多的纹理特征，可以提供更多的信息，因此在生产生活中人们更希望获取到高分辨率图像。但是由于成像设备的参差不齐、网络传输过程图像信息的丢失等原因，通过图像超分辨率来提高图像的分辨率成本更低、效果好、更容易实现。因此图像超分辨率更为实用，对图像超分辨率任务的研究具有重要意义。图像超分辨率方法主要分为三种：基于插值的、基于重建的和基于学习的。近年来，深度学习被广泛应用于计算机视觉领域，取得不错的效果，基于深度学习的图像超分辨率算法也不断提出并取得很好的重建效果和较快的重建速度。董超等人提出的SRCNN首次将卷积神经网络(CNN)引入到图像超分辨率任务，并取得不错的重建效果。自此，大量基于CNN的图像超分辨率方法提出，学者通过加深网络来提高网络的重建性能。但是使用均方误差损失(MSE)来优化网络会使得生成的图像过于平滑，视觉效果差。SRGAN(LedigC,TheisL,HuszárF,etal.Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork[A].In:ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition[C],2017.4681–4690.)将生成对抗网络(GAN)引入到图像超分辨率任务中，利用感知损失和对抗损失等损失函数来监督网络，使得生成图像具有更好的视觉效果，更加接近于真实图像。ESRGAN(WangX,YuK,WuS,etal.Esrgan:Enhancedsuper-resolutiongenerativeadversarialnetworks[A].In:EuropeanConferenceonComputerVision[C],2018.63–79.)提出使用Residual-in-ResidualDenseBlock(RRDB)来构建生成网络，使用RaGAN(Jolicoeur-MartineauA.Therelativisticdiscriminator:akeyelementmissingfromstandardGAN[J].arXivpreprintarXiv:1807.00734,2018.)的判别网络来监督生成网络，生成的图像视觉效果更好。但是上述的基于生成对抗网络(GAN)的图像超分辨率方法SRGAN和ESRGAN也存在一些问题：1)这些基于GAN的图像超分辨率方法的判别网络往往只输出一个介于[0,1]的概率值，在整体上判断输入图像是生成的超分辨率图像还是真实高分辨率图像，以此来监督生成网络来生成更接近真实高分辨率图像的超分辨率图像。但是这种监督是粗糙的，生成网络不知道生成图像的哪个像素点的重建效果更好，哪个像素点的重建的效果更差。2)这些基于GAN的图像超分辨率方法通常包含两个独立的网络——生成网络和判别网络。但是，生成网络和判别网络的浅层部分都是用于提取图像的底层特征，包括边缘，角点等信息。这两个网络的浅层部分具有相似或者相同的作用，但是却独立在不同的分支中，增加了模型的参数量。其次，生成网络和判别网络在的信息传递上只有对抗损失，判别网络将对抗损失传递给生成网络，生成网络通过该损失学习生成使判别器分类错误的超分辨率图像。对抗损失对生成网络的影响是不充分的，不能全面地向生成网络反映出如何更好地生成靠近真实高分辨率图像的超分辨率图像的。
技术实现思路
本专利技术的目的在于解决上述的问题，提供两种改进的基于GAN的图像超分辨率方法。本专利技术通过改进的生成式对抗网络来解决图像超分辨率问题，使用判别网络来监督生成网络，使生成网络生成更接近于真实图像的超分辨率图像。与之前的基于GAN的图像超分辨率网络比较，本专利技术能够生成更高质量的超分辨率图像。本专利技术的目的至少通过以下技术方案之一实现。基于生成对抗网络的图像超分辨率方法，包括以下步骤：S1、获取训练数据集、验证数据集；S2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；S3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；S4、首先使用L1损失来训练生成网络模型直到网络收敛，使得生成网络具有较好的重建图像的能力，保存训练过程中的生成网络模型；加载预训练好的生成网络模型，使用生成网络和判别网络的损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡，保存此过程中的生成网络模型和判别网络模型；S5、获取测试数据集；S6、加载训练好的生成网络模型，将测试数据集输入到生成网络模型，生成超分辨率图像；S7、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比(PSNR)，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。进一步地，步骤S1中，采用DIV2K数据集中的若干张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；对原始的2K图像进行下采样处理得到低分辨率图像，与原始的高分辨率图像构成训练样本对；由于原始的图像尺寸太大，直接输入到网络模型中进行训练会造成网络模型计算量过大，减慢训练速度，因此对训练图像进行随机剪裁，将低分辨率图像裁剪为M×K大小的图像块，其中M代表图像块的高度，K代表其宽度，对应的高分辨率图像裁剪为Mr×Kr，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，将成对的训练数据即低分辨率-高分辨率图像进行翻转和旋转操作，包括90°、180°和270°；所述验证数据集采用Set5数据集，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。进一步地，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述的判别网络模型采用Unet结构，上分支与传统的判别网络模型具有相同的结构，利用步长为2的池化层来减少特征图的空间大小，扩大感受野；经过R次池化层，特征图的空间大小变为原来的倍；每个池化层后跟随两个卷积层，提取特征。在特征图最小的情况下使用两个全连接层输出图像的整体统计特征，即判别网络模型对输入图像整体上的判别，1代表输入的是真实图像，而0代表输入的是生成图像；所述判别网络模型的下分支采用不断上采样的方式，逐步扩大特征图的空间大小，将上分支与下分支具有相同大小的特征图进行串联，利于判别网络模型中的信息流动和对下分支中浅层次特征的充分利用；每个上采样后的特征图经过两个卷积层处理；下分支最终输出一个本文档来自技高网...

【技术保护点】
1.基于生成对抗网络的图像超分辨率方法，其特征在于，包括以下步骤：/nS1、获取训练数据集、验证数据集；/nS2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；/nS3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；/nS4、首先使用L

【技术特征摘要】
1.基于生成对抗网络的图像超分辨率方法，其特征在于，包括以下步骤：
S1、获取训练数据集、验证数据集；
S2、采用两种不同的方法构建图像超分辨率模型，包括生成网络模型和判别网络模型；所述两种方法包括细粒度注意力机制的基于GAN的图像超分辨率方法(FASRGAN)以及特征共享的基于GAN的图像超分辨率方法(Fs-SRGAN)；
S3、初始化步骤S2中建立的生成网络模型和判别网络模型的权重，初始化网络模型，选取优化器，设置网络训练的参数；
S4、首先使用L1损失来训练生成网络模型直到网络收敛，使得生成网络具有较好的重建图像的能力，保存训练过程中的生成网络模型；加载预训练好的生成网络模型，使用生成网络和判别网络的损失函数来同时训练生成网络模型和判别网络模型，直到生成网络和判别网络达到纳什平衡，保存此过程中的生成网络模型和判别网络模型；
S5、获取测试数据集；
S6、加载训练好的生成网络模型，将测试数据集输入到生成网络模型，生成超分辨率图像；
S7、计算生成的超分辨率图像与真实的高分辨率图像之间的峰值信噪比(PSNR)，计算生成图像的图像重建质量的评价指标，评估图像的重建质量。


2.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S1中，采用DIV2K数据集中的若干张2K图像来制作成对的低分辨率-高分辨率图像作为训练数据集；对原始的2K图像进行下采样处理得到低分辨率图像，与原始的高分辨率图像构成训练样本对；由于原始的图像尺寸太大，直接输入到网络模型中进行训练会造成网络模型计算量过大，减慢训练速度，因此对训练图像进行随机剪裁，将低分辨率图像裁剪为M×K大小的图像块，其中M代表图像块的高度，K代表其宽度，对应的高分辨率图像裁剪为Mr×Kr，r为放大因子；为了增强训练数据集中数据的多样性和扩展数据量，将成对的训练数据即低分辨率-高分辨率图像进行翻转和旋转操作，包括90°、180°和270°；
所述验证数据集采用Set5数据集，由5张图像组成，在网络训练过程用于评估生成网络的重建性能，利于观察生成网络模型的收敛程度。


3.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述的判别网络模型采用Unet结构，上分支与传统的判别网络模型具有相同的结构，利用步长为2的池化层来减少特征图的空间大小，扩大感受野；经过R次池化层，特征图的空间大小变为原来的倍；每个池化层后跟随两个卷积层，提取特征；在特征图最小的情况下使用两个全连接层输出图像的整体统计特征，即判别网络模型对输入图像整体上的判别，1代表输入的是真实图像，而0代表输入的是生成图像；
所述判别网络模型的下分支采用不断上采样的方式，逐步扩大特征图的空间大小，将上分支与下分支具有相同大小的特征图进行串联，利于判别网络模型中的信息流动和对下分支中浅层次特征的充分利用；每个上采样后的特征图经过两个卷积层处理；下分支最终输出一个与输入图像大小相同的掩码图(Maskmap)，表示判别网络模型对输入图像的每个像素的判别信息，其中，该像素上的值越接近于1代表该像素与真实图像的对应像素越相似，反之越不相似；将此掩码图加入到生成网络模型的损失函数中，使生成网络模型关注于重建得不好的像素，监督生成网络模型去重建出更高质量的超分辨率图像；判别网络模型的损失函数包括两个部分：对抗损失和细粒度的attention损失，公式如下：




表示对抗损失，采用RaGAN中的损失函数，公式如下：



其中，xr和xf代表真实图像和生成图像，σ是sigmoid函数，C(x)指判别网络中sigmoid函数之前的输出，DRa代表判别网络的函数，代表对批数据量中所有的假数据求期望的操作，而代表对批数据量中所有的真实数据求期望的操作，所述假数据为生成图像，所述真实数据为真实图像；

表示细粒度的attention损失，公式如下：



其中，Mr和Mf分别代表了真实的高分辨率图像和生成的超分辨率图像的掩码图，W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，则生成网络模型的输出图像的宽度为Wr，而长度为Hr。


4.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，细粒度注意力机制的基于GAN的图像超分辨率方法中，所述生成网络模型采用RRDB(Residual-in-ResidualDenseBlock)作为基础模块，通过以线性串联的方式来堆叠A个RRDB来构建深层的网络结构，重建出高质量的超分辨率图像；生成网络模型的损失函数如下：
LG＝L1+λadv*Ladv+λattention*Lattention+λpercep*Lpercep；
其中，λadv、λattention、λpercep代表平衡不同损失函数项的系数；
Lattention表示细粒度的attention损失，公式如下：



其中，Mf是判别网络模型络生成的超分辨率图像的掩码图(Maskmap)，Mf(w,h,c)表示生成的超分辨率图像ISR(w,h,c)与真实图像之间的每个像素的差异，使用1-Mf(w,h,c)的方法来给图像的每个像素分配不同的权重，使得生成的超分辨率图像中与真实高分辨率图像差异较大的像素在下一次迭代训练中接受到生成网络更多的关注；
L1表示内容损失，约束生成图像在内容上更加接近于真实图像，公式如下：



其中，代表生成网络模型G的函数，θ是生成网络模型的参数，在迭代训练过程进行优化；W、H、C分别代表输入到生成网络模型的低分辨率图像的宽度、长度和通道数目，r为放大因子，i为批数据量中的第i张图像；
Lpercep表示感知损失，目的是使生成图像在高阶的特征层面上与对应的高分辨率图像接近，采用预训练的VGG19网络的第54层的特征来计算感知损失，公式如下：



其中是指预训练的VGG19网络的函数，G表示生成网络模型，和分别是批数据量中的第i张低分辨率图像和高分辨率图像；
Ladv表示对抗损失，生成网络模型需要重建出使判别网络模型难以判别出是生成图像的超分辨率图像，因此其公式与判别网络模型的对抗损失相反，具体如下：





5.根据权利要求1所述的基于生成对抗网络的图像超分辨率方法，其特征在于，步骤S2中，特征共享的基于GAN的图像超分辨...

【专利技术属性】
技术研发人员：刘闯闯，严伊彤，金龙存，彭新一，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44