一种基于多尺度生成对抗网络的图像超分辨率重建方法技术

本发明专利技术公开了一种基于多尺度生成对抗网络的图像超分辨率重建方法，采用多尺度SENet模块作为生成器，最终形成多尺度生成对抗网络；然后确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；通过建立的多尺度生成对抗网络实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本发明专利技术能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。

A Super-resolution Image Reconstruction Method Based on Multi-scale Generation Countermeasure Network

The invention discloses an image super-resolution reconstruction method based on multi-scale generation antagonism network, which uses multi-scale SENet module as a generator, and finally forms multi-scale generation antagonism network; then determines the target loss function, completes the pre-training process of the generator, and improves the convergence speed of multi-scale generation antagonism network; and achieves by establishing multi-scale generation antagonism network. The HR image is reconstructed by extracting the features of the high frequency information of the LR input image, and then reconstructing the HR image with the result of the bi-cubic interpolation. The discriminator identifies the authenticity of the reconstructed input, and weights the mean square error loss and the countermeasure loss as the final adjustment objective function. After adjusting the output HR image through the objective function, the whole image is reconstructed. Cheng. The invention can extract more high-frequency information details of LR input image, so as to generate HR image with better display effect after image super-resolution reconstruction.

【技术实现步骤摘要】
一种基于多尺度生成对抗网络的图像超分辨率重建方法
本专利技术涉及是一种基于多尺度生成对抗网络的图像超分辨率重建方法。
技术介绍
图像超分辨率(Singleimagesuper-resolution，SISR)重建任务是指从低分辨率(Low-resolution，LR)图像输入学习出更多的图像细节来生成高分辨(High-resolution，HR)图像。由于HR的图像能够学习原始图像重要的细节信息，因此SISR技术应用广泛，包括视频监督、医疗诊断、人脸识别等。传统的图像超分辨率方法主要是插值算法，如双三次插值，近邻插值，通过采用固定或结构适应的核函数来估计SR图像中未知像素的值。尽管插值算法比较效率较高，但所得到的结果模糊，边缘细节比较平滑。近几年，卷积神经网络(CNN)在图像识别中展现出极大的优势。基于深度卷积的方法在SISR取得了突破性的进展，在超分辨率(Super-resolution，SR)问题中峰值信噪比(peaksignal-to-noiseratio，PSNR)指标的提升尤为突出。一些学者提出了基于深度卷积超分辨率方法，该方法主要分为三个阶段，LR输入图像的特征提取，非线性映射，重构HR图像。随后发展成将深度残差网络模块引入到深度卷积结构中，在SR上的表现进一步提升。然后还有使用多尺度残差模块来提取LR图像更加抽象的细节，学习细微的高频信息，在SR问题中的结构相似性(structuralsimilaritymetric，SSIM)指标表现有一定的提升。生成对抗网络是基于对抗思想的生成式深度学习算法，能够生成较为逼真的图像，在图像修复和生成方面表现较好。目前提出了感知损失加权的生成对抗网络的图像超分辨率方法，该方法能够学习到LR图像的更多细节，在结构相似性指标中取得了较好的表现。另外还有利用风格迁移中训练好的分类模型构建出感知损失，将感知损失与对抗损失作为模型训练最后的目标。、但是上述这些方法对低分辨率输入图像的高频信息提取较差，从而对低分辨率输入图像进行图像超分辨率重建后其高频信息细节显示效果不好。
技术实现思路
针对上述现有技术存在的问题，本专利技术提供一种基于多尺度生成对抗网络的图像超分辨率重建方法，能对低分辨率输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的高分辨率图像。为了实现上述目的，本专利技术采用的技术方案是：一种基于多尺度生成对抗网络的图像超分辨率重建方法，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet(压缩激活)模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR(低分辨率)图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过Bicubic插值上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR(高分辨率)图像。进一步，所述训练多尺度生成对抗网络的具体步骤为：a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；b：将多个不同尺度的单尺度特征提取子网络搭建为金字塔式生成对抗网络，层数为L，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗网络的整体参数达到局部最优；均方差损失的目标函数具体为：其中，yi和xi为第i个LR和HR训练集对，F(yi；θ)为预测的高分辨率结果；c：搭建鉴别器结构，输入生成的HR图像和真实HR的图像训练鉴别器，根据鉴别器的对抗损失，更新鉴别器网络；对抗损失的目标函数为：MSGAN生成器预学习出LR图像到HR图像的映射，鉴别器判断输入的真伪，因此，关于对抗损失表示为：ladv(G,D)＝Ey,x～p(y,x)[logD(y,x)]+Ey～p(y)[log(1-D(y,G(y)))]其中，为预测的HR图像输出，y，x分别表示LR图像和HR图像训练对；d：将对抗损失与均方差损失进行加权，作为生成器总的损失，更新生成器网络的参数；加权后的鉴别器和生成器的损失分别定义如下：ld＝ladvlg＝ladv+λlmse；e：重复步骤c和步骤d，直到训练迭代次数达到初始设置的迭代次数。进一步，所述每个单尺度特征提取子网络对图像处理过程为：设定LR输入图像为y，期望得到的HR图像为x；假设第i个尺度对应的输入特征图为yi-1，则子网络经过上采样得到的特征图可表示为：其中，Du(·)表示的是上采样卷积函数；输出的特征图经过d个SENet模块，输出表示为：其中，和为第d个SENet模块的输入和输出特征图，F(yi；θ)为预测的高分辨率输出。进一步，所述鉴别器为已知鉴别器，其由三个卷积层和两个SENet模块以及一个全连接组成。与现有技术相比，本专利技术采用多尺度SENet模块作为生成器，实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本专利技术能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。附图说明图1是本专利技术的流程处理图；图2是本专利技术中单尺度特征提取子网络的流程处理图；图3是本专利技术中MSGAN鉴别器。具体实施方式下面将对本专利技术作进一步说明。如图所示，一种基于多尺度生成对抗网络的图像超分辨率重建方法，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet(压缩激活)模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR(低分辨率)图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过Bicubic插值上采样处理的LR图像进行像素加权，最终得到图像超本文档来自技高网...

【技术保护点】
1.一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR图像。

【技术特征摘要】
1.一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR图像。2.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，所述训练多尺度生成对抗网络的具体步骤为：a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；b：将多个不同尺度的单尺度特征提取子网络搭建为多层金字塔式生成对抗网络，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗...

【专利技术属性】
技术研发人员：姜代红，黄忠东，鞠训光，戴磊，孙天凯，刘其开，
申请(专利权)人：徐州工程学院，
类型：发明
国别省市：江苏,32