一种基于多尺度生成对抗网络的图像超分辨率重建方法技术

本发明专利技术公开了一种基于多尺度生成对抗网络的图像超分辨率重建方法，采用多尺度SENet模块作为生成器，最终形成多尺度生成对抗网络；然后确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；通过建立的多尺度生成对抗网络实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本发明专利技术能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。

A Super-resolution Image Reconstruction Method Based on Multi-scale Generation Countermeasure Network

The invention discloses an image super-resolution reconstruction method based on multi-scale generation antagonism network, which uses multi-scale SENet module as a generator, and finally forms multi-scale generation antagonism network; then determines the target loss function, completes the pre-training process of the generator, and improves the convergence speed of multi-scale generation antagonism network; and achieves by establishing multi-scale generation antagonism network. The HR image is reconstructed by extracting the features of the high frequency information of the LR input image, and then reconstructing the HR image with the result of the bi-cubic interpolation. The discriminator identifies the authenticity of the reconstructed input, and weights the mean square error loss and the countermeasure loss as the final adjustment objective function. After adjusting the output HR image through the objective function, the whole image is reconstructed. Cheng. The invention can extract more high-frequency information details of LR input image, so as to generate HR image with better display effect after image super-resolution reconstruction.

【技术实现步骤摘要】
一种基于多尺度生成对抗网络的图像超分辨率重建方法
本专利技术涉及是一种基于多尺度生成对抗网络的图像超分辨率重建方法。
技术介绍
图像超分辨率(Singleimagesuper-resolution，SISR)重建任务是指从低分辨率(Low-resolution，LR)图像输入学习出更多的图像细节来生成高分辨(High-resolution，HR)图像。由于HR的图像能够学习原始图像重要的细节信息，因此SISR技术应用广泛，包括视频监督、医疗诊断、人脸识别等。传统的图像超分辨率方法主要是插值算法，如双三次插值，近邻插值，通过采用固定或结构适应的核函数来估计SR图像中未知像素的值。尽管插值算法比较效率较高，但所得到的结果模糊，边缘细节比较平滑。近几年，卷积神经网络(CNN)在图像识别中展现出极大的优势。基于深度卷积的方法在SISR取得了突破性的进展，在超分辨率(Super-resolution，SR)问题中峰值信噪比(peaksignal-to-noiseratio，PSNR)指标的提升尤为突出。一些学者提出了基于深度卷积超分辨率方法，该方法主要分为三个阶段，LR输入图像的特征提取，非线本文档来自技高网...

【技术保护点】
1.一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样...

【技术特征摘要】
1.一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，具体步骤为：(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet模块组成；B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；(2)多尺度生成对抗网络对图像超分辨率重建：Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR图像。2.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，所述训练多尺度生成对抗网络的具体步骤为：a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；b：将多个不同尺度的单尺度特征提取子网络搭建为多层金字塔式生成对抗网络，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗...

【专利技术属性】
技术研发人员：姜代红，黄忠东，鞠训光，戴磊，孙天凯，刘其开，
申请(专利权)人：徐州工程学院，
类型：发明
国别省市：江苏,32