一种基于生成对抗网络的生成超分辨图像的方法技术

本发明专利技术公开了一种基于生成对抗网络的生成超分辨图像的方法，首先选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；然后将选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；最后将得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像；提出了一个两阶段的过程，使用高到低网络来学习如何降级只需要未配对的高分辨率和低分辨率图像的高分辨率图像，并使用该网络的输出来训练低到高网络图像超高分辨率，为了有效地提高现实世界的低分辨率图像的质量，对图像处理与显示的诸多应用领域具有重要意义。

A method of generating super-resolution image based on generating countermeasure network

The invention discloses a method for generating super-resolution image based on the generation of countermeasure network. First, high-resolution image data set and low-resolution image data set are selected as the initial training samples; then, the selected high-resolution image data set and low-resolution image data set are input into the residual network to guide the generation of paired data set; finally, the obtained paired data set is used as the In order to effectively improve the reality, a two-stage process is proposed, which uses high to low network to learn how to degrade the high-resolution image that only needs the unmatched high-resolution and low-resolution image, and uses the output of the network to train the low to high-resolution network image The quality of the world's low-resolution image is of great significance to many application fields of image processing and display.

【技术实现步骤摘要】
一种基于生成对抗网络的生成超分辨图像的方法
本专利技术属于图像处理
，涉及一种基于生成对抗网络的生成超分辨图像的方法。
技术介绍
图像超分辨率是指对通过一幅或者多幅信息互补的低分辨率图像进行处理，重构出一幅高分辨率图像的技术,被广泛的应用在医学影像、视频监控、遥感成像等领域。图像超分辨主要分为三种类型：(1)基于插值的方法：含有最近邻插值和双三次插值法，相比较于双三次插值法，最近邻插值运算复杂度较小，但是图像边缘的平滑度低于双三次插值法，两者相同的优点是算法简单易于实现，缺点都是得到的超分辨率图像清晰度有限；(2)基于重建的方法：目的在于重建退化图像中丢失的高频信息，Yang等人提出的迭代反向投影算法虽然计算量少并且简单，但是无法处理图像中的复杂结构；(3)基于学习算法：主要思想是通过低分辨率图像和高分辨率图像之间存在的一些关系来学习丢失在低分辨率图像中的高频细节，大量实验表明了它强大的图像超分辨率能力，但是对于不合适的训练样本，会在合成图像中产生明显的伪影和不必要的噪声，比如：卷积神经网络(CNNs)、稀疏表示等。生成对抗网络(本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，具体按以下步骤实施：/n步骤1，选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；/n步骤2，将经步骤1选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；/n步骤3，将经步骤2得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像。/n

【技术特征摘要】
1.一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，具体按以下步骤实施：
步骤1，选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；
步骤2，将经步骤1选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；
步骤3，将经步骤2得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像。


2.根据权利要求1所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述步骤1具体为：选取没有匹配关系的Celeb-A、AFLW、LS3D-W、VGGFace2组成的高分辨率图像数据集和低分辨率图像数据集作为最初训练样本。


3.根据权利要求1所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述步骤2具体包括将经步骤1选取的不匹配的高分辨率图像和低分辨率图像训练一种从高到低的生成对抗网络：
首先在由普通的残差网络堆叠而成的高分辨率图像—低分辨率图像的网络第一层输入高分辨率图像和噪声矢量的连接，所述噪音矢量被投影，然后使用完全连接的层重新整形，得到配对的数据集。


4.根据权利要求3所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述高分辨率图像—低分辨率图像的网络结构具体包括编码器解码器结构、网络判别器和网络损失函数。


5.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述编码器解码器结构包括：由12个剩余块组成，平均分布在6个组中，使用池层将输入数据集中图像分辨率下降4次，从64×64px到4×4px，然后使用像素随机层将输入数据集中图像分辨率增加两次到16×16。


6.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述网络判别器为基于残差网络的体系结构，由6个残余块组成，后跟完全连接层。


7.根据权利要求4所述的一种基于生成对抗网络的生成超分辨图像的方法，其特征在于，所述网络损失函数具体为：高分辨率图像—低分辨率图像网络的生成器和判别器经过训练，总损失是生成对抗损失IGAN和像素损失IMSE的组合，对于IGAN，使用“未配对”训练设置，特别是使用低分辨率...

【专利技术属性】
技术研发人员：王延年，李文婷，程燕杰，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西;61