一种基于生成对抗网络的高分辨率图像生成方法技术

本发明专利技术公开了一种基于生成对抗网络的高分辨率图像生成方法，首先对待学习的数据集图像进行预处理得到训练集；然后构建包含生成网络和判别网络的生成对抗网络，对生成对抗网络进行预训练，获得预训练的模型参数作为生成对抗网络的初始化参数：接着，将训练集和生成网络生成的图像分别输入到判别网中，判别网络的输出反作用于生成网络，对生成对抗网络进行对抗训练，优化生成网络和判别网络的网络参数，当损失函数收敛时结束训练，得到训练好的生成对抗网络；最后，将随机数据分布输入到训练好的生成网络中，实现高分辨率图像生成。本发明专利技术生成图像更加清晰、训练过程稳定且网络较快收敛。

【技术实现步骤摘要】
一种基于生成对抗网络的高分辨率图像生成方法
本专利技术涉及深度学习和图像处理领域，尤其涉及一种基于生成对抗网络的高分辨率图像生成方法。
技术介绍
随着图形绘制技术、数字信号处理技术、传感技术、图形技术的发展，虚拟现实的研究日益广泛，即利用计算机生成逼真的图像等，使得用户可以在虚拟环境中实现交互和控制。在内容创建、智能编辑方面，很多软件可以改变图像的表情、皱纹等，这对高质量、多样性的图像生成技术提出很大需求。同时在许多对信息安全要求较高的公司(如信用卡公司)，需要构建虚拟欺诈数据、图像等来提高欺诈检测系统，这也属于数据增强的应用。人们对生成图像的要求越来越高。但是利用计算机从数据中学习生成高保真、高分辨率、多样化的图像仍然是很大的挑战。近年来，生成图像建模领域涌现了很多成果。2014年lanGoodfellow创造性地提出了基于深度学习的生成对抗网络(GenerativeAdversarialNetwork,GAN)，目前GAN已经成为首选和最前沿的生成模型之一。2016年HonglakLee等人提出了一种新的GAN架构，有效的连接文本和图像建模之间的步骤。2017年HanZhang等人提出了堆叠生成对抗网络(StackGAN:TexttoPhoto-realisticImageSynthesiswithStackedGenerativeAdversarialNetworks,StackGAN)来生成基于文本描述的真实图像。2018年HanZhang,IanGoodfellow等人将NLP领域的自注意力机制引入生成对抗网络，提出自注意力生成对抗网络(Self-AttentionGenerativeAdversarialNetworks,SAGAN)，很大程度上提高了图像生成的质量。2015年Denton,E等人提出了基于生成对抗网络的拉普拉斯金字塔(DeepGenerativeImageModelsusingaLaplacianPyramidofAdversarialNetworks,LAPGAN)算法，能够生成高质量的图像，但是细节效果太差，并且该网络的训练方式过于自由，模型缺少约束，很难平衡各级联GAN，对于较大输入图片或较多像素会导致训练或模式崩溃使得整个模型不可控。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术LAPGAN在生成图像方面的细节效果模糊、网络的训练方式过于自由、模型缺少约束、很难平衡各级联GAN、对于较大输入图片或较多像素会导致训练或模式崩溃使得整个模型不可控的缺陷或问题，提供一种基于生成对抗网络的高分辨率图像生成方法，达到生成图像更加清晰、训练过程稳定且网络较快收敛的效果。本专利技术为解决上述技术问题采用以下技术方案：一种基于生成对抗网络的高分辨率图像生成方法，包含以下步骤：步骤1)，对待学习的数据集图像进行预处理得到训练集；步骤2)，构建生成对抗网络，所述生成对抗网络包含生成网络G和判别网络D两个深度卷积神经网络；步骤3)，对生成对抗网络进行预训练，获得预训练的模型参数作为生成对抗网络的初始化参数：步骤3.1)，随机初始化生成对抗网络的模型参数，对生成对抗网络进行训练并保存训练完成时的模型参数；步骤3.2)，重复步骤3.1)预设的次数阈值，随机选取其中一次保存的模型参数作为预训练的模型参数；步骤4)，将训练集和生成网络G生成的图像分别输入到判别网络D中，判别网络D的输出反作用于生成网络G，对生成对抗网络进行对抗训练，优化生成网络G和判别网络D的网络参数，当损失函数收敛时结束训练，得到训练好的生成对抗网络；步骤5)，将随机数据分布输入到训练好的生成网络中，实现高分辨率图像生成。作为本专利技术一种基于生成对抗网络的高分辨率图像生成方法进一步的优化方案，所述步骤1)的详细步骤如下：步骤1.1)，将待处理图像x裁剪为n*n，n为16的整数倍；步骤1.2)，采用双三次插值方法对裁剪后的图像分别进行采样率为2、4、8、16的下采样，得到低分辨率图像；低分辨率图像块构成训练集。作为本专利技术一种基于生成对抗网络的高分辨率图像生成方法进一步的优化方案，所述生成网络G采用倒金字塔结构，包含5个级联的生成器G0、G1、G2、G3、G4，逐层实现高频信息的学习、锐化图片细节；最低层生成器G4包含按顺序连接的全连接层、RELU激活层、Dropout层、全连接层、RELU激活层、Dropout层、全连接层、Tanh激活层；四个高层生成器G0、G1、G2、G3均包含卷积层、RELU激活层、卷积层、RELU激活层、卷积层、Tanh激活层；所述判别网络D包含五个判别器D0、D1、D2、D3、D4，分别对应生成器G0、G1、G2、G3、G4，最低层判别器D4包含按顺序连接的全连接层、RELU激活层、Dropout层、全连接层、RELU激活层、Dropout层、全连接层、Tanh激活层；四个高层判别器D0、D1、D2、D3均包含卷积层、RELU激活层、Dropout层、卷积层、RELU激活层、Dropout层、Flatten层、全连接层；在卷积操作中使用“补零”方式来保持所有特征图的大小相同；生成网络G通过模拟训练集中的数据分布来生成逼近真实数据分布的图像；判别网络D判断输入到判别网络中的图片是来自真实数据分布pdata还是生成网络G生成的分布，并反作用于生成网络G；生成对抗网络的目标函数为：V(D,G)是整个生成对抗网络待优化的目标函数，D为判别网络，G为生成网络，z为随机输入的数据分布，x为下采样后的低分辨率图片，y为真实图片对应的标签或者是从真实图片中截取的一个图像块作为该图像的标签；pdata(x)为真实数据分布，pg(z)为随机输入数据分布；D(x|y)表示在条件y的情况下，判别器判定低分辨率图片x是来自真实图片的概率；G(z|y)表示在条件y的情况下，生成器输入为z时的输出；D(G(z|y))表示在条件y的情况下，判别器判断生成器输出的图片为真实图片的概率。作为本专利技术一种基于生成对抗网络的高分辨率图像生成方法进一步的优化方案，所述步骤4)的详细步骤如下：步骤4.1)，固定生成网络G参数，将随机输入分布输入到生成网络G中，输出得到相应的图像；将生成图像和对应的训练集图像输入到判别网络中，将lD作为判别网络的损失函数，使用判别网络Adam优化器优化判别网络参数，最大化目标函数V(D,G)；判别网络的损失函数如下：lD＝lDr-pilDf(4)Mbalance＝γlDr-lG(5)pi+1＝pi+λ*Mbalance(0＜pi+1＜1)(6)Mglobal＝lDr+abs(Mbalance)(7)Ir为真实图片；If为生成网络生成的图片；y是与真实图片Ir对应的标签；lG为生成网络的损失函数；lDr为判别网络判别“真实图片为真”的概率，lDf为判别网络判别“生成网络生成的图片为真”的本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的高分辨率图像生成方法，其特征在于，包含以下步骤：/n步骤1)，对待学习的数据集图像进行预处理得到训练集；/n步骤2)，构建生成对抗网络，所述生成对抗网络包含生成网络G和判别网络D两个深度卷积神经网络；/n步骤3)，对生成对抗网络进行预训练，获得预训练的模型参数作为生成对抗网络的初始化参数：/n步骤3.1)，随机初始化生成对抗网络的模型参数，对生成对抗网络进行训练并保存训练完成时的模型参数；/n步骤3.2)，重复步骤3.1)预设的次数阈值，随机选取其中一次保存的模型参数作为预训练的模型参数；/n步骤4)，将训练集和生成网络G生成的图像分别输入到判别网络D中，判别网络D的输出反作用于生成网络G，对生成对抗网络进行对抗训练，优化生成网络G和判别网络D的网络参数，当损失函数收敛时结束训练，得到训练好的生成对抗网络；/n步骤5)，将随机数据分布输入到训练好的生成网络中，实现高分辨率图像生成。/n

【技术特征摘要】
1.一种基于生成对抗网络的高分辨率图像生成方法，其特征在于，包含以下步骤：
步骤1)，对待学习的数据集图像进行预处理得到训练集；
步骤2)，构建生成对抗网络，所述生成对抗网络包含生成网络G和判别网络D两个深度卷积神经网络；
步骤3)，对生成对抗网络进行预训练，获得预训练的模型参数作为生成对抗网络的初始化参数：
步骤3.1)，随机初始化生成对抗网络的模型参数，对生成对抗网络进行训练并保存训练完成时的模型参数；
步骤3.2)，重复步骤3.1)预设的次数阈值，随机选取其中一次保存的模型参数作为预训练的模型参数；
步骤4)，将训练集和生成网络G生成的图像分别输入到判别网络D中，判别网络D的输出反作用于生成网络G，对生成对抗网络进行对抗训练，优化生成网络G和判别网络D的网络参数，当损失函数收敛时结束训练，得到训练好的生成对抗网络；
步骤5)，将随机数据分布输入到训练好的生成网络中，实现高分辨率图像生成。


2.根据权利要求1所述的基于生成对抗网络的高分辨率图像生成方法，其特征在于，所述步骤1)的详细步骤如下：
步骤1.1)，将待处理图像x裁剪为n*n，n为16的整数倍；
步骤1.2)，采用双三次插值方法对裁剪后的图像分别进行采样率为2、4、8、16的下采样，得到低分辨率图像；低分辨率图像块构成训练集。


3.根据权利要求2所述的基于生成对抗网络的高分辨率图像生成方法，其特征在于，
所述生成网络G采用倒金字塔结构，包含5个级联的生成器G0、G1、G2、G3、G4，逐层实现高频信息的学习、锐化图片细节；最低层生成器G4包含按顺序连接的全连接层、RELU激活层、Dropout层、全连接层、RELU激活层、Dropout层、全连接层、Tanh激活层；四个高层生成器G0、G1、G2、G3均包含卷积层、RELU激活层、卷积层、RELU激活层、卷积层、Tanh激活层；
所述判别网络D包含五个判别器D0、D1、D2、D3、D4，分别对应生成器G0、G1、G2、G3、G4，最低层判别器D4包含按顺序连接的全连接层、RELU激活层、Dropout层、全连接层、RELU激活层、Dropout层、全连接层、Tanh激活层；四个高层判别器D0、D1、D2、D3均包含卷积层、RELU激活层、Dropout层、卷积层、RELU激活层、Dropout层、Flatten层、全连接层；
在卷积操作中使用“补零”方式来保持所有特征图的大小相同；
生成网络G通过模拟训练集中的数据分布来生成逼近真实数据分布的图像；判别网络D判断输入到判别网络中的图片是来自真实数据分布pdata还是生成网络G生成的分布，并反作用于生成网络G；
生成对抗网络的目标函数为：



V(D,G)是整个生成对抗网络待优化的目标函数，D为判别网络，G为生成网络，z为随机输入的数据分布，x为下采样...

【专利技术属性】
技术研发人员：张贺舒，李涛，宋公飞，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32