一种基于对抗生成网络生成高清图像的方法及系统技术方案

本发明专利技术提出一种基于对抗生成网络生成高清图像的方法及系统。针对高清图像的合成过程，在PGGAN分阶段提升分辨率的设计思想的基础上，在较高分辨率的单张图片生成过程中采用分区块逐步生成的方式，将待细化的图像作为结构草图，参考已经生成的部分区块生成新的区块，使得生成网络能够保持适中的输入输出规模，进而突破分辨率进一步提升的瓶颈，且能够使GAN网络的训练更加稳定。使GAN网络的训练更加稳定。使GAN网络的训练更加稳定。

【技术实现步骤摘要】
一种基于对抗生成网络生成高清图像的方法及系统


[0001]本专利技术涉及计算机视觉与深度学习领域，具体涉及一种使用对抗生成网络(GAN)经多阶段分块递进生成高清图像的方法。

技术介绍

[0002]现有技术包括Pix2pixHD其面向图像渲染工作，提出其之前的语义标签合成图像工作(pix2pix等)难以生成高分辨率图像且生成的图像缺少细节，因此该作者提出三方面改以进尝试解决这两个问题，具体改进包括：一个从粗粒度到细粒度的生成器，一个同时考虑多个尺度的判别器和一个鲁棒的损失函数，从而成功合成出2048x 1024的逼真图像。同时，其作者还将他们的方法扩展到交互式语义操作。
[0003]Progressive
‑
Growing
‑
GAN(PGGAN)的作者采用渐进式增长的训练方式，首先训练一个小分辨率的图像生成，稳定训练当前分辨率后，在已训练好的生成网络后(判别网络前)增加一个出入输出更大的层，并和之前层的输出结果加权得到输出，过渡到下一个更高的分辨率。重复渐进增长的过程，缓慢增大网络权重的容量，最终得到1024*1024分辨率的图像。
[0004]对抗生成网络是一种生成模型，与常规深度学习模型不同，它包括两个网络，两个网络的对抗体现在：生成器使用真实样本训练，训练后输入噪声生成虚假样本，目标是生成接近真实样本的样本骗过判别器；判别器输入虚假样本和真实样本并判别真伪，目标是判别出生成器生成的虚假样本。二者对抗，最后生成器生成很接近真实样本的样本，判别器判别不出来生成器样本和真实样本的区别。
[0005]目前的图像生成过程中，如果生成的目标图像过大，则网络体量及对应特征图会相应倍数增大，进而占据更多显存，在显存一定的情况下致使batch减小导致生成细节不足；另外还会导致训练需要更大的训练集，而在地外星体环境图像生成的过程中，生成目标的训练集有限。因而我们提出了多阶段分块递进式生成高分辨率图像的方法，可使网络的输出保持不变或缓慢增大，进而使显存占用不会过大，使网络保持较容易训练，进而使得能够拓展生成更高分辨率图像。

技术实现思路

[0006]本专利技术的目的是解决目前使用GAN进行高分辨率图像生成过程中，如果生成的目标图像过大导致难以训练的问题，提出了一种使用对抗生成网络(GAN)经多阶段分块递进生成高清晰度图像的方法，需要注意的是画面清晰度可包括分辨率，但不限于清晰度还可以是画面色彩空间，色深等信息，但为了方便举例说明，下文仅以分辨率进行描述。
[0007]针对现有技术的不足，本专利技术提出一种基于对抗生成网络生成高清图像的方法，其中包括：
[0008]步骤1、将真实图像的特征图连接随机噪声后输入第一生成器，生成第一对抗样本，将第一对抗样本与下采样后的真实样本输入第一判别器，计算网络判别器损失函数，交
替训练第一生成器和第一阶段判别器，直到达到预设要求，保存当前该第一生成器作为第一图片生成器；
[0009]步骤2、使用第一图片生成器生成的第一对抗样本，将该第一图片生成器生成的第一对抗样本进行上采样处理，得到上采样本，复制该上采样本，得到复制样本，并将该上采样本、该复制样本和该真实图像进行图像分区；
[0010]步骤3、选取复制样本中连续的分区图像同时作为第一输入和第二输入送入第二生成器，得到初始对抗样本，通过第二判别器计算该真实图像中对应分区图像位置的图像块和该初始对抗样本间的损失，以交替训练该第二生成器与该第二判别器，直到达到预设要求，将当前初始对抗样本替换该复制样本中对应分区图像位置的图像；
[0011]步骤4、选取该复制样本中已替换的分区图像及其未替换的邻域区块，作为第一输入，并从该上采样本中选取对应第一输入位置的图像，作为第二输入，将该第一输入和该第二输入送入该第二生成器，生成第二对抗样本，通过该第二判别器计算该真实图像对应第一输入位置的图像块和该第二对抗样本间的损失，以交替训练该第二生成器与该第二判别器，直到达到预设要求，将该第二对抗样本替换该复制样本中位于该位置的分区图像；
[0012]步骤5、重复执行步骤4，直到该复制样本中的分区图像均被替换，更新该真实图像；
[0013]步骤6，循环执行该步骤2到步骤5，直到该第二判别器计算的损失收敛，级联当前该第一图片生成器和该第二生成器，作为清晰度提升模型，将待清晰度提升的图像输入该清晰度提升模型，得到该待清晰度提升的图像对应的高清图像。
[0014]所述的基于对抗生成网络生成高清图像的方法，其中步骤4中该第一输入包括的已替换的分区图像的面积大小等于该邻域区块的面积大小。
[0015]所述的基于对抗生成网络生成高清图像的方法，其中该第一生成器的输入为该特征图和该随机噪声，该特征图经浅层卷积池化增加通道减少尺寸后与该随机噪声连接得到F'，F'经多级残差块与反卷积结构，得到该第一对抗样本；
[0016]第一判别器的输入为该第一对抗样本或该真实图像经下采样模糊处理得到的真实样本，输入经多层卷积池化最后连接全连接层得到标量输出；
[0017]该第二生成器首先将两个输入及二者做差的结果各自卷积池化后连接，经过多层残差块组合采样网络结构输出与输入相同尺寸的高分辨率细化图像，作为第二对抗样本；
[0018]该第二判别器用于判断该第二对抗样本真实度，该第二判别器的输入为该第二对抗样本或该真实图像对应第一输入位置的图像的图像块，经多层卷积池化最后连接全连接层得到标量输出。
[0019]所述的基于对抗生成网络生成高清图像的方法，其中该第一生成器的损失L
G1
：
[0020][0021]式中E表示期望，z表示随机噪声，P
z
表示输入噪声Z的概率分布，D1表示第一判别器，G1表示第一生成器，f表示输入特征图像；
[0022]该第一判别器的损失L
D1
：
[0023][0024]式中x'0表示真实图像经下采样模糊处理后的样本，P'
x0
表示真实图像经下采样模糊处理后的样本的概率分布.
[0025]该第二生成器的损失L
G2
：
[0026][0027]式中s表示第一阶段生成样本分区后的图像块，P
s
表示s的概率分布，s'表示经第二生成器生成并替换更新后的图像块，P'
s
表示s'的概率分布，D2表示第二判别器，G2表示第二生成器，G2(s,s')表示输入s与s'生成的图像，F()为计算第二生成器生成图像与已生成区块连续度的惩罚函数，λ用于控制该惩罚函数所占的权重；
[0028]F(G2(s,s
′
),s)＝f(||G2(s,s
′
)
‑
s||1)
[0029]式中f为神经网络非线性函数，将s'的已生成过的区域的部分与G2(s,s')中对部分做比较判断新生成的图像区块与已生成区块的连续度。
[0030]该第二判别器的损失L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗生成网络生成高清图像的方法，其特征在于，包括：步骤1、将真实图像的特征图连接随机噪声后输入该第一生成器，生成第一对抗样本，将第一对抗样本与下采样后的真实样本输入第一判别器，计算网络判别器损失函数，交替训练第一生成器和第一阶段判别器，直到达到预设要求，保存当前该第一生成器作为第一图片生成器；步骤2、使用第一图片生成器生成的第一对抗样本，将该第一图片生成器生成的第一对抗样本进行上采样处理，得到上采样本，复制该上采样本，得到复制样本，并将该上采样本、该复制样本和该真实图像进行图像分区；步骤3、选取复制样本中连续的分区图像同时作为第一输入和第二输入送入第二生成器，得到初始对抗样本，通过第二判别器计算该真实图像中对应分区图像位置的图像块和该初始对抗样本间的损失，以交替训练该第二生成器与该第二判别器，直到达到预设要求，将当前初始对抗样本替换该复制样本中对应分区图像位置的图像；步骤4、选取该复制样本中已替换的分区图像及其未替换的邻域区块，作为第一输入，并从该上采样本中选取对应第一输入位置的图像，作为第二输入，将该第一输入和该第二输入送入该第二生成器，生成第二对抗样本，通过该第二判别器计算该真实图像对应第一输入位置的图像块和该第二对抗样本间的损失，以交替训练该第二生成器与该第二判别器，直到达到预设要求，将该第二对抗样本替换该复制样本中位于该位置的分区图像；步骤5、重复执行步骤4，直到该复制样本中的分区图像均被替换，更新该真实图像；步骤6，循环执行该步骤2到步骤5，直到该第二判别器计算的损失收敛，级联当前该第一图片生成器和该第二生成器，作为清晰度提升模型，将待清晰度提升的图像输入该清晰度提升模型，得到该待清晰度提升的图像对应的高清图像。2.如权利要求1所述的基于对抗生成网络生成高清图像的方法，其特征在于，步骤4中该第一输入包括的已替换的分区图像的面积大小等于该邻域区块的面积大小。3.如权利要求1所述的基于对抗生成网络生成高清图像的方法，其特征在于，该第一生成器的输入为该特征图和该随机噪声，该特征图经浅层卷积池化增加通道减少尺寸后与该随机噪声连接得到F
′
，F
′
经多级残差块与反卷积结构，得到该第一对抗样本；第一判别器的输入为该第一对抗样本或该真实图像经下采样模糊处理得到的真实样本，输入经多层卷积池化最后连接全连接层得到标量输出；该第二生成器首先将两个输入及二者做差的结果各自卷积池化后连接，经过多层残差块组合采样网络结构输出与输入相同尺寸的高分辨率细化图像，作为第二对抗样本；该第二判别器用于判断该第二对抗样本真实度，该第二判别器的输入为该第二对抗样本或该真实图像对应第一输入位置的图像的图像块，经多层卷积池化最后连接全连接层得到标量输出。4.如权利要求1所述的基于对抗生成网络生成高清图像的方法，其特征在于，该第一生成器的损失L
G1
：式中E表示期望，z表示随机噪声，P
z
表示输入噪声Z的概率分布，D1表示第一判别器，G1表示第一生成器，f表示输入特征图像；
该第一判别器的损失L
D1
：式中x
′0表示真实图像经下采样模糊处理后的样本，P
′
x0
表示真实图像经下采样模糊处理后的样本的概率分布.该第二生成器的损失L
G2
：式中s表示第一阶段生成样本分区后的图像块，P
s
表示s的概率分布，s
′
表示经第二生成器生成并替换更新后的图像块，P
′
s
表示s
′
的概率分布，D2表示第二判别器，G2表示第二生成器，G2(s，s
′
)表示输入s与s
′
生成的图像，F()为计算第二生成器生成图像与已生成区块连续度的惩罚函数，λ用于控制该惩罚函数所占的权重；F(G2(s，s
′
)，s)＝f(||G2(s，s
′
)
‑
s||1)式中f为神经网络非线性函数，将s
′
的已生成过的区域的部分与G2(s，s
′
)中对部分做比较判断新生成的图像区块与已生成区块的连续度。该第二判别器的损失L
D2
：式中x0表示真实图像对应的图像块，P
x0
表示x0的概率分布。5.如权利要求1所述的基于对抗生成网络生成高清图像的方法，其特征在于，该上采样具体为双线性插值。6.一种基于对抗生成网络生...

【专利技术属性】
技术研发人员：代磊，王颖，李华伟，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：