一种基于多层级特征的对抗图像生成方法技术

本发明专利技术公开了一种基于多层级特征的对抗图像生成方法，包括以下步骤：S1：在层级框架的不同生成器之间引入稠密连接以构建密集堆叠的生成式对抗网络DSGAN模型；S2：对DSGAN模型进行训练；S3：将图像的标签信息输入到DSGAN模型，采样得到最终图像。本发明专利技术提出的基于多层级特征的对抗图像生成方法，得到的图像更加真实。

A method of generating opposed images based on multi level features

The invention discloses a method for generating confrontation images based on multi-level features, which includes the following steps: S1: introducing dense connections among different generators of hierarchical framework to construct a dense stacked generative confrontation network DSGAN model; S2: training DSGAN model; S3: inputting label information of images into DSGAN model. Type, the final image is sampled. The method of resisting image generation based on multi level features proposed by the invention obtains more real images.

【技术实现步骤摘要】
一种基于多层级特征的对抗图像生成方法
本专利技术涉及生成式对抗网络对自然图像数据集建模的技术，尤其涉及一种基于多层级特征的对抗图像生成方法。
技术介绍
理解自然图像的分布一直是一个热门的研究课题。在各类机器学习方法中，深度生成模型显得尤为重要，因为在理论上它们能够以相对较少的模型参数来生成各种逼真的图像，这意味着它们有能力抓住自然图像的本质。生成式对抗网络(GAN)作为一类生成模型已经引起了广泛的关注，它们有能力捕获自然图像的内在结构，并被广泛应用于各种图像生成任务，如图像修补、超分辨率、图像到图像的转换和未来的帧预测。作为生成模型中很有前景的一个分支，GAN将训练过程视为生成器G和判别器D这两位竞争者之间的零和博弈。具体而言，G旨在生成逼真的图像，而D则尝试区分真实图像与G生成的假图像。训练GAN等价于优化如下目标：其中表示求期望值，h表示真实图像，其服从分布pData(h)，z表示噪声，服从分布pNoise(z)，噪声z是生成器G的输入。训练GAN是为了取得G和D之间的纳什平衡。由于高维图像空间包含的变化太多，G总是可以产生既能混淆D同时又不接近真实分布的样本。因此，模型的训练常常会遇到不稳定和模式崩塌的问题。解决复杂问题的一个实用规则是将其分解成更容易解决的子问题，这在图像生成任务上也很实用。尽管完整的生成过程是困难的，可以将其划分为多个易处理的子步骤。事实上，最近的一些生成模型(S2-GAN，SGAN)已经基于这一想法并利用一堆GAN来生成不同层级的特征表达，其中每个GAN基于较高层级的特征表达来生成较低层级的特征表示。对于这些层级模型的一个自然的疑问是，随着堆叠GAN数量的增加，模型是否能够得到很好的训练。当下评估真实的与生成的中间层特征表达之间的差异性方法存在一定的局限性，对于GAN模型来说，特征表达的层级越低，越难对其实际分布进行建模，因为低层的特征表达位于更高维度的表达空间流形上。因此在自上而下的生成序列中，真实的与生成的特征表达之间的偏差越来越大，从而导致通过现有的一些生成模型(例如S2-GAN，SGAN)最终得到的图像不够真实。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决上述技术问题，本专利技术提出一种基于多层级特征的对抗图像生成方法，得到的图像更加真实。为了实现上述目的，本专利技术采用以下技术方案：本专利技术公开了一种基于多层级特征的对抗图像生成方法，包括以下步骤：S1：在层级框架的不同生成器之间引入稠密连接以构建密集堆叠的生成式对抗网络DSGAN模型；S2：对DSGAN模型进行训练；S3：将图像的标签信息输入到DSGAN模型，采样得到最终图像。优选地，步骤S2具体为采用对抗性损失、熵损失和条件特征损失三种损失函数来对DSGAN模型进行训练。优选地，对抗性损失函数为：其中，表示训练DSGAN模型中的判别器Di的对抗性损失函数，表示训练DSGAN模型中的生成器Gi的对抗性损失函数，表示求期望值，下标hi表示真实特征表达或图像，其服从分布Pdata,E，下标包含E表示该信息通过编码器E获取；zi表示噪声，其服从分布hc为k层特征hi+1,hi+2,…,hi+k融合后的多层级特征，生成器Gi以更高一级的特征表达hi+1和噪声zi作为输入。优选地，熵损失函数为：其中，表示训练DSGAN模型中的生成器Gi的熵损失函数，表示求期望值，zi表示噪声，其服从分布表示当前生成器Gi的输出结果，其服从分布Qi表示基于生成输出结果重建噪声zi的后验概率分布。优选地，条件特征损失函数为：其中，表示训练DSGAN模型中的生成器Gi的条件特征损失函数，表示求期望值，λj表示各层特征的权重系数，下标hi+j表示真实特征表达或图像，其服从分布pdata，E；zi表示噪声，其服从分布生成器Gi以多层级的特征表达hc和噪声zi作为输入；f表示距离度量，Ei→i+j表示重建第i+j层特征表达，hc为k层特征hi+1,hi+2,…,hi+k融合后的多层级特征。优选地，步骤S2具体包括：先对DSGAN模型中的各个生成器以G0至Gn-1的顺序依次单独进行训练，再对G0～Gn-1进行联合训练，其中n为DSGAN模型的层数。优选地，步骤S2中对DSGAN模型中的各个生成器以G0至Gn-1的顺序依次单独进行训练之前还通过预训练的编码器E中提取各层特征h1～hn-1。优选地，其中G0是以h1+…+hn-2+hn-1特征为条件生成最终图像x，G1是以h2+…+hn-2+hn-1特征为条件生成h1特征，以此类推，Gn-2是以hn-1特征为条件生成hn-2特征，Gn-1是以标签信息y为条件生成hn-1特征；将G0～Gn-1进行联合为一个整体记为生成器G，G是以标签信息y为条件生成最终图像x。优选地，在对DSGAN模型中的各个生成器从G0至Gn-1依次单独进行训练时，不同层级的特征h1、…、hn-2、hn-1分别对应于不同大小的特征图，使用转置卷积将待融合的所有特征图缩放到相同的尺寸然后堆叠起来，或者将待融合的所有特征图向量化以连接成一个整体然后变形成期望尺寸大小的稠密特征。优选地，步骤S3具体包括：将标签信息y输入到Gn-1生成hn-1特征，将hn-1特征输入到Gn-2生成hn-2特征，将hn-2+hn-1特征输入到Gn-3生成hn-3特征，以此类推，直至将h1+…+hn-2+hn-1特征输入G0到生成最终图像x。与现有技术相比，本专利技术的有益效果在于：本专利技术公开的基于多层级特征的对抗图像生成方法，在生成式对抗网络模型中引入了稠密连接，使得每个GAN与其他所有的GAN连接在一起，从而最大化不同GAN之间的信息沟通，进一步约束GAN生成更接近真实分布的特征表达或最终图像，真实的与生成的特征表达之间的偏差得到减小，使得得到的图像更加真实。进一步地，在对DSGAN模型进行训练，每个GAN以多个更高级的特征为条件去生成较低层级的特征表达，其中由于每个GAN能够直接获取前面所有GAN生成的特征表达，在一定程度上避免了重新生成冗余的表达细节。更进一步，在对DSGAN模型进行训练时，引入了加权条件特征损失，线性组合了各个层级上真实的与生成的特征表达之间的差异性，明确地为每个生成器提供多层级的监督信息，从而约束生成结果尽可能地驻留在自然特征空间的流形上，进一步缩小得到的图像与原始图像的差别。附图说明图1是采用本专利技术优选实施例的4层的DSGAN模型生成图像的示意图；图2是本专利技术优选实施例的特征融合的示意图；图3是对比3层的DSGAN模型与SGAN模型生成的中间层表达的偏差示意图；图4a是本专利技术优选实施例的3层的DSGAN模型在CIFAR-10数据集上基于标签信息y生成图片的效果；图4b是现有的3层的SGAN模型在CIFAR-10数据集上基于标签信息y生成图片的效果；图5a是本专利技术优选实施例的3层的DSGAN模型在MNIST数据集上基于多层级特征h2+h3的生成结果；图5b是现有的3层的SGAN模型在MNIST数据集上基于单层特征h3的生成结果；图5c是MNIST数据集上的真实本文档来自技高网...

【技术保护点】
1.一种基于多层级特征的对抗图像生成方法，其特征在于，包括以下步骤：S1：在层级框架的不同生成器之间引入稠密连接以构建密集堆叠的生成式对抗网络DSGAN模型；S2：对DSGAN模型进行训练；S3：将图像的标签信息输入到DSGAN模型，采样得到最终图像。

【技术特征摘要】
1.一种基于多层级特征的对抗图像生成方法，其特征在于，包括以下步骤：S1：在层级框架的不同生成器之间引入稠密连接以构建密集堆叠的生成式对抗网络DSGAN模型；S2：对DSGAN模型进行训练；S3：将图像的标签信息输入到DSGAN模型，采样得到最终图像。2.根据权利要求1所述的基于多层级特征的对抗图像生成方法，其特征在于，步骤S2具体为采用对抗性损失、熵损失和条件特征损失三种损失函数来对DSGAN模型进行训练。3.根据权利要求2所述的基于多层级特征的对抗图像生成方法，其特征在于，对抗性损失函数为：其中，表示训练DSGAN模型中的判别器Di的对抗性损失函数，表示训练DSGAN模型中的生成器Gi的对抗性损失函数，表示求期望值，下标hi表示真实特征表达或图像，其服从分布Pdata,E，下标包含E表示该信息通过编码器E获取；zi表示噪声，其服从分布hc为k层特征hi+1,hi+2,…,hi+k融合后的多层级特征，生成器Gi以更高一级的特征表达hi+1和噪声zi作为输入。4.根据权利要求2所述的基于多层级特征的对抗图像生成方法，其特征在于，熵损失函数为：其中，表示训练DSGAN模型中的生成器Gi的熵损失函数，表示求期望值，zi表示噪声，其服从分布表示当前生成器Gi的输出结果，其服从分布Qi表示基于生成输出结果重建噪声zi的后验概率分布。5.根据权利要求2所述的基于多层级特征的对抗图像生成方法，其特征在于，条件特征损失函数为：其中，表示训练DSGAN模型中的生成器Gi的条件特征损失函数，表示求期望值，λj表示各层特征的权重系数，下标hi+j表示真实特征表达或图像，其服从分布pdata,E；zi表示噪声，其服从分布生成器Gi以多层级的特征表达hc和噪声zi作为输入；f表示距离度量，Ei→i+j表示重建第i+j层特征表达，hc为k...

【专利技术属性】
技术研发人员：袁春，贲有成，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44