基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法技术

本发明专利技术公开了一种基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法。对比现有相关技术方法，该技术具有适应性强、鲁棒性好，使用阶段只需要指定所需图像的类别，过程不需人工干预，训练阶段耗时短，训练过程稳定，充分保持了生成图像多样性和真实性的平衡等优点。本发明专利技术的主要创新之处在解决了其他条件生成方法在训练过程中的模式崩溃问题和训练失败问题。同时分类器和判别器各自优化参数，避免了同类方法出现的训练不稳定和模式崩溃的问题。此外，本发明专利技术还引入权值共享的构建策略，在不损失原有性能的前提下，大大提升了训练速度，减少了存储开销。本发明专利技术应用于低成本大规模指定标签的多样性图像数据生成任务。

Robust image generation method against pattern collapse based on new conditional confrontation generation network

The invention discloses a robust image generation method against mode collapse based on a novel conditional antagonism generation network. Compared with the existing related techniques, this technique has the advantages of strong adaptability, good robustness, only specifying the required image categories, no manual intervention, short training time, stable training process, and fully maintaining the balance between the diversity and authenticity of the generated images. The main innovation of the invention is that the mode collapse problem and the training failure problem in the training process of other condition generation methods are solved. At the same time, classifiers and discriminators optimize their parameters to avoid the problems of training instability and mode collapse. In addition, the invention also introduces the construction strategy of weight sharing, which greatly improves the training speed and reduces the storage overhead without losing the original performance. The invention is applied to the diversified image data generation task of low cost large scale designated labels.

【技术实现步骤摘要】
基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法
本专利技术属于图像建模、计算机视觉、图像生成领域，涉及一种基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，主要用于指定类别标签的大规模图像生成。
技术介绍
随着人工智能和深度学习的飞速发展，以大规模数据为基础的机器学习方法得到了越来越广泛的认可和应用。然而，再优秀的智能分析算法也必须以高质量的输入信息为基本前提，低质量的输入信息必然直接影响算法的整体分析效果。但是，有标签的数据集耗费大量的人工进行繁琐细致的标定，为保证数据质量，还需要额外的标签校验和核对的过程，耗时耗力。因此，在人工智能算法不断进步的今天，对有标定的数据的质量和数据有着越来越高要求的今天，通过生成模型算法在生成大量的低成本的有标签的可以以假乱真的数据，是具有直观实际意义的应用研究技术。对抗生成启发自博弈论中的二人零和博弈，经典对抗生成模型中的两位博弈方分别由生成器和判别式器充当。生成器捕捉样本数据的分布，用服从某一分布(均匀分布，高斯分布等)的噪声生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，判别器输出大概率，否则，判别输出小概率。对抗生成网络被用于图像建模取得了良好的效果，在一些数据集上已经可以通过图灵测试。为了约束生成图像的标签类别，需要在生成器生成的过程中加入一定的条件约束，在以往的相关研究中，有一些针对条件生成模型工作，但是这些方法有各自的缺陷，一些受到严重模式崩溃的困扰，而另一些虽然没有出现明显的模式崩溃问题，但是生成的图像变化程度不大，即生成图像的多样性受到损害。本专利技术对比现有相关技术方法，该技术具有适应性强、鲁棒性好，使用阶段只需要指定所需图像的类别，过程不需人工干预，训练阶段耗时短，训练过程稳定，充分保持了生成图像多样性和真实性的平衡等优点。此外，本专利技术还引入权值共享的构建策略，在不损失原有性能的前提下，大大提升了训练速度并减少了存储开销。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提出一种能够大规模生成指定类别标签的具有多样性的图像的方法。为实现该功能，本专利技术设计了由“方法训练阶段”和“在线使用阶段”两部分构成的综合性方法策略，具体技术实现方案如下。基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，基本步骤包括：方法训练阶段：(1)搭建由十种不同类目真实图像构建的训练样本集合，并进行归一化处理，标定各种类图像相对应的类别标签；(2)真实图像组成的训练样本集合，进行归一化处理，并标定各种类图像相对应的类别标签；(3)使用随机数生成器产生不同的随机向量以及相对应的模拟的类别标签作为本模型的生成器的输入，经过全连接层、反卷积层、批归一化层和激活层后，输出28*28大小的图像；(4)将步骤(2)生成的28*28大小的图像与将步骤(1)中收集整理的真实图像输入本模型的判别器以及分类器中；(5)以(3)中经过判别器的全连接层、卷积层、批归一化层和激活层后的输出的1维向量与其相应预期输出的1维向量之间的差距优化判别器，判别器的优化目标函数为：LD＝E[logP(D＝real|X)]+E[logP(D＝fake|G(z，yG))]，其中，E表示熵，D表示判别器，G表示生成器；X为真实图像，D＝real表示判别器的输出预期为真实图像；z表示噪声向量，yG表示期望生成图像的标签，G(z，yG)为生成图像，D＝fake表示判别器的输出预期为生成图片图像。(6)以(3)中经过分类器的的全连接层、卷积层、批归一化层和激活层后的输出的10维向量与其相应预期输出的10维向量之间的差距优化分类器，分类器的优化目标函数为：LC＝E[logP(C＝yX|X)]+E[logP(C＝yG|G(z，yG))]，其中，E表示熵，C表示分类器；X为真实图像，yX表示真实图像的标签，C＝yX表示分类器的输出预期为真实图像的标签；z表示噪声向量，yG表示期望生成图像的标签，G(z，yG)为生成图像，C＝yG表示判别器的输出预期为期望生成图像的标签；(7)以欺骗判别器和使分类器得到预期输出为目标优化生成器，即结合步骤(4)(5)中所述的针对生成器的差距项共同优化生成器，生成器的优化目标函数为：LG＝E[logP(D＝real|G(z，yG))]+E[logP(C＝yG|G(z，yG))]，其中，E表示熵，C表示分类器，D表示判别器，G表示生成器；X为真实图像，D＝real表示判别器的输出预期为真实图像，C＝yX表示分类器的输出预期为真实图像的标签；z表示噪声向量，yG表示期望生成图像的标签，G(z，yG)为生成图像，C＝yG表示判别器的输出预期为期望生成图像的标签；(8)反复进行上述(2)～(6)步骤，直至模型收敛，即损失值不再明显下降，图像质量客观评分InceptionScore不再上升，衡量真实分布与模拟分布的差异指标FréchetInceptionDistance不再降低为止，并保存本模型生成器的参数以便在线使用阶段使用；在线使用阶段：(9)加载本模型的生成器的参数；(10)将预想生成的类别标签输入模型生成器，得到所期望类别的生成图像并保存。本专利技术是一种基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，跟现有技术相比，本专利技术的主要优势在于：(1)本专利技术以额外的分类器输出来约束生成器的生成过程，从而达到生成指定类别图像的目的，同时保留判别器，使生成器在可以欺骗过判别器的前提下，生成更加多样的图像，更具实际的应用价值。此外，由于额外类别标签信息的加入，从而进一步拓宽了方法的性能，增强了鲁棒性。(2)由于采用了权值共享的技术，本专利技术在保持生成效果不下降的前提下，大大降低了参数量，简化了网络结构，因此本专利技术训练阶段的耗时较短，训练过程较稳定。(3)本专利技术采用的判别器与分类器分别训练但同时约束生成器的策略，既能够通过分类器的输出有效控制生成器的生成过程，同时又能够充分利用判别器整体综合判别生成图像的真假程度，从而既保证了生成图像的质量又维持了生成图像的多样性，做到二者的完美平衡。(4)本专利技术的自动化程度高，实际使用阶段基本不需要人工干预，也不需要根据具体输入数据的差异进行人工参数调整，鲁棒性好。(5)本专利技术不针对任何既定类别的图像数据，在整体策略方面更具普遍性，经过相应训练后可以生成任意种类的图像，适用范围更广，因此对比一般性方法有更广阔的应用前景。附图说明本专利技术方法网络结构框架图。具体实施方式本专利技术融合了判别器、生成器和分类器，同时保持了训练过程的稳定，取得了多样化的生成效果。下文将对本专利技术实施方法进行更为具体的介绍和描述：方法训练阶段：本专利技术的抗模式崩溃鲁棒图像生成模型需要在一定数量训练样本进行训练，因此，本专利技术方法的实施首先面临训练数据的选取和清洗问题。为保证多个类别的训练样本均衡，本专利技术以同样数目的十类(类别标签分别是T恤，裤子，套衫，裙子，外套，凉鞋，汗衫，运动鞋，包，裸靴)灰度图像作为训练样本。由于采用生成模型的方法，对样本数量具有较高的要求，在具体操作过程中，十类图像每类各选取6000张图像，共计60000张灰度图像进行训练。对原始训练图像数据进行预处理和统本文档来自技高网...

【技术保护点】
1.基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，包括下列步骤：方法训练阶段：(1)搭建由十种不同类目真实图像构建的训练样本集合，并进行归一化处理，标定各种类图像相对应的类别标签；(2)使用随机数生成器产生不同的随机向量以及相对应的模拟的类别标签作为本模型的生成器的输入，经过全连接层、反卷积层、批归一化层和激活层后，输出28*28大小的图像；(3)将步骤(2)得到的生成的图像与将步骤(1)中收集整理的真实图像输入本模型的判别器以及分类器中；(4)以(3)中经过判别器的全连接层、卷积层、批归一化层和激活层后的输出的1维向量与其相应预期输出的1维向量之间的差距优化判别器；(5)以(3)中经过分类器的的全连接层、卷积层、批归一化层和激活层后的输出的10维向量与其相应预期输出的10维向量之间的差距优化分类器；(6)以欺骗判别器和使分类器得到预期输出为目标优化生成器，即结合步骤(4)(5)中所述的针对生成器的差距项共同优化生成器；(7)反复进行上述(2)～(6)步骤，直至模型收敛，即损失值不再明显下降，图像质量客观评分Inception Score不再上升，衡量真实分布与模拟分布的差异指标Fréchet Inception Distance不再降低为止，并保存本模型生成器的参数以便在线使用阶段使用；在线使用阶段：(8)加载本模型的生成器的参数；(9)将预想生成的类别标签输入模型生成器，得到所期望类别的生成图像并保存。...

【技术特征摘要】
1.基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，包括下列步骤：方法训练阶段：(1)搭建由十种不同类目真实图像构建的训练样本集合，并进行归一化处理，标定各种类图像相对应的类别标签；(2)使用随机数生成器产生不同的随机向量以及相对应的模拟的类别标签作为本模型的生成器的输入，经过全连接层、反卷积层、批归一化层和激活层后，输出28*28大小的图像；(3)将步骤(2)得到的生成的图像与将步骤(1)中收集整理的真实图像输入本模型的判别器以及分类器中；(4)以(3)中经过判别器的全连接层、卷积层、批归一化层和激活层后的输出的1维向量与其相应预期输出的1维向量之间的差距优化判别器；(5)以(3)中经过分类器的的全连接层、卷积层、批归一化层和激活层后的输出的10维向量与其相应预期输出的10维向量之间的差距优化分类器；(6)以欺骗判别器和使分类器得到预期输出为目标优化生成器，即结合步骤(4)(5)中所述的针对生成器的差距项共同优化生成器；(7)反复进行上述(2)～(6)步骤，直至模型收敛，即损失值不再明显下降，图像质量客观评分InceptionScore不再上升，衡量真实分布与模拟分布的差异指标FréchetInceptionDistance不再降低为止，并保存本模型生成器的参数以便在线使用阶段使用；在线使用阶段：(8)加载本模型的生成器的参数；(9)将预想生成的类别标签输入模型生成器，得到所期望类别的生成图像并保存。2.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，其特征在于，步骤(1)中，训练图像的大小均为28*28，所有图像主体均清晰可辨，训练样本集合中包含真实图像60000幅。类别标签为10类，分别是T恤，裤子，套衫，裙子，外套，凉鞋，汗衫，运动鞋，包，裸靴。3.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，其特征在于，步骤(2)中，随机数生成器(属于计算机语言基本函数库的一部分)随机生成62维的向量，以产生相同类别的图像的变化，预期生成图像的类别标签以独热编码表示，为10维向量，最终将随机向量与类别向量拼接为72维向量作为本模型的输入，经过生成器的全连接层、反卷积层、批归一化层和激活层后，输出28*28大小的图像。4.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，其特征在于，步骤(3)中，来源于生成器的生成图像以64张为一批组成了64*28*28维的向量，并转化为64*784的向量作为判别器以及分类器的输入；而来源于数据集的真实的图像以64张为一批组成了64*28*28维的向量，并转化为64*784的向量作为判别器以及分类器的输入。5.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法，其特征在于，步骤(4)中，判别器的优化目标函数为：LD＝E[logP(D＝real|X)]+E[logP(D＝fake|G(z，yG))]，其中，E表示熵，D表示判别器，G表示生成器；X为真实图像，D＝real表示判...

【专利技术属性】
技术研发人员：李月龙，李博闻，汪剑鸣，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12