The invention discloses a robust image generation method against mode collapse based on a novel conditional antagonism generation network. Compared with the existing related techniques, this technique has the advantages of strong adaptability, good robustness, only specifying the required image categories, no manual intervention, short training time, stable training process, and fully maintaining the balance between the diversity and authenticity of the generated images. The main innovation of the invention is that the mode collapse problem and the training failure problem in the training process of other condition generation methods are solved. At the same time, classifiers and discriminators optimize their parameters to avoid the problems of training instability and mode collapse. In addition, the invention also introduces the construction strategy of weight sharing, which greatly improves the training speed and reduces the storage overhead without losing the original performance. The invention is applied to the diversified image data generation task of low cost large scale designated labels.
【技术实现步骤摘要】
基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法
本专利技术属于图像建模、计算机视觉、图像生成领域,涉及一种基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,主要用于指定类别标签的大规模图像生成。
技术介绍
随着人工智能和深度学习的飞速发展,以大规模数据为基础的机器学习方法得到了越来越广泛的认可和应用。然而,再优秀的智能分析算法也必须以高质量的输入信息为基本前提,低质量的输入信息必然直接影响算法的整体分析效果。但是,有标签的数据集耗费大量的人工进行繁琐细致的标定,为保证数据质量,还需要额外的标签校验和核对的过程,耗时耗力。因此,在人工智能算法不断进步的今天,对有标定的数据的质量和数据有着越来越高要求的今天,通过生成模型算法在生成大量的低成本的有标签的可以以假乱真的数据,是具有直观实际意义的应用研究技术。对抗生成启发自博弈论中的二人零和博弈,经典对抗生成模型中的两位博弈方分别由生成器和判别式器充当。生成器捕捉样本数据的分布,用服从某一分布(均匀分布,高斯分布等)的噪声生成一个类似真实训练数据的样本,追求效果是越像真实样本越好;判别模型是一个二分类器,估计一个样本来自于训练数据(而非生成数据)的概率,如果样本来自于真实的训练数据,判别器输出大概率,否则,判别输出小概率。对抗生成网络被用于图像建模取得了良好的效果,在一些数据集上已经可以通过图灵测试。为了约束生成图像的标签类别,需要在生成器生成的过程中加入一定的条件约束,在以往的相关研究中,有一些针对条件生成模型工作,但是这些方法有各自的缺陷,一些受到严重模式崩溃的困扰,而另一些虽然没有出现明显的模式崩溃 ...
【技术保护点】
1.基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,包括下列步骤:方法训练阶段:(1)搭建由十种不同类目真实图像构建的训练样本集合,并进行归一化处理,标定各种类图像相对应的类别标签;(2)使用随机数生成器产生不同的随机向量以及相对应的模拟的类别标签作为本模型的生成器的输入,经过全连接层、反卷积层、批归一化层和激活层后,输出28*28大小的图像;(3)将步骤(2)得到的生成的图像与将步骤(1)中收集整理的真实图像输入本模型的判别器以及分类器中;(4)以(3)中经过判别器的全连接层、卷积层、批归一化层和激活层后的输出的1维向量与其相应预期输出的1维向量之间的差距优化判别器;(5)以(3)中经过分类器的的全连接层、卷积层、批归一化层和激活层后的输出的10维向量与其相应预期输出的10维向量之间的差距优化分类器;(6)以欺骗判别器和使分类器得到预期输出为目标优化生成器,即结合步骤(4)(5)中所述的针对生成器的差距项共同优化生成器;(7)反复进行上述(2)~(6)步骤,直至模型收敛,即损失值不再明显下降,图像质量客观评分Inception Score不再上升,衡量真实分布与模拟分布的差异指 ...
【技术特征摘要】
1.基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,包括下列步骤:方法训练阶段:(1)搭建由十种不同类目真实图像构建的训练样本集合,并进行归一化处理,标定各种类图像相对应的类别标签;(2)使用随机数生成器产生不同的随机向量以及相对应的模拟的类别标签作为本模型的生成器的输入,经过全连接层、反卷积层、批归一化层和激活层后,输出28*28大小的图像;(3)将步骤(2)得到的生成的图像与将步骤(1)中收集整理的真实图像输入本模型的判别器以及分类器中;(4)以(3)中经过判别器的全连接层、卷积层、批归一化层和激活层后的输出的1维向量与其相应预期输出的1维向量之间的差距优化判别器;(5)以(3)中经过分类器的的全连接层、卷积层、批归一化层和激活层后的输出的10维向量与其相应预期输出的10维向量之间的差距优化分类器;(6)以欺骗判别器和使分类器得到预期输出为目标优化生成器,即结合步骤(4)(5)中所述的针对生成器的差距项共同优化生成器;(7)反复进行上述(2)~(6)步骤,直至模型收敛,即损失值不再明显下降,图像质量客观评分InceptionScore不再上升,衡量真实分布与模拟分布的差异指标FréchetInceptionDistance不再降低为止,并保存本模型生成器的参数以便在线使用阶段使用;在线使用阶段:(8)加载本模型的生成器的参数;(9)将预想生成的类别标签输入模型生成器,得到所期望类别的生成图像并保存。2.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,其特征在于,步骤(1)中,训练图像的大小均为28*28,所有图像主体均清晰可辨,训练样本集合中包含真实图像60000幅。类别标签为10类,分别是T恤,裤子,套衫,裙子,外套,凉鞋,汗衫,运动鞋,包,裸靴。3.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,其特征在于,步骤(2)中,随机数生成器(属于计算机语言基本函数库的一部分)随机生成62维的向量,以产生相同类别的图像的变化,预期生成图像的类别标签以独热编码表示,为10维向量,最终将随机向量与类别向量拼接为72维向量作为本模型的输入,经过生成器的全连接层、反卷积层、批归一化层和激活层后,输出28*28大小的图像。4.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,其特征在于,步骤(3)中,来源于生成器的生成图像以64张为一批组成了64*28*28维的向量,并转化为64*784的向量作为判别器以及分类器的输入;而来源于数据集的真实的图像以64张为一批组成了64*28*28维的向量,并转化为64*784的向量作为判别器以及分类器的输入。5.根据权利要求1所述的基于新型条件对抗生成网络的抗模式崩溃鲁棒图像生成方法,其特征在于,步骤(4)中,判别器的优化目标函数为:LD=E[logP(D=real|X)]+E[logP(D=fake|G(z,yG))],其中,E表示熵,D表示判别器,G表示生成器;X为真实图像,D=real表示判...
【专利技术属性】
技术研发人员:李月龙,李博闻,汪剑鸣,
申请(专利权)人:天津工业大学,
类型:发明
国别省市:天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。