基于渐进式对抗生成网络的多目标草图生成图像的方法技术

本发明专利技术提供了一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其通过将实例和整个图像的生成过程解耦，促进实例纹理颜色的生成，以及促进整体图像关系的生成。并且使用判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。本发明专利技术提供的方法，解决了现存网络由于学习整个图像的分布而忽略了图像中实例部分的分布并由此导致的在不同的实例上产生相同的纹理和颜色的问题，在MS‑COCO数据集中获取了较高的Inception Score和较低的Fre′chet inception distance，即本发明专利技术的方法在生成数据的质量和多样性上都取得了很好的结果。

Multi-objective Sketch Generation Image Method Based on Progressive Countermeasure Generation Network

【技术实现步骤摘要】
基于渐进式对抗生成网络的多目标草图生成图像的方法
本专利技术属于计算机图像生成领域，涉及一种基于渐进式对抗生成网络的多目标草图生成图像的方法。
技术介绍
绘画作品设计过程涉及大量创造性工作。这个过程通常以在纸上画草图开始，借此设计师和工程师分享他们的想法，以草图为基础创造出能够还原真实场景的艺术作品。描绘现实世界中的图像中通常包含多个目标实例，因此，从多实例的草图生成图像是一个有吸引力的研究课题。过去在多目标草图生成图像领域，利用每个草图的特征信息进行跨域检索是研究重点，利用检索获取的参考图像替换草图中的实例目标，然后通过融合各部分实例目标得到合成的真实图像。然而，利用草图特征检索不能够获取检索数据库中不存在的实例目标。如今，随着图像生成技术的发展，使得草图生成图像有了实质的改进，生成对抗网络能够生成数据集中不存在的实例目标。随着基于数据驱动的智能时代的发展，获取含标注的仿真样本数据可有效弥补真实训练数据的不足，因此如何自动的获取含有标注的多目标草图图像是非常重要的。而且，现有的生成网络通常会在一张图像的不同实例上产生相似的纹理或颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。对于多目标的草图生成方案，一方面，需要解决人工标注草图数据费时费力的难题，另一方面，需要解决如何利用生成网络生成多目标的真实图像，从而辅助艺术从业人员的创造性工作。草图生成图像技术的相关研究现状如下：ChenT等人首次提出由草图生成图像的方案(ChenT,ChengMM,ShamirA,etal.Sketch2Photo:internetimagemontage.ACMSIGGRAPHAsia.ACM,2009)。其方案为每张草图赋予相应的文本描述，从而使用文本描述在网络中检索纹理和颜色空间一致的参考图像，利用参考图像中的目标内容替换草图中目标，通过融合各部分目标得到合成的真实图像。但是利用文本描述在网络中检索图像，这对与图像的标签信息是强依赖的，若出现网络中图像标签与图像不一致，会直接导致最终合成结果错误。除此之外，利用检索方案获取的实例目标，要求数据集中包含与草图图像对应的实例目标。随着生成对抗网络的出现，使得生成数据集中没见过的实例图像成为可能，Pix2Pix(IsolaP,ZhuJY,ZhouT,etal.Image-to-ImageTranslationwithConditionalAdversarialNetworks.CVPR,2017)提出了直接利用生成对抗网络对草图跨域生成。方案使用条件对抗生成网络(ConditionalAdversarialnetwork)，以草图信息作为条件，生成真实图像。CycleGan(ZhuJ,ParkT,IsolaP,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks.CVPR,2017)解决了非成对数据下的草图生成图像任务，解决了成对数据集不充足的问题。Pix2PixHD(WangTC,LiuMY,ZhuJY,etal.High-ResolutionImageSynthesisandSemanticManipulationwithConditionalGANs.CVPR,2017)提出了利用生成对抗网络生成高清图像的任务。以上的生成网络通常会在一张多目标图像产生相似的纹理或者颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。
技术实现思路
本专利技术的目的是提供一种基于渐进式对抗生成网络(MS-PGAN)模型的草图生成图像的方法，可以解决现有网络的对于多目标草图生成出现一致的纹理和颜色的缺点，通过将实例目标的生成和整个图像的生成解耦，能够渐进优化生成效果。此外，例如眼睛，耳朵等是动物整体中最显著的部分，准确的显著区域草图能够帮助生成更加合理的实例图像。因此，本专利技术提出了判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。本专利技术的技术方案：一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其包括步骤：1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对<Iimage，Smsk>，为网络训练提供数据；1.1)使用语义分割的GroundTruth或语义分割算法来获得语义掩码；1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；1.3)对于步骤1.2)中获取的不同类别的实例图像，采用边缘检测算法提取粗略草图SHed；1.4)使用预训练好的类激活映射网络，获得每个实例图像类别的最具辨别力的判别区域；1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCa组合，获取不同实例的精细草图Sinstance，Sinstance＝SHed+SCam(1)进而获得<Iinstance，Sinstance>实例草图图像对；1.7)采用判别性草图扩增方法产生额外的<Iinstance，Sinstance>实例草图图像对，获得n×<Iinstance，Sinstance>的扩增实例草图图像对；1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对<Iimage，Smsk>，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×<Iinstance，Sinstance>扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数和实例判别器损失函数来训练每一类别的子生成器和子判别器，其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失使得生成图像多样，并且快速收敛；其中，λ0是超参数，是对抗损失，是感知损失，衡量了真实图像和生成图像卷积特征图之间的差异，由于能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，其本文档来自技高网...

【技术保护点】
1.一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其特征在于，所述的方法包括步骤：1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对＜Iimage，Smsk＞，为网络训练提供数据；1.1)使用语义分割的Ground Truth或语义分割算法来获得语义掩码；1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；1.3)对于步骤1.2)中获取的不同类别的真实实例图像，采用边缘检测算法提取粗略草图SHed；1.4)使用预训练好的类激活映射网络，获得每个真实实例图像类别的最具辨别力的判别区域；1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCam组合，获取不同实例的精细草图Sinstance，Sinstance＝SHed+SCam   (1)进而获得＜Iinstance，Sinstance＞实例草图图像对；1.7)采用判别性草图扩增方法产生额外的＜Iinstance，Sinstance＞实例草图图像对，获得n×＜Iinstance，Sinstance＞的扩增实例草图图像对；1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对＜Iimage，Smsk＞，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像；2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×＜Iinstance，Sinstance＞扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数...

【技术特征摘要】
1.一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其特征在于，所述的方法包括步骤：1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对＜Iimage，Smsk＞，为网络训练提供数据；1.1)使用语义分割的GroundTruth或语义分割算法来获得语义掩码；1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；1.3)对于步骤1.2)中获取的不同类别的真实实例图像，采用边缘检测算法提取粗略草图SHed；1.4)使用预训练好的类激活映射网络，获得每个真实实例图像类别的最具辨别力的判别区域；1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCam组合，获取不同实例的精细草图Sinstance，Sinstance＝SHed+SCam(1)进而获得＜Iinstance，Sinstance＞实例草图图像对；1.7)采用判别性草图扩增方法产生额外的＜Iinstance，Sinstance＞实例草图图像对，获得n×＜Iinstance，Sinstance＞的扩增实例草图图像对；1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对＜Iimage，Smsk＞，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像；2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×＜...

【专利技术属性】
技术研发人员：王智慧，王宁，李建军，窦智，李豪杰，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21