当前位置: 首页 > 专利查询>天津大学专利>正文

一种同时生成多种图片风格的数据增强方法技术

技术编号:20920318 阅读:31 留言:0更新日期:2019-04-20 10:29
本发明专利技术涉及一种同时生成多种图片风格的数据增强方法,包括下列步骤:准备待转换数据集及想转化的目标类型数据集;根据任务的需求,建立多任务图片生成模型;利用上述的三个数据集训练修改后的多任务图片生成模型,设Ldis为对抗损失,Lcyc为循环一致性损失,Lvae为AVE损失,另外三个为本身的重构损失,则训练模型的总损失;尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成。

A Data Enhancement Method for Simultaneously Generating Multiple Picture Styles

The present invention relates to a data enhancement method for generating multiple image styles simultaneously, which includes the following steps: preparing data sets to be converted and target type data sets to be converted; establishing a multi-task image generation model according to the needs of tasks; training the modified multi-task image generation model by using the three data sets mentioned above, setting Ldis as a countermeasure against loss and Lcyc as a cyclic consistency loss. Loss, Lvae is AVE loss, and the other three are their own reconstruction loss, then the total loss of training model; try a variety of training strategies and select the best model to generate image data according to the effect map of the test set.

【技术实现步骤摘要】
一种同时生成多种图片风格的数据增强方法
本专利技术涉及深度学习、图像风格转换,生成对抗网络及数据增强,尤其是利用生成对抗网络进行多种图片风格的数据生成。
技术介绍
随着深度学习的发展,越来越多的深度学习技术逐步嵌入到现实生活中的应用中,也在性能上超越了很多传统算法。目前,利用深度卷积神经网络在很多应用上拥有很好的性能,主要归功于卷积层能够自动提取有用的特征,该特征与传统的手动提取特征相比,拥有更强的判别性的信息,从而能够提升网络在各任务上的表现。但让网络学习到这些特征的基本前提是拥有大量的训练数据,而现实生活中,这样的要求往往很难被满足。除此之外,在真实的场景中,由于各种现实因素的制约,导致采集到的数据存在着极度的不平衡现象,例如用于自动驾驶场景的训练数据就存在着晴天的数据远远大于雨天数据的现象。因此,如何利用现有的技术生成图片数据进行一定程度的数据增强,从而缓解深度学习数据不足的现状至关重要。为获得足够的图片训练数据,目前已经提出的方法大致可分为两种:一是使用自动编码器(VAE)进行图片生成[1,2,3,7],VAE有一个编码器和解码器组成,其本质是让一张图片经过编码器的编码和解码器的解码后能够恢复出原图,在测试阶段,通过随机生成的编码利用解码器随机生成图片。但利用VAE方式一般只能生成和训练集很相似的图片,不具备普遍性。二是利用生成对抗网络生(GAN)成图片数据,例如最原始的GAN可以利用一个固定维数的噪声生成某种类型的图片[5],而ConditionalGAN可以在生成图片的同时加入额外的人为信息[6],弥补原始GAN只能随机生成图片的缺陷。除此之外,Cycle-GAN则能够利用不匹配的图片对进行图片间的风格转换[7]。虽然利用GAN能够生成大量的图片,但一个模型基本上只能生成某一种类型的图片,而现实生活中,为获得一个泛化性及精度足够好的模型,经常需要多种分布的数据类型进行联和训练,因此,此种方法也有一定的局限性。参考文献:[1]张赛,芮挺,李华兵,方虎生.基于监督学习自动编码器图像重构[J].江苏科技信息,2017,(28):43-45.[2]孟令恒.自动编码器相关理论研究与应用[D].中国矿业大学,[3]DiederikP.Kingma,MaxWelling.Auto-EncodingVariationalBayes[J].2013,CoRRabs/1312.6114[4]IanJ.Goodfellow,JeanPouget-Abadie,MehdiMirza.GenerativeAdversarialNetworks[J].2014,CoRRabs/1406.2661[5]MehdiMirza,SimonOsindero.ConditionalGenerativeAdversarialNets[J].2014,CoRRabs/1411.1784[6]Jun-YanZhu,TaesungPark,PhillipIsola.UnpairedImage-to-ImageTranslationUsingCycle-ConsistentAdversarialNetworks[C].ICCV,2017:2242-2251.[7]夏春秋.一种基于变分自动编码器和生成对抗网络的图像转化方法[P].广东:CN107123151A,2017-09-01[8]袁克虹,范宏伟,张生泽.一种基于深度学习的图片生成方法及生成对抗网络[P].广东:CN107220600A,2017-09-29
技术实现思路
本专利技术的目的是提供一种能够同时生成多种图片风格的多任务生成模型,利用所有生成的图片做数据增强进行联和训练的方法。技术方案如下:一种同时生成多种图片风格的数据增强方法,包括下列步骤:步骤1:准备待转换数据集As及想转化的目标类型数据集Bs,Cs;步骤2:根据任务的需求,建立多任务图片生成模型;步骤3:利用上述的三个数据集训练修改后的多任务图片生成模型,设Ldis为对抗损失,Lcyc为循环一致性损失,Lvae为AVE损失,另外三个为本身的重构损失,则训练模型的总损失:L=Ldis+Lcyc+Lvae+LA-self+LB-self+LC-self;步骤4:尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成,方法如下:1)生成对抗模型对学习率比较敏感,需对尝试多个学习率进行效果对比;2)多任务生成对抗网络对图片的大小比较敏感,需要尝试多种图片大小进行效果对比;3)不同相似度度量函数在保证各共享特征一致性方面拥有不同的性能,需尝试不同相似度测量函数进行效果对比;4)调整几个损失间的损失权重,各个损失权重依次为:1,1,0.2,0.1,0.1,0.1;步骤5:搭建相似度度量网络,用于之后度量原图和生成图之间的相似度;步骤6:训练相似度度量网络;步骤7:利用相似度度量网络度量原图和生成图之间差异,筛选出质量好的生成图;步骤8:将筛选后的图片加入到特定任务的训练集中进行该任务的模型训练。附图说明图1是本专利技术所设计的多任务图片生成模型的网络结构图2是多任务图片生成模型的生成结果示例图图3是多任务图片生成模型的不好结果示例图图4是本专利技术的相似度度量网络框架图表1是相似度度量模型网络结构配置表具体实施方式本专利技术的目的是设计一个多任务的图片生成模型同时生成多种风格的图片,因此首先需要准备需要转化的原始数据集As,以及目标的风格图片数据集Bs,Cs。其次,为同时生成B风格的图片和C风格的图片,需要同时进行两个Cycle-GAN的联和训练,及多任务图片生成模型的训练。最后,需要筛选出质量高的生成图作为数据增强加入到真正任务所对应的模型中进行训练。本专利技术所提方法具体处理过程包括:数据准备、多任务图片生成模型的设计与训练、相似度度量网络的设计与训练三个主要步骤。1、数据准备为训练多任务图片生成模型,需要准备至少三种风格类型的图片。本专利技术所使用的三个数据集由三个不同时间点的城市街景图组成,分别是晴天场景、雨天场景及夜晚场景。众所皆知,在训练自动驾驶模型时需要有大量的数据,但在进行数据采集时,往往只能采集到晴天的数据,而对雨天和夜晚这种受限于天气的数据往往很难采集到,因此如何用生成模型同时生成雨天及夜晚的图片对于自动驾驶感知模型的提升有很大的帮助。2、多任务图片生成模型的设计与训练多任务图片生成模型是为了解决Cycle-GAN只能生成一种风格类型图片的弊端,而在真实的场景中,往往需要多种类型的图片进行联和训练,例如雨天和夜晚的数据。如果无法满足这样的条件,会使得模型在雨天和夜晚场景下的测试性能差。具体的,该部分内容主要包括:多任务生成模型的设计,多任务生成模型的训练。(1)多任务图片生成模型的设计:传统的Cycle-GAN网络由两个生成器及其对应的两个判别器组成,分别是G:A→B和F:B→A。设A和B分别是两种风格的图片,Cycle-GAN利用循环一致性损失保证了任何一张A风格的图片在经过G:A→B及F:B→A转化后得到的A′在内容上和A之间的差距尽可能小。为避免训练多个Cycle-GAN模型生成多种风格的图片,本专利技术设计了一个端到端的网络能够同时生成多种风格的图片,粗略的网络结构如图1所示。其中,A,B,C分别代表三种不同本文档来自技高网
...

【技术保护点】
1.一种同时生成多种图片风格的数据增强方法,包括下列步骤:步骤1:准备待转换数据集As及想转化的目标类型数据集Bs,Cs;步骤2:根据任务的需求,建立多任务图片生成模型;步骤3:利用上述的三个数据集训练修改后的多任务图片生成模型,设Ldis为对抗损失,Lcyc为循环一致性损失,Lvae为AVE损失,另外三个为本身的重构损失,则训练模型的总损失:L=Ldis+Lcyc+Lvae+LA‑self+LB‑self+LC‑self。步骤4:尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成,方法如下:1)生成对抗模型对学习率比较敏感,需对尝试多个学习率进行效果对比;2)多任务生成对抗网络对图片的大小比较敏感,需要尝试多种图片大小进行效果对比;3)不同相似度度量函数在保证各共享特征一致性方面拥有不同的性能,需尝试不同相似度测量函数进行效果对比;4)调整几个损失间的损失权重,各个损失权重依次为:1,1,0.2,0.1,0.1,0.1;步骤5:搭建相似度度量网络,用于之后度量原图和生成图之间的相似度;步骤6:训练相似度度量网络;步骤7:利用相似度度量网络度量原图和生成图之间差异,筛选出质量好的生成图;步骤8:将筛选后的图片加入到特定任务的训练集中进行该任务的模型训练。...

【技术特征摘要】
1.一种同时生成多种图片风格的数据增强方法,包括下列步骤:步骤1:准备待转换数据集As及想转化的目标类型数据集Bs,Cs;步骤2:根据任务的需求,建立多任务图片生成模型;步骤3:利用上述的三个数据集训练修改后的多任务图片生成模型,设Ldis为对抗损失,Lcyc为循环一致性损失,Lvae为AVE损失,另外三个为本身的重构损失,则训练模型的总损失:L=Ldis+Lcyc+Lvae+LA-self+LB-self+LC-self。步骤4:尝试多种训练策略并根据测试集的效果图选取最佳的模型进行图片数据的生成,方法如下:1)生成对抗模型对学习率比较...

【专利技术属性】
技术研发人员:林培文张加万孙迪
申请(专利权)人:天津大学
类型:发明
国别省市:天津,12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1