一种生成式对抗网络建模方法及装置制造方法及图纸

技术编号:18290034 阅读:76 留言:0更新日期:2018-06-24 04:58
本发明专利技术实施例公开了一种生成式对抗网络建模方法及装置,其中,该方法包括:S1:通过残差网络构建生成器和判别器;S2:向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;S3:将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;S4:判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新执行S2,若小于,则结束。

【技术实现步骤摘要】
一种生成式对抗网络建模方法及装置
本专利技术涉及深度学习神经网络
,尤其涉及一种生成式对抗网络建模方法及装置。
技术介绍
生成式对抗网络(GenerativeAdversarialNetwork,GAN)是由Goodfellow在2014年提出的深度学习框架,它基于“博弈论”的思想,构造生成器(generator)和判别器(discriminator)两种模型,前者通过输入(0,1)的均匀噪声或高斯随机噪声生成图像,后者对输入的图像进行判别,确定是来自数据集的图像还是由生成器产生的图像。在传统的对抗网络模型中,卷积神经网络的梯度是逐层向深层传递的,在训练的过程中,梯度会随着卷积神经网络的深入而逐渐变小甚至消失,这种情况导致的结果是网络训练的效率低下。因此,当前生成式对抗网络模型训练过程中,随着卷积神经网络的深入梯度会逐渐变小导致网络训练效率低下成为本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种生成式对抗网络建模方法及装置,解决了当前生成式对抗网络模型训练过程中,随着卷积神经网络的深入梯度会逐渐变小导致网络训练效率低下的技术问题。本专利技术实施例提供了一种生成式对抗网络建模方法,包括:S1:通过残差网络构建生成器和判别器;S2:向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;S3:将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;S4:判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新执行S2,若小于,则结束。优选地,步骤S2具体为:向所述生成器输入噪声生成训练图像,获取到所述生成器的浅层神经网络的梯度,通过预置公式将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络的梯度上,得到叠加梯度后的生成器;其中,所述预置公式为:z=Relu(x+y)式中,z为叠加后的梯度,x为浅层神经网络的梯度,y为深层神经网络的梯度,Relu为激活函数,当x>0时,f(x)=x,当x<0时,f(x)=0。优选地,所述噪声为随机噪声。优选地,步骤S3具体为:将所述训练图像输入所述判别器进行判别,得到判别结果和沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,且在所述判别器根据所述判别结果和卷积后的训练图像的分布生成损失函数后,将所述损失函数反馈至叠加梯度后的所述生成器;其中,所述损失函数的表达式为:式中,D(x)为判别器对训练图像的判别结果,pr表示预置数据集图像的分布,pg表示卷积后的训练图像的分布,λ为超参数,为梯度。优选地,本专利技术实施例还提供了一种生成式对抗网络建模装置,包括:构建单元,用于通过残差网络构建生成器和判别器;叠加单元,用于向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;判别单元,用于将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;判断单元,用于判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新触发叠加单元,若小于,则结束。优选地,叠加单元还用于向所述生成器输入噪声生成训练图像,获取到所述生成器的浅层神经网络的梯度,通过预置公式将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络的梯度上,得到叠加梯度后的生成器;其中,所述预置公式为:z=Relu(x+y)式中,z为叠加后的梯度,x为浅层神经网络的梯度,y为深层神经网络的梯度,Relu为激活函数,当x>0时,f(x)=x,当x<0时,f(x)=0。优选地,所述噪声为随机噪声。优选地,判别单元还用于将所述训练图像输入所述判别器进行判别,得到判别结果和沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,且在所述判别器根据所述判别结果和卷积后的训练图像的分布生成损失函数后,将所述损失函数反馈至叠加梯度后的所述生成器;其中,所述损失函数的表达式为:式中,D(x)为判别器对训练图像的判别结果,pr表示预置数据集图像的分布,pg表示卷积后的训练图像的分布,λ为超参数,为梯度。从以上技术方案可以看出,本专利技术实施例具有以下优点:本专利技术实施例提供了一种生成式对抗网络建模方法及装置,其中,该方法包括:S1:通过残差网络构建生成器和判别器;S2:向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;S3:将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;S4:判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新执行S2,若小于,则结束。本专利技术通过将残差网络运用到深度卷积对抗网络模型中,将浅层神经网络的梯度直接加到深层神经网络中去,避免了梯度逐层传递而消失的情况,且提高了网络训练的效率,同时利用沃瑟斯坦距离作为生成对抗网络的评判指标,从而使整个模型的训练能够往正确的方向进行。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。图1为本专利技术提供的一种生成式对抗网络建模方法的一个实施例的流程示意图;图2为本专利技术提供的一种生成式对抗网络建模方法的另一个实施例的流程示意图;图3为本专利技术提供的一种生成式对抗网络建模装置的一个实施例的结构示意图。具体实施方式本专利技术实施例提供了一种生成式对抗网络建模方法及装置,解决了当前生成式对抗网络模型训练过程中,随着卷积神经网络的深入梯度会逐渐变小导致网络训练效率低下的技术问题。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本专利技术一部分实施例,而非全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。请参阅图1,本专利技术提供的一种生成式对抗网络建模方法的一个实施例,包括:101、通过残差网络构建生成器和判别器;需要说明的是,生成器和判别器是生成式对抗网络中必不可少的两个部分,有多种网络可以充当生成器和判别器的功能,本专利技术通过残差网络构建生成器和判别器。102、向生成器输入噪声生成训练图像,将生成器的浅层神经网络的梯度叠加至生成器的深层神经网络中,得到叠加梯度后的生成器;在通过残差网络生成器和判别器后,向生成器输入噪声生成训练图像。残差网络包括浅层神经网络和深层神经网络,在训练的过程中,由于生成器神经网络的梯度会随着神经网络的深入而逐渐变小甚至消失,本专利技术将生成器的浅层神经网络的梯度叠加至生成器的深层神经网络中,得到叠加梯度后的生成器。本文档来自技高网...
一种生成式对抗网络建模方法及装置

【技术保护点】
1.一种生成式对抗网络建模方法,其特征在于,包括:S1:通过残差网络构建生成器和判别器;S2:向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;S3:将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;S4:判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新执行S2,若小于,则结束。

【技术特征摘要】
1.一种生成式对抗网络建模方法,其特征在于,包括:S1:通过残差网络构建生成器和判别器;S2:向所述生成器输入噪声生成训练图像,将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络中,得到叠加梯度后的生成器;S3:将所述训练图像输入所述判别器进行判别,得到沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,得到损失函数,并将所述损失函数反馈至叠加梯度后的所述生成器;S4:判断所述沃瑟斯坦距离是否小于预置距离值,若不小于,则重新执行S2,若小于,则结束。2.根据权利要求1所述的生成式对抗网络建模方法,其特征在于,步骤S2具体为:向所述生成器输入噪声生成训练图像,获取到所述生成器的浅层神经网络的梯度,通过预置公式将所述生成器的浅层神经网络的梯度叠加至所述生成器的深层神经网络的梯度上,得到叠加梯度后的生成器;其中,所述预置公式为:z=Relu(x+y)式中,z为叠加后的梯度,x为浅层神经网络的梯度,y为深层神经网络的梯度,Relu为激活函数,当x>0时,f(x)=x,当x<0时,f(x)=0。3.根据权利要求2所述的生成式对抗网络建模方法,其特征在于,所述噪声为随机噪声。4.根据权利要求1所述的生成式对抗网络建模方法,其特征在于,步骤S3具体为:将所述训练图像输入所述判别器进行判别,得到判别结果和沃瑟斯坦距离,再在所述判别器对所述训练图像进行卷积操作后,且在所述判别器根据所述判别结果和卷积后的训练图像的分布生成损失函数后,将所述损失函数反馈至叠加梯度后的所述生成器;其中,所述损失函数的表达式为:式中,D(x)为判别器对训练图像的判别结果,pr表示预置数据集图像的分布,pg表示卷积后的训练图像的分布,λ为超参数,为梯度。5.一种生成式对...

【专利技术属性】
技术研发人员:李利苹李立军朱湘军彭永坚汪壮雄周智恒胥静
申请(专利权)人:广州视声智能科技有限公司广州视声智能股份有限公司华南理工大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1