生成对抗网络优化方法及电子设备技术

本申请公开了一种生成对抗网络优化方法及电子设备，涉及生成对抗网络技术领域。本申请的生成对抗网络优化方法包括：确定生成器的第一权重与判别器的第二权重，第一权重与第二权重相等，第一权重用以表示生成器的学习能力，第二权重用以表示判别器的学习能力；交替迭代训练生成器与判别器，直至生成器与判别器均收敛。本申请能够平衡生成器和判别器的损失，使得生成器和判别器具有相同的学习能力，从而提高生成对抗网络的稳定性。从而提高生成对抗网络的稳定性。从而提高生成对抗网络的稳定性。

【技术实现步骤摘要】
生成对抗网络优化方法及电子设备


[0001]本申请涉及生成对抗网络
，具体涉及一种生成对抗网络优化方法及电子设备。

技术介绍

[0002]生成对抗网络(Generative Adversarial Network，GAN)由生成器和判别器构成，通过生成器和判别器的对抗训练来使得生成器产生的样本服从真实数据分布。训练过程中，生成器根据输入的随机噪声生成样本图像，其目标是尽量生成真实的图像去欺骗判别器。判别器学习判别样本图像的真伪，其目标是尽量分辨出真实样本图像与生成器生成的样本图像。
[0003]然而，生成对抗网络的训练自由度太大，在训练不稳定时，生成器和判别器很容易陷入不正常的对抗状态，发生模式崩溃(Mode collapse)，导致生成样本图像的多样性不足。

技术实现思路

[0004]鉴于此，本申请提供一种生成对抗网络优化方法及电子设备，能够平衡生成器和判别器的损失，使得生成器和判别器具有相同的学习能力，从而提高生成对抗网络的稳定性。
[0005]本申请的生成对抗网络优化方法包括：确定生成器的第一权重与判别器的第二权重，所述第一权重与所述第二权重相等，所述第一权重用以表示所述生成器的学习能力，所述第二权重用以表示所述判别器的学习能力；交替迭代训练所述生成器与所述判别器，直至所述生成器与所述判别器均收敛。
[0006]在本申请实施例中，所述学习能力与所述第一权重或所述第二权重呈正相关关系。
[0007]本申请的电子设备包括存储器及处理器，所述存储器用以存储计算机程序，所述计算机程序被所述处理器调用时，实现本申请的生成对抗网络优化方法。
[0008]本申请通过梯度下降法迭代更新生成器的第一权重与判别器的第二权重，随着训练周期的加长动态调整生成器与判别器的学习率，直至所述生成器的损失函数与所述判别器的损失函数均收敛，从而得到最优的权重。所述第一权重与所述第二权重相等，使得所述生成器和所述判别器具有相同的学习能力，从而提高生成对抗网络的稳定性。
附图说明
[0009]图1是生成对抗网络的示意图。
[0010]图2是神经网络的示意图。
[0011]图3是生成对抗网络优化方法的流程图。
[0012]图4是电子设备的示意图。
Neural Network，RNN)或深度神经网络(Deep Neural Networks，DNN)等。
[0034]在生成对抗网络10的训练过程中，生成器11与判别器12是交替迭代训练，且均通过各自的代价函数(Cost)或损失函数(Loss)优化各自的网络。例如，当训练生成器11时，固定判别器12的权重，更新生成器11的权重；当训练判别器12时，固定生成器11的权重，更新判别器12的权重。生成器11与判别器12均极力优化各自的网络，从而形成竞争对抗，直到双方达到一个动态的平衡，即纳什均衡。此时，生成器11生成的第一图像与从数据样本x中获取的第二图像完全相同，判别器12无法判别第一图像与第二图像的真假，输出的概率D为0.5。
[0035]在本申请实施例中，权重是指神经网络的权重数量，表征神经网络的学习能力，所述学习能力与所述权重呈正相关关系。
[0036]参照图2，图2为神经网络20的示意图。神经网络20的学习过程由信号的正向传播与误差的反向传播两个过程组成。当信号正向传播时，数据样本x从输入层传入，经隐藏层逐层处理后，向输出层传播。若输出层的输出y与期望输出不符，则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐藏层向输入层逐层反向传播，并将误差分摊给各层的所有神经单元，从而获得各层神经单元的误差信号，此误差信号作为修正权重W的依据。
[0037]在本申请实施例中，神经网络包括输入层、隐藏层及输出层。所述输入层用于接收来自于神经网络外部的数据，所述输出层用于输出神经网络的计算结果，除输入层和输出层以外的其它各层均为隐藏层。所述隐藏层用于把输入数据的特征，抽象到另一个维度空间，以线性划分不同类型的数据。
[0038]所述神经网络20的输出y如公式(1)所示：
[0039]y＝f3(W3*f2(W2*f1(W1*x)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0040]其中，x为数据样本，f1(z1)、f2(z2)、f3(z3)分别为隐藏层输入z1、z2、z3的激活函数，W1、W2、W3均为层与层之间的权重。
[0041]采用梯度下降法更新权重W如公式(2)所示：
[0042][0043]其中，W
+
为更新后的权重，W为更新前的权重，Loss为损失函数，η为学习率，所述学习率是指权重W更新的幅度。
[0044]在本申请实施例中，损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能，辨别生成器的生成图像；反之，则说明判别器的性能较差。
[0045]请一并参阅图1至图3，图3为生成对抗网络优化方法的流程图。所述生成对抗网络优化方法包括如下步骤：
[0046]S31，确定生成器的第一权重与判别器的第二权重，所述第一权重与所述第二权重相等。
[0047]在本申请实施例中，确定所述第一权重与所述第二权重的方法包括但不限于Xavier初始化、Kaiming初始化、Fixup初始化、LSUV初始化或转移学习等。
[0048]所述第一权重与所述第二权重相等，说明所述生成器与所述判别器具有相同的学
习能力。
[0049]S32，训练生成器并更新第一权重。
[0050]所述第一权重的更新与生成器的学习率及损失函数相关，学习率根据训练次数动态设置，损失函数L
g
如公式(3)所示：
[0051][0052]其中，m为噪声样本z的个数，z
(i)
是指第i个噪声样本，G(z
(i)
)是指通过噪声样本z
(i)
生成的图像，D(G(z
(i)
))是指判别所述图像是否为真的概率，θ
g
为所述第一权重。
[0053]生成器的目标是最大化损失函数L
g
，尽可能地使生成样本分布拟合真实样本分布。
[0054]S33，训练判别器并更新第二权重。
[0055]所述第二权重的更新与判别器的学习率及损失函数相关，学习率根据训练次数动态设置，损失函数L
d
如公式(4)所示：
[0056][0057]其中，x
(i)
是指第i个真实图像，D(x
(i)
)是指判别所述真实图像x
(i)
是否为真的概率，θ
d
为所述第二权重。
[0058]判别器的目标是最小化损失函数L
d
，尽可能地判别输入样本是真实图像还是生成器生成的图像。
[0059]S34，重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成对抗网络优化方法，其特征在于，所述方法包括：确定生成器的第一权重与判别器的第二权重，所述第一权重与所述第二权重相等，所述第一权重用以表示所述生成器的学习能力，所述第二权重用以表示所述判别器的学习能力；交替迭代训练所述生成器与所述判别器，直至所述生成器与所述判别器均收敛。2.如权利要求1所述的生成对抗网络优化方法，其特征在于，所述学习能力与所述第一权重或所述第二权重呈正相关关系。3.如权利要求1或2所述的生成对抗网络优化方法，其特征在于，所述生成器与所述判别器均为神经网络，所述神经网络包括以下之一：卷积神经网络、循环神经网络、深度神经网络。4.如权利要求3所述的生成对抗网络优化方法，其特征在于，所述确定生成器的第一权重与判别器的第二权重，采用以下方法之一：Xavier初始化、Kaiming初始化、Fixup初始化、LSUV初始化、转移学习。5.如权利要求3所述的生成对抗网络优化方法，其特征在于，所述交替迭代训练所述生成器与所述判别器，包括：训练所述生成器并更新所述第一权重；训练所述判别器并更新所述第二权重。6.如权利要求5所述的生成对抗网络优化方法，其特征在于，所述第一权重的更新与所述生成器的学习率及损失函数相关，所述第二权重的更新与所述判别器的学习率及损失函数相关。7...

【专利技术属性】
技术研发人员：孙国钦，郭锦斌，吴宗祐，
申请(专利权)人：鸿海精密工业股份有限公司，
类型：发明
国别省市：