一种基于合成注意力机制的生成对抗网络制造技术

本发明专利技术公开一种基于合成注意力机制的生成对抗网络，属于深度学习领域。本发明专利技术舍弃了自注意力机制计算注意力矩阵的过程，而是根据输入数据合成注意力矩阵，减少了网络训练时间。在CelebA数据集进行的实验中，结果表明与基于自注意力机制的生成对抗网络相比，基于合成注意力机制的生成对抗网络模型生成性能评估指标FID值由29.11降至26.4，且其FID值随着训练次数增加而下降。这些结果表明，合成注意力机制有提高训练过程稳定性的能力，减少生成器发生模式坍缩现象的能力。从而提高生成模型学习真实数据特征分布的能力，得到生成能力更强的生成器，主要体现在生成样本的多样性。针对合成注意力机制的上述功能，可用于提高生成对抗网络的生成能力。对抗网络的生成能力。

【技术实现步骤摘要】
一种基于合成注意力机制的生成对抗网络


[0001]本专利技术属于深度学习领域，具体涉及合成注意力机制在生成对抗网络中的应用。

技术介绍

[0002]生成对抗网络(GAN)最早出现在Ian Goodfellow的文章《Generative Adversarial Networks》中，该文章首次提出“生成器
‑
判别器”进行对抗训的方式。即生成器用来生成假样本，判别器用来判定样本的真假，通过交替训练，最终达到生成器生成的样本具有以假乱真的能力。研究生成对抗网络的意义不仅仅在于获得具有以假乱真能力的生成器，更重要的是说明我们掌握了一种概率模型和推断方法。
[0003]早期的GAN面临一系列问题，如模型架构，训练过程的稳定性、收敛性、梯度消失，生成器的模式坍缩。DCGAN(Deep Convolution GAN)的出现为解决这一系列问题奠定了基础，DCGAN提出一种生成器和判别器的架构，这两个架构能极大地稳定GAN的训练。PGGAN(Progressive Growing GAN)提出了一种渐进地训练策略使得生成器可以生成分辨率更大的高清图片。WGAN(Wasserstein GAN)通过提出权值裁剪避免了GAN的梯度消失问题，在WGAN的基础上提出来的WGAN
‑
GP提出梯度惩罚来代替权值裁剪，实现了比WGAN训练更稳定，生成的图像质量更高的目的。SAGAN(Self
‑
Attention GAN)通过将自然语言处理领域的注意力机制引入生成对抗网络，从而解决了基于卷积神经网络的GAN的感受野范围太小的问题。
[0004]本专利技术提出的基于合成注意力机制的生成对抗网络SynGAN(Synthesizer Attention GAN)通过改变SAGAN(Self
‑
Attention GAN)中自注意力矩阵的计算，使用合成器(Synthesizer)生成注意力矩阵，解决了基于自注意力机制的生成对抗网络训练过程占用显存大，生成器易出现模式坍缩等问题。

技术实现思路

[0005]为解决上述现有技术的不足，本专利技术提供一种基于合成注意力机制，可为生成对抗网络提供一种捕获长距离特征的能力。
[0006]为实现上述目的，本专利技术采用的技术方案为。
[0007]一种基于合成注意力机制的生成对抗网络，其特征在于建立含有谱归一化层，合成注意力层的生成器和判别器模型，结果表明在CelebA数据集下，合成注意力生成对抗网络的FID(Frechet Inception Distance)值从自注意力生成对抗网络的29.11降至26.4，且训练过程更稳定，包括以下步骤。
[0008]S1、对生成器(Generator)和判别器(Discriminator)的权重进行谱归一化(Spectral Normalization)以提高训练过程的稳定性。
[0009]S2、对生成器和判别器都使用合成注意力层来捕获数据的长距离特征。
[0010]进一步地，步骤S1中对生成器和判别器使用谱归一化的方法为。
[0011]S1
‑
1:使用正态分布初始化列向量
[0012]S1
‑
2:使用未归一化权值矩阵W∈R
h
×
w
通过幂迭代的方法计算列向量
[0013]S1
‑
3:使用更新后的列向量3:使用更新后的列向量计算矩阵谱范数σ(W)。
[0014]S1
‑
4:使用矩阵谱范数对未归一化矩阵W∈R
h
×
w
进行谱归一化。
[0015]进一步地，所述步骤S2中对生成器和判别器使用合成注意力层的具体方法为。
[0016]S2
‑
1:输入数据与叉乘获得F
a
∈R
n
×
N
。
[0017]S2
‑
2:输入数据x∈R
C
×
N
与W
g
∈R
b
×
c
叉乘获得F
b
∈R
b
×
N
。
[0018]S2
‑
3:输入数据x∈R
C
×
N
与W
a
∈R
C
×
C
叉乘获得V∈R
C
×
N
。
[0019]S2
‑
4:矩阵F
a
沿着第一个维度复制b份获得H
a
∈R
N
×
N
。
[0020]S2
‑
5:矩阵F
b
沿着第一个维度复制a份获得H
b
∈R
N
×
N
。
[0021]S2
‑
6:矩阵H
a
和矩阵H
b
对应位置元素相乘获得E∈R
N
×
N
。
[0022]S2
‑
7:矩阵E第二维应用Softmax归一化操作获得合成注意力矩阵A∈R
N
×
N
。
[0023]S2
‑
8:矩阵V与矩阵A进行叉乘获得矩阵。
[0024]S2
‑
9:矩阵O乘系数与输入数据x相加获得最终输出。
[0025]针对谱归一化的上述功能，提供谱归一化层作为合成注意力生成对抗网络稳定训练的应用。
[0026]针对合成自注意力机制的上述功能，提供合成注意力层作为合成注意力生成对抗网络降低显存占用，减少模式坍缩的应用。
[0027]一种包含谱归一化层与合成注意力层的生成对抗网络。
[0028]本专利技术相对于现有技术具有如下的优点及效果。
[0029]1、本专利技术舍弃自注意力机制计算输入数据的注意力矩阵的过程，采用根据输入数据合成的注意力矩阵，减少了网络训练时间。
[0030]2、本专利技术通过将合成注意力矩阵分解，不但可以减少网络训练参数数量，还在预防网络过拟合方面起到作用。
附图说明
[0031]图1为训练生成对抗网络的流程图。
[0032]图2为本专利技术合成注意力机制的架构图，其中符号表示矩阵对应位置元素相加，表示矩阵乘法。
具体实施方式
[0033]以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0034]实施例1基于合成注意力机制的生成对抗网络的建立包括以下步骤。
[0035]步骤1：建立谱归一化层，用来嵌入生成器和判别器。
[0036]步骤2：建立合成注意力层，用来嵌入生成器和判别器。
[0037]步骤3：将谱归一化层和合成注意力层嵌入生成器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于合成注意力机制的生成对抗网络，其特征在于，包括以下步骤：S1、对生成器(Generator)和判别器(Discriminator)的权重使用谱归一化(Spectral Normalization)以提高训练过程的稳定性；S2、对生成器和判别器都使用合成注意力层来捕获数据的长距离特征。2.根据权利要求1所述的合成注意力机制的生成对抗网络，其特征在于，所述步骤S1中对生成器和判别器使用谱归一化的具体方法为：S1
‑
1：使用正态分布初始化列向量S1
‑
2：使用未归一化权值矩阵W∈R
h
×
w
更新列向量更新列向量更新列向量S1
‑
3：使用更新后的列向量计算矩阵谱范数σ(W)：S1
‑
4：使用矩阵谱范数对未归一化矩阵进行谱归一化：3.根据权利要求1所述的合成注意力机制的生成对抗网络，其特征在于，所述步骤S2中对生成器和判别器使用合成注意力层的具体方法为：S2
‑
1：输入数x∈R
C
×
N
与W
f
∈R
a
×
C
叉乘获得F
a
∈R
a
×
N
，F
a
＝W
f
x；S2
‑
2：输入数x∈R
C
×
N
与W
g
∈R
b
×
C
叉乘获得F
b
∈R
...

【专利技术属性】
技术研发人员：袁震，徐蔚鸿，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：