一种基于Transformer的生成对抗网络方法技术

本发明专利技术针对高光谱图像分类（Hyperspectral Image Classification，HIC）领域，公开了一种基于Transformer的生成对抗网络（Generative Adversarial Network，GAN）方法。该方法将Transformer引入到GAN中，并提出了用于HIC的基于Transformer的带有残差升级模块的生成对抗网络（Transformer with residual upscale GAN，TRUG）。TRUG中包含一个生成器G和一个鉴别器D。在G中，我们提出了残差升级模块（Residual Upscale，RU），RU可以提高生成图像的分辨率。在D中，我们采用规模逐步递减的Transformer Block，并在第一层中使用网格自注意机制，以便于更好地提取图像特征。此外，GAN容易出现训练不稳定的问题，为了解决这个问题，我们改进了归一化算法，增加了相对位置编码。TRUG是第一个应用于HIC的基于Transformer的GAN。Transformer的GAN。Transformer的GAN。

【技术实现步骤摘要】
一种基于Transformer的生成对抗网络方法


[0001]本专利技术涉及高光谱图像分类方法，特别是涉及一种基于Transformer的生成对抗网络（Generative Adversarial Network，GAN）方法，属于遥感信息处理


技术介绍

[0002]随着科技的发展，高光谱图像分类（Hyperspectral Image Classification，HIC）在许多方面得到了广泛的应用。近年来，深度学习（DL）模型已经应用到HIC领域。
[0003]随着深度学习的发展和模型参数的增加，过拟合问题成为了一个巨大的挑战。为了缓解这个问题，Zhang等人致力于开发一个简单的网络。他们提出了一种易于实现、比普通3D卷积更轻的1D胶囊网络。但Mou等人认为一维卷积在表示高光谱像素时可能会造成像素信息的丢失，因此他们提出了一种新颖的循环神经网络(Recurrent Neural Network,RNN )结构。然而RNN在处理序列信息时存在效率低的问题。在处理顺序数据时,相对于RNN，具有注意力机制的Transformer能够更好地解决处理序列效率低的问题。目前，将Transformer与CNN结合起来学习图像特征是一种比较常用的方式。然而，Transformer的参数量较大，对于HSI这样的小样本训练时非常容易出现过拟合的现象。缓解过拟合的一个重要方法是增加训练数据。许多研究人员通过增加数据来缓解这种情况。这具体包括数据翻转、裁剪、平移和生成模型。生成式模型是通过生成高质量的样本来缓解这个问题。GAN是典型的生成模型，主要由生成器G和判别器D两部分组成，GAN可以从根本上解决数据样本少的问题，进而解决过拟合的问题。因此,更多的研究者设计GAN来缓解样本不足的问题。Zhu等人使用1D GAN作为光谱分类器,3D GAN作为空间分类器。此外，许多研究人员还将GAN与其他技术相结合。然而,GAN总是存在训练数据不平衡和模式崩溃的问题。为了解决训练数据不平衡的问题，Wang等人将D适应为单个分类器,并提出了自适应DropBlock正则化方法来解决模式崩溃问题。
[0004]GAN具有不稳定的缺点，大多数研究人员一直致力于解决这个问题，所以很多人引入各种正则化方法，但很少改变它的网络结构。对于CNN来说，卷积算子有一个局部接受域，所以CNN无法处理远程依赖。然而，HSI有更多的谱序列信息。于是本方法使用了Transformer做基础框架，它更适合处理全局信息，也擅长处理序列信息。目前在HIC领域，还没有人将Transformer引入GAN中。因此,本方法结合了Transformer和GAN的思想，提出了带有残差升级模块的生成对抗网络（Transformer with residual upscale GAN，TRUG）。

技术实现思路

[0005]本专利技术将Transformer引入GAN，并提出了用于HIC的基于Transformer的带有残差升级模块的生成对抗网络（Transformer with residual upscale GAN，TRUG）。TRUG包含一个生成器G和一个鉴别器D。在G中，我们提出了残差升级模块（Residual Upscale，RU），RU可以提高生成图像的分辨率。在D中，我们采用规模逐步递减的Transformer块，并在第一层中使用网格自注意机制，以便于更好地提取图像特征。此外，GAN容易出现训练不稳定的问题，
image; (b) Ground truth; (c) SVM; (d) CNN; (e) 3D CNN; (f) HybridSN; (g) DPRN; (h) Transformer; (i) ViT;(j)TRUG。
[0013]图6为UP数据集通过不同方法获得的分类图的可视化比较；(a) False color image; Ground truth; (c) SVM; (d) CNN; (e) 3D CNN; (f) HybridSN; (g) DPRN; (h) Transformer; (i) ViT;(j)TRUG。
具体实施方式
[0014]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0015]图1为本专利技术TRUG的框架图。
[0016]我们选择了两个公开的HSI数据集，分别是Indian Pines(IP)，University of Pavia (UP)，来验证所提方法的有效性。
[0017]所有的数据集分为两部分，即训练集和测试集。由于GAN对小样本非常敏感，我们对每一类样本进行分类，并从每一类样本中选取10%进行训练。实验结果主要有三个评价标准，总体准确率(OA)、平均准确率(AA)、Kappa系数(Kappa)。此外，为了避免有偏见的估计，在一台配备了英特尔酷睿i5处理器和RTX3090GPU的计算机上，使用Pytorch进行了10次独立测试。
[0018]每次测试的具体步骤如下： S1:将原始数据通过PCA进行降维得到X
pca
，并将X
pca
输入到鉴别器D里学习其真实样本的特征；S2:在鉴别器D中将X
pca
分为几个Patch, 并对其进行embedding；S3:将embedding之后的数据输入到Transformer的Block中，学习其特征，并随后对得到的特征进行降采样使其尺寸减小,重复该步骤三次得到最后的辨别特征；S4:向生成器G中输入一维随机噪声Z∈R
B*L
和类标签C,通过多层感知器( Multi
‑
Layer Perceptron, MLP)将噪声Z重构为分辨率为(H
×
W)的特征图X∈R
B*H*W*C
,并且将到的特征图X输入到Transformer Block进一步提取特征；S5:将S4得到的特征通过残差升级模块（Residual Upscale，RU）来提高特征图的分辨率，残差升级模块的具体步骤为：在模块前的特征图X和模块后的特征图X
new
之间做一个Kronecker积，生成高分辨率的X
up
，具体公式如下：X
⊗
X
new
=X
up
S6:将S5得到的特征图X
up
输入到Swin Transformer(ST)中进一步提取其不同窗口之间的特征Xst，并将得到的特征图Xst通过RU模块进一步提高其分辨率得到特征X
stnew
；S7:将X
stnew
的通道维度压缩到与X
pca
的通道维度一致得到假样本Fake本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的生成对抗网络（Generative Adversarial Network，GAN）方法，其特征在于，包括以下步骤：S1：将原始数据通过PCA进行降维得到Xpca，并将Xpca输入到鉴别器D里学习其真实样本的特征；S2：在鉴别器D中将Xpca分为几个Patch，并对其进行embedding；S3：将embedding之后的数据输入到Transformer的Block中，学习其特征，并随后对得到的特征进行降采样使其尺寸减小，重复该步骤S3三次，得到最后的辨别特征；S4：向生成器G中输入一维随机噪声Z∈R
B*L
和类标签C，通过多层感知器( Multi
‑
Layer Perceptron, MLP)将噪声Z重构为分辨率为(H
×
W)的特征图X∈R
B*H*W*C
,并且将得到的特征图X输入到Transformer Block进...

【专利技术属性】
技术研发人员：郝思媛，翟世杰，夏裕凤，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：