一种改进的基于无监督表征学习的遥感图像场景分类方法技术

本发明专利技术公开了一种改进的基于无监督表征学习的遥感图像场景分类方法，基于现有的生成对抗网络模型，使用WGAN‑GP的基础理论来定义生成器和鉴别器的损失函数和训练方式，通过在鉴别器后面的最大池化等操作增加一个多特征融合层来提取场景类中的高级和中级特征信息并将特征梯度反馈给生成器，使生成器能够生成接近真实样本的图像，针对遥感图像的空间复杂性和光谱特性，使用更加先进的WGAN‑GP模型来生成更加稳定而多样的高质量256×256大小的假样本图像，最后使用多层感知机分类器来分类多特征融合层中提取到的特征。本方法对比其他无监督表征学习的方法有着更好的适应性，能够适用于复杂的遥感图像场景数据集(比如NWPU‑RESISC45数据集)，本方法更为全面和具体。

【技术实现步骤摘要】
一种改进的基于无监督表征学习的遥感图像场景分类方法
本专利技术属于遥感图像智能分类领域。具体涉及一种基于无监督表征学习的遥感图像场景分类方法，可以根骨不带标签的样本，生成高质量的假样本作为数据扩充，然后实现高性能的分类任务。
技术介绍
遥感图像场景分类是航空和卫星图像分析领域的一个活跃的研究课题，它是根据图像内容将场景图像分类为一组离散的有意义的土地使用和土地利用(LULC)类。遥感图像场景分类是遥感图像分析解译的重要手段，在灾情监测、交通监管等军事和民用领域均有重要应用价值。场景分类的核心是遥感图像特征提取，如传统的K-means、支持向量机等分类方法。很多高分辨率遥感图像场景分类方法将以手工特征进行编码，以此作为图像的特征表示，比如BoVW模型(BagofVisualWords)。近年来，深度学习作为模式识别中新的智能方法，成为机器学习领域研究的热点，在图像、音频、文字识别与分类中得到了广泛应用。场景分类的结果通常取决于从图像中提取的特征，但目前最热门的深度学习方法往往存在着许多局限性，如深度卷积神经网络能够提取有效特征的前提条件是需要大量的带标签训练样本。然而，对未标记的遥感图像进行标注代价太大。为了解决这个问题，部分学者提出了一些无监督的深度学习模型，从大规模无标记数据集中学习到可重复使用的特征。无监督特征学习在机器视觉中已经取得了广泛的应用，例如限制玻尔兹曼机(RBM)、稀疏自动编码器(SAE)和深度信念网络(DBN)等。然而，由于遥感图像场景中的复杂地物类型(如密集居民区、工业区等)和类间相似性(如教堂和体育场、公路和停车场等)等因素，他们对遥感图像的识别准确性并不令人满意。Goodfellow等人提出的生成对抗网络(GAN)是一种很有前途的无监督学习方法，它是由一个生成器G和鉴别器D组成，生成模型G通过随机噪声(一维序列)生成假样本尽力混淆D模型的鉴定，而鉴别模型D主要学习数据来源到底是来自真实的数据还是生成数据。GANs是一种以无监督学习的方法，可以帮助解决带标签训练集样本少的问题，模型训练时不需要对隐变量做推断，生成器的参数更新不是直接来自数据样本，而是来自鉴别器的反向传播。为了使GANs更适用于图像领域，Radford等人提出了一种结合了生成对抗网络和深度卷积神经网络的深度卷积生成对抗网络模型(DCGAN)。该模型能够很好地学习到图像的特征表示，然后生成出高质量的图像。很多基于DCGAN的模型也都被证实了其的优越性，比如CGAN、WGAN等。但目前对GANs的研究主要集中在小尺度图像的生成上(比如64×64)，但对高质量、高分辨率遥感图像的研究甚少。对比其他图像数据集比如MNIST、LUSN等，遥感图像面积覆盖更广，分辨率更高，地物更加复杂。因此Xu等学者将微调的DCGANs模型用于遥感图像场景分类，增加辅助分类器来进行监督分类，在低样本率的情况下取得了较高的精度。Lin等学者首次将GANs模型与遥感图像场景分类结合在一起，提出了MARTAGANs模型来进行无监督表征学习，在UCMerced数据集上取得了很好的效果。但以上学者的模型存在生成出来的假样本质量低、在多类别的数据集上效果不好，适用性差等问题。而且传统的GANs网络也存在着训练困难、生成器和鉴别器的损失率无法指示训练过程、生成的样本缺乏多样性等问题，使得生成出来的遥感图像出现破碎斑块，甚至退化成噪声点等情况。
技术实现思路
本专利技术旨在解决上述现有研究中所存在的问题，本专利技术提出一种更加高效的改进的基于无监督表征学习的遥感图像场景分类方法，用以从无监督表征学习的角度来实现复杂的遥感图像，并生成高质量的样本扩充。鉴于此，为了实现上述目的，本专利技术采用的技术方案是，一种改进的基于无监督表征学习的遥感图像场景分类方法，包括以下步骤：根据需求选取遥感图像场景数据集，该方法适用于各类遥感图像场景数据集；对数据集中的遥感图像进行预处理，获得真实遥感图像的数据分布x；初始化模型的参数，所述模型包括生成器和鉴别器；包括尺寸大小的限定，模型中生成器和鉴别器的输入大小为256×256，其他超参数如指数衰减率β1设置为0.5，衰减系数β2设置为0.9；将一个随机噪声z输入生成器，随后该噪声在构成生成器的反卷积神经网络中映射得到一个新的数据分布G(z)；将真实遥感图像的数据分布x与G(z)共同输入到鉴别器中，鉴别器对输入的两个数据分别做出判断，输出一个概率值；真实数据的概率值接近于1，生成数据的概率值接近于0，则说明此时生成器生成的数据置信度不高，鉴别器会将生成数据中需要调整的参数反馈给生成器，生成器在接受到调整的梯度信号后进行调整重新生成；通过最大池化操作将鉴别器的倒数三层神经网络的特征映射图连接在一起作为一个多特征融合层，提取遥感图像特征信息中隐藏的复杂空间、纹理特性等；由多特征融合层中提取到的遥感图像特征信息，输入到一个由全连接网络构成的多层感知机分类器(MLPClassifier)，实现分类。进一步，所述多特征融合层还将特征匹配损失和鉴别器判断样本是否来自真实样本的真假损失反馈给生成器，使生成器能够生成接近真实样本图像的假样本图像。本专利技术的优点和有益效果如下：目前大多数的场景分类算法都是基于卷积神经网络模型，一般通过改变模型结构、参数和分类器等方式提取更抽象的特征信息。本专利技术则使用了生成对抗网络和卷积神经网络结合的方法，提出了一种新的基于WGAN-GP(WassersteinGANwithGradientPenalty)模型的无监督特征学习模型，该模型引入了Wasserstein距离代替了原本的Jensen–Shannondivergence(JS)距离来衡量生成样本分布和真实样本分布之间的距离，使其能够在两个样本图像的分布没有重叠的情况下依然能很好地表示样本之间的差异。具体通过生成器和鉴别器的loss不取log，每次更新鉴别器的参数之后把它们的绝对值截断到不超过一个固定常数c等手段优化了原始生成对抗网络(GANs)模型的目标函数，结构更加稳定，能够生成出清晰而多样的高分辨率遥感图像。在鉴别器后面将倒数三层通过最大池化等操作连接在一起作为多特征层，该层融合了高级、中级信息，能够最大限度地提取遥感图像中隐藏的复杂空间、纹理特性。本专利技术设计的多特征层除了为分类器提供特征信息外，也为生成器反馈特征匹配损失和真假图像损失率，使生成器能够生成接近真实样本图像的假样本图像，这样达到样本扩充的目的，实现样本增强。通过鉴别器的卷积神经网络和多特征层的特征融合步骤，可以使生成器生成更加逼近真实样本分布的假样本图像，也能提取出更加抽象的深层次特征信息，该信息能以张量的形式保存出来，为后续的分类器训练提供支持。在最后，本专利技术使用由全连接网络构成的多层感知机分类器(MLPClassifier)来实现分类功能。该分类器结构简单，能够实现多类别的特征训练和分类操作。通过在UCMerced、AID和NWPU-RESISC45这三个数据集上的实验，本专利技术的模型比其他无监督生成模型(比如MARTAG本文档来自技高网...

【技术保护点】
1.一种改进的基于无监督表征学习的遥感图像场景分类方法，其特征在于，包括以下步骤：/n对数据集中的遥感图像进行预处理，获得真实遥感图像的数据分布x；/n初始化模型的参数，所述模型包括生成器和鉴别器；/n将一个随机噪声z输入生成器，随后该噪声在构成生成器的反卷积神经网络中映射得到一个新的数据分布G(z)；/n将真实遥感图像的数据分布x与G(z)共同输入到鉴别器中，鉴别器对输入的两个数据分别做出判断，输出一个概率值；/n通过最大池化操作将鉴别器的倒数三层神经网络的特征映射图连接在一起作为一个多特征融合层，提取遥感图像特征信息；/n由多特征融合层中提取到的遥感图像特征信息，输入到一个由全连接网络构成的多层感知机分类器，实现分类。/n

【技术特征摘要】
1.一种改进的基于无监督表征学习的遥感图像场景分类方法，其特征在于，包括以下步骤：
对数据集中的遥感图像进行预处理，获得真实遥感图像的数据分布x；
初始化模型的参数，所述模型包括生成器和鉴别器；
将一个随机噪声z输入生成器，随后该噪声在构成生成器的反卷积神经网络中映射得到一个新的数据分布G(z)；
将真实遥感图像的数据分布x与G(z)共同输入到鉴别器中，鉴别器对输入的两个数据分别做出判断，输出一个概率值；
通过最大池化操作将鉴别器的倒数三层神经网络的特征映射图连接在一起作为一个多特征融合层，提取遥感图像特征信息；
由多特征融合层中提取到的遥感图像特征信息，输入到一个由全连接网络构成的多层感知机分类器，实现分类。


2.根据权利要求1所述一种改进的基于无监督表征学习的遥感图像场景分类方法，其特征在于：所述多特征融合层还将特征匹配损失和鉴别器判断样本是否来自真实样本的真假损失反馈给生成器。


3.根据权利要求1或2所述一种改进的基于无监督表征学习的遥感图像场景分类方法，其特征在于：所述生成器中生成对抗网络的整体公式可以如下表示：



其中pdata(x)表示真实样本的分布，pz(z)表示随机噪声z生成假样本的分布，D和G分别表示鉴别器和生成器，表示该公式是通过最小化生成器的期望值，最大化鉴别器的期望值来体现生成器与鉴别器之间的对抗博弈过程，x代表真实样本，z代表随机的多维噪声，D(x)和G(z)分别代表鉴别器接收的是来自真实样本的分布和生...

【专利技术属性】
技术研发人员：罗小波，魏宇帆，胡力心，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50