基于对比生成对抗网络的高光谱图像分类方法技术

一种基于对比生成对抗网络的高光谱图像分类方法，其步骤如下：生成样本集；构建对比生成对抗网络；用生成网络生成虚假样本；用判别网络对训练样本和虚假样本进行非线性映射；构造生成网络和判别网络的对比损失函数；构造生成网络和判别网络的损失函数；利用梯度下降方法，更新生成网络和判别网络的参数，并判断生成网络和判别网络的损失函数是否均收敛，若均收敛，则执行下一步，否则，执行步骤3；对高光谱图像进行分类。本发明专利技术利用构建的对比生成对抗网络，提取样本类别特征向量，构建对比损失函数，增强了网络的特征提取能力，缓解了网络过拟合的问题，提高了高光谱图像分类的准确性。提高了高光谱图像分类的准确性。提高了高光谱图像分类的准确性。

【技术实现步骤摘要】
基于对比生成对抗网络的高光谱图像分类方法


[0001]本专利技术属于图像处理
，更进一步涉及图像分类
中的一种对比生成对抗网络的高光谱图像分类方法。本专利技术可以在采集的高光谱图像中对地物进行分类。。

技术介绍

[0002]高光谱图像可获取目标地物在紫外、可见光、近红外和中红外等大量波段内近似连续的光谱信息，并以图像的形式描述地物的空间分布关系，从而建立“图谱合一”的数据，可以实现对地物精确的辨别与细节提取，对于认识客观世界提供了有利条件。近年来，基于向量的机器学习算法如随机森林、支撑向量机，以及基于深度学习的卷积神经网络算法等已经应用在高光谱图像的分类上，均取得了不错的效果。然而，随着高光谱成像技术的进一步发展和应用程度的不断深入，高光谱图像分类领域依然存在以下一些问题，一方面随着空间和光谱分辨率的提高，高光谱图像的空间信息和光谱信息量猛增，传统的方法不能充分提取这两类信息中的特征，导致分类精度不高，另一方面，目前已有的深度学习方法需要大量的有标签数据作为训练样本，而在高光谱图像中，难以收集到足够的有标签数据，因此在基于深度学习的高光谱图像分类中，高光谱图像小样本问题严重限制了高光谱图像的分类精度。
[0003]武汉大学在其申请的专利文献“一种基于自适应空谱多尺度网络的高光谱图像分类方法”(专利申请号：201911336874.3，专利公布号：CN111126256A)中提出了一种基于自适应空谱多尺度网络的高光谱图像分类方法。该方法首先将高光谱图像进行降维处理，然后进行样本选取，从原始和降维高光谱图像上每类随机选取适当比例的带有标记的样本，最后使用设计好网络进行训练。该方法虽然能在光谱上下文信息提取的基础上获得多尺度特征，提升了模型鲁棒性，但是，该方法仍然存在的不足之处是，高光谱图像具有标签样本少的特点，该方法提出的网络层数较深、网络参数多导致网络训练时间长，且样本数目相对于网络参数数目过少，导致网络容易出现过拟合，从而导致该方法不能进行精准分类。
[0004]Lin Zhu；Yushi Chen等人在其发表的论文“Generative Adversarial Networks for Hyperspectral Image Classification”(IEEE Transactions on Geoscience and Remote Sensing，2018，Volume:56,Issue:9,)中提出了一种基于生成对抗网络的高光谱分类方法。该方法设计一个卷积神经网络(判别网络)来判断输入是否真实并进行分类，设计另一个卷积神经网络(生成网络)来生成尽可能真实的虚假样本。两个网络进行交替训练，这种对抗性训练的方法在高光谱图像样本有限的情况下提高了判别网络的泛化能力和分类能力。但是该方法的不足之处是，高光谱图像具有同类像素光谱差异性大，而不同类像素空间特征差异小的的特点，该方法网络特征提取的不充分，生成网络和判别网络不能充分的学习和利用类别间的特征差异，从而导致分类准确性不高。

技术实现思路

[0005]本专利技术的目的是针对上述现有技术的不足，提出了一种基于对比生成对抗网络的
高光谱图像分类方法，用于解决网络容易过拟合、没有充分学习和利用不同类别间的特征差异的问题。
[0006]实现本专利技术目的的思路是，构造对比生成对抗网络，包括生成网络和判别网络，生成网络生成虚假样本，判别网络对训练样本和虚假样本分类，同时提取高光谱图像的类别特征，交替训练生成网络和判别网络。提出了一种新的损失函数，通过计算不同样本类别特征之间的余弦相似度构建对比损失，并构造生成网络和判别网络新的的损失函数，通过迭代学习，使同类样本特征分布更加聚合，不同类别样本之间特征分布更加分散，提升判别网络的特征提取能力，使得生成网络生成的样本更加真实，克服了现有技术针对高光谱图像同类像素光谱差异性大，而不同类像素空间特征差异小的现象，网络对样本特征提取的不充分，生成网络和判别网络不能充分地学习和利用类别间的特征差异，从而导致分类准确性不高的问题，使得本专利技术充分利用了高光谱图像的类别特征，提高了对高光谱图像分类的准确性。
[0007]本专利技术构建的对比生成对抗网络的网络层数更少，对应的网络训练参数也更少更少，针对高光谱图像具有标签样本少的特点，克服了现有技术中网络层数较深以及相应网络参数过多导致网络训练时间长，且样本数目相对于网络参数数目过少，导致网络容易出现过拟合，从而导致该方法不能进行精准分类问题，使得本专利技术缓解了在样本数量较少的情况下出现的网络过拟合现象，提高了分类精度。
[0008]本专利技术的具体步骤如下方法：
[0009]步骤1，生成样本集：
[0010](1a)从同一区域中选取至少包含五种类别、且光谱分辨率在10
‑2λ数量级范围内的一张高光谱图像，λ表示高光谱图像的波长；
[0011](1b)利用主成分分析方法，对高光谱数据进行降维；
[0012](1c)从降维后的高光谱图像中提取包含标签的所有像素点，以每个所提取的像素点为中心，将其周围27
×
27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集；
[0013](1d)随机选取高光谱图像的样本集中5％的样本，组成训练样本；
[0014]步骤2，构建对比生成对抗网络：
[0015](2a)搭建一个生成网络，其结构依次为：全连接层，第一逆卷积层，第二逆卷积层，第三逆卷积层，第四逆卷积层，将全连接层的输入和输出节点个数分别为100+类别数、512，第一至第四逆卷积层的卷积核大小均设置为3
×
3，步长均设置为2；
[0016](2b)搭建一个判别网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，两个并列的全连接层：第一全连接层和第二全连接层，其中，第一至第四卷积层的卷积核大小均设置为3
×
3,步长均设置为2，第一和第二全连接层的输入节点个数均设置为512，第一全连接层的输出节点个数与高光谱图像类别数相等，第二全连接层的输出节点个数设置为2；
[0017](2c)将生成网络和判别网络组成多类生成对抗网络；
[0018]步骤3，用生成网络生成虚假样本：
[0019](3a)从高斯分布中随机采样生成100维的高斯噪声向量；
[0020](3b)通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，转换成高
光谱图像虚假样本；
[0021]步骤4，用判别网络对训练样本和虚假样本进行非线性映射：
[0022]将训练样本和虚假样本同时输入到判别网络中进行非线性映射，输出训练样本和虚假样本的类别预测标签、真假预测标签、特征向量；
[0023]步骤5，构造生成网络和判别网络的对比损失函数：
[0024](5a)构造生成网络的对比损失函数L
G_con
[0025][0026]其中，Σ表示求和操作，i表示虚假样本中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比生成对抗网络的高光谱图像分类方法，其特征在于，搭建对比生成对抗网络，用生成网络生成虚假样本,用判别网络对训练样本和虚假样本进行分类，通过对比样本之间的类别特征得到对比损失，构造生成网络和判别网络的损失函数；该高光谱图像分类方法的步骤包括如下：步骤1，生成样本集：(1a)从同一区域中选取至少包含五种类别、且光谱分辨率在10
‑2λ数量级范围内的一张高光谱图像，λ表示高光谱图像的波长；(1b)利用主成分分析方法，对高光谱数据进行降维；(1c)从降维后的高光谱图像中提取包含标签的所有像素点，以每个所提取的像素点为中心，将其周围27
×
27个像素点空间窗中所有的像素点，组成一个数据立方体，将所有的数据立方体组成高光谱图像的样本集；(1d)随机选取高光谱图像的样本集中5％的样本，组成训练样本；步骤2，构建对比生成对抗网络：(2a)搭建一个生成网络，其结构依次为：全连接层，第一逆卷积层，第二逆卷积层，第三逆卷积层，第四逆卷积层，将全连接层的输入和输出节点个数分别为100+类别数、512，第一至第四逆卷积层的卷积核大小均设置为3
×
3，步长均设置为2；(2b)搭建一个判别网络，其结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，两个并列的全连接层：第一全连接层和第二全连接层，其中，第一至第四卷积层的卷积核大小均设置为3
×
3,步长均设置为2，第一和第二全连接层的输入节点个数均设置为512，第一全连接层的输出节点个数与高光谱图像类别数相等，第二全连接层的输出节点个数设置为2；(2c)将生成网络和判别网络组成多类生成对抗网络；步骤3，用生成网络生成虚假样本：(3a)从高斯分布中随机采样生成100维的高斯噪声向量；(3b)通过生成网络，对高斯噪声向量和类别标签向量进行非线性映射，转换成高光谱图像虚假样本；步骤4，用判别网络对训练样本和虚假样本进行非线性映射：将训练样本和虚假样本同时输入到判别网络中进行非线性映射，输出训练样本和虚假样本的类别预测标签、真假预测标签、特征向量；步骤5，构造生成网络和判别网络的对比损失函数：(5a)构造生成网络的对比损失函数L
G_con
其中，Σ表示求和操作，i表示虚假样本中的第i个样本，N表示一次训练中投入的训练样本数，j表示训练样本中的第j个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，z
i
表示虚假样本特征向量中第i个特征向量，
·
表示余弦相似度计算，z
j
表示训练样本特征向量中与z
i
同类别的第j个特征向量，τ表示温度系数，k表示训练样本中的第k个样本，z
k
表示训练样本特征向量中的第k个特征向量；
(5a)构造判别网络的对比损失函数L
D_con
其中，N表示一次训练中投入的训练样本数，v表示训练样本中的第v个样本，Σ表示求和操作，p表示训练样本中的第p个样本，ln表示以e为底的对数操作，exp表示以e为底的指数操作，z
v
表示真实样本特征向量中第v个特征向量，
·
表示余弦相似度计算，z
p
表示训练样本特征向量中与z
v
同类别的第p个特征向量，τ表示温度系数，q表示训练样本中的第q个样本，z
q
表示训练样本特征向量中的第q个特征向量；步骤6，构造生成网络和判别网络的损失函数：(6a)构造生成网络的损失函数L
G
其中，Σ表示求和操作，表示虚假样本的标签向量，ln表示以e为底的对数操作，表示虚假样本预测类别标签向量，表示训练样本的真假标签向量，表示虚假样本预测真假标签向量，L
G_con
表示生成网络的对比损失损失函数；(6b)构造判别网络的损失函数L
D
其中，Σ表示求和操作，表示虚假样本的标签向量，ln表示以e为底的对数操作，表示虚假样本预测类别标签向量，表示训练样本的标签向量，表示训练样本预测类别标签向量，表示训练样本的真假标签向量，表示虚假样本预测真假标签向量，表示训练样本的真假标签向量，表示训练样本预测真假标签向量,L
D_...

【专利技术属性】
技术研发人员：冯婕，高姿卓，白改琴，张向荣，尚荣华，焦李成，王蓉芳，古晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：