结合无监督学习的高光谱图像分类方法技术

本发明专利技术公开了一种结合无监督学习的高光谱图像分类方法，用于解决现有高光谱图像分类方法分类精度低的技术问题。技术方案是针对卷积神经网络模型在训练样本较少时存在过拟合的技术问题，利用无监督数据来约束卷积神经网络模型，使其在训练样本较少时能减小训练过拟合的风险。为了更好地学习无监督信息，采用一个两路分支网络，通过一个共享的特征提取模块，独立地对带标签数据和无标签数据进行特征映射，使得共享的特征提取模块可以学习到高光谱数据的无监督信息(类内相似性和类间差异性)，从而更好地辅助高光谱图像分类任务，提高高光谱图像分类精度。

Hyperspectral image classification method combined with unsupervised learning

【技术实现步骤摘要】
结合无监督学习的高光谱图像分类方法
本专利技术涉及一种高光谱图像分类方法，特别是涉及一种结合无监督学习的高光谱图像分类方法。
技术介绍
高光谱图像分类任务旨在为图像中的每一个像素点赋予一个标签，这其中深度学习算法在分类任务中展现了其良好的性能。但基于深度学习的高光谱图像分类方法往往依赖于大量已知标签的数据，而在实际任务中可用的标记数据量往往较少，这限制了深度学习分类算法的应用。与之相对的是，遥感领域的快速发展使研究者可以获得大量无标签高质量的高光谱数据。生成对抗网络为无监督学习提供了一个新方向，文献1“ZhanY,HuD,WangY,etal.SemisupervisedHyperspectralImageClassificationBasedonGenerativeAdversarialNetworks[J].IEEEGeoscienceandRemoteSensingLetters,2018,15(2):212-216.”试图通过生成对抗网络生成新的样本，同时利用生成的新样本和少量的带标签的真实样本进行分类，从而得到一个较好的分类器，但是这种方法仅利用了与真实数据可能存在偏差的生成样本，在学习的过程中并未考虑真实的无监督数据。文献2“BeiF,YingL,HaokuiZ,etal.Semi-SupervisedDeepLearningClassificationforHyperspectralImageBasedonDual-StrategySampleSelection[J].RemoteSensing,2018,10(4):574-.”利用了一个双策略选择算法，在残差网络的基础之上，对无标签样本进行主动选择。其首先利用初始的少量带标签的真实数据集及其标签来训练残差网络，然后利用该网络对未知标签的样本数据预测其样本标签，然后将置信度较高的测试样本及其标签加入到标签数据集中，再重复上述模型训练及测试过程，直到达到较好的分类效果。但该方法采用的训练方式本质上为序贯性的训练方法，需要多次迭代完成，训练效率较低，此外，该方法初始时采用的标签样本数量较少，难以保证模型充分训练，一旦初始的分类效果不佳，该方法会导致分类精度越来越低。
技术实现思路
为了克服现有高光谱图像分类方法分类精度低的不足，本专利技术提供一种结合无监督学习的高光谱图像分类方法。该方法针对卷积神经网络模型在训练样本较少时存在过拟合的技术问题，利用无监督数据来约束卷积神经网络模型，使其在训练样本较少时能减小训练过拟合的风险。为了更好地学习无监督信息，采用一个两路分支网络，通过一个共享的特征提取模块，独立地对带标签数据和无标签数据进行特征映射，使得共享的特征提取模块可以学习到高光谱数据的无监督信息(类内相似性和类间差异性)，从而更好地辅助高光谱图像分类任务，提高高光谱图像分类精度。本专利技术解决其技术问题所采用的技术方案是：一种结合无监督学习的高光谱图像分类方法，其特点是包括以下步骤：步骤一、将高光谱数据集分成带标签样本集Dtr＝{xi,yi}和无标签样本集Utr＝{xj,uj}，其中yi属于[0,L-1]，表示真实标签；uj属于[0,K-1]，表示对无标签样本集使用k-means聚类算法，利用聚类结果为每一个无标签样本赋予聚类伪标签，xi和xj分别表示带标签样本集和无标签样本集的训练样本，L和K分别表示样本类别数和聚类中心个数。步骤二、设计一个共享的特征提取模块来同时提取带标签样本和无标签样本的特征。共享的特征提取模块由四个卷积层构成。步骤三、设计监督学习和无监督学习两路分类器，将步骤二得到的特征分别作用于这两类分类器，得到分类任务的预测标签和聚类任务的预测标签。监督学习分类器由两个全连接层组成，第一层全连接层后使用了一个批归一化层和修正线性单元；而第二层全连接层后使用了接一个归一化指数函数，用于将特征转化到概率分布。无监督学习分支最后一层神经单元的个数为聚类中心的个数，而监督学习分类器最后一层神经单元的个数为样本类别个数。步骤四、根据真实的标签和伪标签，分别计算监督学习和无监督学习两路分类器的交叉熵，并利用反向传播算法更新整个模型参数。其中损失函数表示如下：lsup为监督学习的交叉熵，lunsup为无监督学习的交叉熵，ntr,nte分别表示训练样本和测试样本的个数，是样本xi和xj预测的分类标签和聚类标签，yi，uj表示xi和xj对应的真实标签和聚类伪标签。本专利技术的有益效果是：该方法针对卷积神经网络模型在训练样本较少时存在过拟合的技术问题，利用无监督数据来约束卷积神经网络模型，使其在训练样本较少时能减小训练过拟合的风险。为了更好地学习无监督信息，采用一个两路分支网络，通过一个共享的特征提取模块，独立地对带标签数据和无标签数据进行特征映射，使得共享的特征提取模块可以学习到高光谱数据的无监督信息(类内相似性和类间差异性)，从而更好地辅助高光谱图像分类任务，提高高光谱图像分类精度。本专利技术在‘帕维亚大学’高光谱数据集，每类200个训练样本的设置下，取得99.01％的分类准确率，相比
技术介绍
使用三维卷积的方式，分类准确率提高4.13％，；在‘萨利纳斯’高光谱数据集，每类200个训练样本的设置下，相比
技术介绍
使用三维卷积的方式，分类准确率提高1.90％，取得97.18％的分类准确率。下面结合具体实施方式对本专利技术作详细说明。具体实施方式对于一个L类的高光谱图像分类任务，定义ntr个带标签样本(训练集)Dtr＝{xi,yi}，xi表示第i个光谱向量(第i个样本)，yi为其对应的标签。高光谱分类任务是利用训练集Dtr，训练一个分类器，从而预测测试集Dte中每一个标签未知的像素的标签。本专利技术所构建的结合无监督学习的高光谱图像分类模型详述如下：构建一个两路分支网络，这两路网络首先通过一个共享的特征提取模块关联带标签数据和无标签数据，然后分别作用于带标签数据和无标签数据上。对于带标签的数据，采用数据的真实标记来训练网络。考虑到无标签的样本没有真实标签，难以直接训练网络模型，采用聚类的方法得到数据的聚类伪标签来训练网络。通过聚类算法将光谱信息相似的像素点聚集在一起，得到聚类伪标签。并基于该伪标签构建分类器网络，来提取可以表征类内相似性和类间差异性的特征。在此基础上，利用共享的特征提取模块将表征类内相似性和类间差异性的特征来有效约束真实样本所用的分类器网络中，从而提高了分类任务的性能。本专利技术结合无监督学习的高光谱图像分类方法具体步骤如下：1、共享的特征提取模块：对于高光谱数据集中的所有数据，应用k均值算法将所有的像素点分成K类，K表示聚类中心的个数。利用聚类算法，为每一个像素点赋予一个伪标签，构成无监督任务对应的数据集Utr＝{xj,uj}，其中，uj属于[0,K-1]。共享的特征提取模块由四个卷积层构成，每一个卷积层后接一个批归一化层和修正线性激活单元。四个卷积层的卷积核个数分别为64，128，256，512，卷积核的大小分别为8，3，3，1，卷积步长为3，3，3，1。2、分类器模块：监督学习分类器由两个全连接层组成，第一层全连接层后使用了一个批归一化层和修正线性单元，全连接层的神经元个数为512；而第二层全连接层后使用了接一个归一化指数函数，用于将特征转化到概率分本文档来自技高网...

【技术保护点】
1.一种结合无监督学习的高光谱图像分类方法，其特征在于包括以下步骤：步骤一、将高光谱数据集分成带标签样本集Dtr＝{xi,yi}和无标签样本集Utr＝{xj,uj}，其中yi属于[0,L‑1]，表示真实标签；uj属于[0,K‑1]，表示对无标签样本集使用k‑means聚类算法，利用聚类结果为每一个无标签样本赋予聚类伪标签，xi和xj分别表示带标签样本集和无标签样本集的训练样本，L和K分别表示样本类别数和聚类中心个数；步骤二、设计一个共享的特征提取模块来同时提取带标签样本和无标签样本的特征；共享的特征提取模块由四个卷积层构成；步骤三、设计监督学习和无监督学习两路分类器，将步骤二得到的特征分别作用于这两类分类器，得到分类任务的预测标签和聚类任务的预测标签；监督学习分类器由两个全连接层组成，第一层全连接层后使用了一个批归一化层和修正线性单元；而第二层全连接层后使用了接一个归一化指数函数，用于将特征转化到概率分布；无监督学习分支最后一层神经单元的个数为聚类中心的个数，而监督学习分类器最后一层神经单元的个数为样本类别个数；步骤四、根据真实的标签和伪标签，分别计算监督学习和无监督学习两路分类器的交叉熵，并利用反向传播算法更新整个模型参数；其中损失函数表示如下：...

【技术特征摘要】
1.一种结合无监督学习的高光谱图像分类方法，其特征在于包括以下步骤：步骤一、将高光谱数据集分成带标签样本集Dtr＝{xi,yi}和无标签样本集Utr＝{xj,uj}，其中yi属于[0,L-1]，表示真实标签；uj属于[0,K-1]，表示对无标签样本集使用k-means聚类算法，利用聚类结果为每一个无标签样本赋予聚类伪标签，xi和xj分别表示带标签样本集和无标签样本集的训练样本，L和K分别表示样本类别数和聚类中心个数；步骤二、设计一个共享的特征提取模块来同时提取带标签样本和无标签样本的特征；共享的特征提取模块由四个卷积层构成；步骤三、设计监督学习和无监督学习两路分类器，将步骤二得到的特征分别作用于这两类分类器，得到分类任务的预测...

【专利技术属性】
技术研发人员：魏巍，张磊，张锦阳，张艳宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61