基于双分支网络的高光谱分类方法技术

本发明专利技术提供的基于双分支网络的高光谱分类方法，首先，通过数据重采样的方法，既保证训练过程中的每次迭代时输入数据各类别样本数量不是恒定相等的，又能保证在统计学上参与训练的每类样本是均衡的。这样不仅有效缓解了网络学习中的样本不平衡问题，同时保持了数据的多样性；为了提取数据多尺度特征，本发明专利技术使用了双分支的网络结构，通过三种训练策略，进行半监督学习，这样不仅扩充了训练集，而且通过集成学习策略，相比于其他分类方法，极大程度的提高了分类精度。本发明专利技术提出的基于双分支网络的高光谱分类方法不仅在性能上优于其他方法，而且在训练效率上也优于其他方法。

【技术实现步骤摘要】
基于双分支网络的高光谱分类方法
本专利技术属于图像处理
，具体涉及基于双分支网络的高光谱分类方法。
技术介绍
高分辨率的高光谱图像不仅可以显示地物的几何结构和空间信息，而且，还包含了丰富的光谱信息。因此，高光谱图像为广泛的应用提供了基础，如地面物体识别与分类，矿物勘探，精准农业等。对于这些应用而言，最基本任务就对是高光谱图像的分类。但是，在高光谱图像的分类中，还面临许多挑战，例如，类间相似性，训练数据有限，样本不平衡等等。为了解决这些问题，许多研究者提出了不同的解决方案。起初，Bigdeli等人应用支持向量机(SVM)来解决这一问题。后来，随机森林和无监督的聚类方法(如k-均值，模糊聚类)也被应用来解决这个问题。现如今在目标检测、人脸图像识别、语音识别、图像配准等领域表现非凡的深度学习也逐步被应用于这一领域。Lietal.等人发表的论文“HyperspectralImageClassificationUsingDeepPixel-PairFeatures”(IEEETransactionsonGeoscienceRemoteSensing,55(2),pp.844-853,2016.)中提出了一种像素对的方法，该方法被用于缓解有限的训练样本的问题。对于测试像素，通过组合中心像素和每个周围像素构建像素对，再由训练的CNN分类，然后最终标签由投票策略确定。该方法利用CNN网络学习像素对的特征，具有较强的分类能力，但是对于空间特征和光谱特征融合后的特征分类能力较差。XiaodongXu等人发表的论文“Multisourceremotesensingdataclassificationbasedonconvolutionalneuralnetwork”(IEEETransactionsonGeoscienceRemoteSensing(99),pp.1-13,2017)中提出了一个双分支网络(2D+1D)，分别使用二维卷积网络和一维卷积网络提取空间特征和光谱特征，然后融合特征进行最终分类。然而，一维卷积网络的输入是仅由中心像素组成的矢量，当它们是噪声或混合像素时，这种网络的分类性能将会大幅度下降。
技术实现思路
本专利技术的目的在于提供基于双分支网络的高光谱分类方法，解决了现有的对高光谱图像进行分类的方法分类能力差的问题。为了达到上述目的，本专利技术采用的技术方案是：本专利技术提供的基于双分支网络的高光谱分类方法，包括以下步骤：步骤1)，将待处理的高光谱图像数据进行预处理，得到预处理后的高光谱图像；步骤2)，将步骤1)中所得的预处理高光谱图像进行制作并划分，得到训练样本和测试样本；步骤3)，将步骤2)中得到的训练样本进行数据重采样，得到一个批次的平衡样本；步骤4)，将步骤3)中得到的一个批次的平衡样本，输入到双分支网络结构中，分别得到特征向量F1和特征向量F2，并将特征向量F1和特征向量F2进行级联得到特征向量F；步骤5)，利用三种训练方式分别对步骤4)中的双分支网络结构进行训练，得到三种训练模型；步骤6)，将测试样本分别输入到步骤5)得到的三种训练模型中进行预测，得到三个测试样本中每类像素点对应的预测标签及该预测标签对应的置信度；步骤7)，若三种训练模型中有两个训练模型预测的测试样本中每类像素点对应的预测标签相同，且该预测标签对应的置信度至少为90％，则将该预测标签假定为真实标签，并将该真实标签对应的测试样本放入步骤2)中的训练样本中，反之，则执行步骤8)；步骤8)，重复迭代步骤3)至步骤7)，直至三种训练模型输出的预测结果趋于稳定为止，得到最终的预测结果。优选地，步骤1)中，将训练数据进行预处理的具体方法是：第一步，使用立方插值法将高光谱图像的分辨率调整为与地面真实的分辨率一致；第二步，将高光谱图像的所有光谱信息用z-score标准化，使其分布的均值和方差分别为0和1。优选地，步骤2)中，对预处理高光谱图像进行制作并划分的具体方法是：首先，在该高光谱图像上以每个像素点为中心，剪切边长为a的正方形图像块，同时将该正方形图像块的所属类别记为其中心像素点的所属类别；然后，从该高光谱图像的左上角开始，将每类像素按出现的先后顺序进行排序，并将该类像素的前30％作为训练样本，剩余为测试样本。优选地，步骤3)中，数据重采样的具体方法是：第一步，从步骤2)中得到的训练样本中，有放回的随机采样相同数量的每类样本，并放入临时数据池中；第二步，在临时数据池中随机选取一部分数据作为双分支网络结构的输入。优选地，步骤4)中，双分支网络结构包括上分支网络和下分支网络，其中，上分支网络包括三层网络结构，第一层上分支网络结构和第二层上分支网络结构相同，均包括卷积层，卷积层连接有一个激活函数和一个池化层；第三层上分支网络结构包括卷积层，卷积层连接有一个激活函数；下分支网络包括三层网络结构，第一层下分支网络结构包括卷积层，卷积层连接有一个激活函数和一个池化层；第二层下分支网络结构包括卷积层，卷积层连接有一个激活函数；第三层下分支网络结构包括双线性插值，双线性插值连接有池化层。优选地，双分支网络结构构建的具体方法是：将数据重采样之后得到的一个批次的平衡样本作为数据源输入到双分支网络结构中的上分支网络中，经过卷积、池化及全连接操作后得到对应的特征向量F1；同时，在该批次的平衡样本上，以每个样本的中心点为中心，随机剪切边长为b的正方形图像块，并将该正方形图像块输入到下分支网络中，经过卷积、池化、双线性插值及全连接操作后得到特征向量F2；最后，将特征向量F1和特征向量F2进行级联得到新的特征向量F。优选地，步骤5)中，三种训练方式分别对步骤4)中的双分支网络结构进行训练的具体方法是：第一种训练方式的具体方法是：将步骤4)中所得的新的特征向量F经过全连接层产生交叉熵，之后将所得到的交叉熵进行优化级联，得到第一种训练模型；第二种训练方式的具体方法是：首先，将步骤4)中所得的新的特征向量F经过全连接层后产生交叉熵，然后优化此交叉熵；其次，分别将特征向量F1和特征向量F2经过全连接层产生两个交叉熵，分别对该两个交叉熵进行优化；最后得到第二种训练模型；第三种训练方式的具体方式是：首先，训练双分支网络结构中的上分支网络并使其达到最优；其次，分别将步骤4)中所得的新的特征向量F和特征向量F2经过全连接层产生两个交叉熵，分别对该两个交叉熵进行优化；最后得到第三种训练模型。优选地，所述的交叉熵损失的计算方法，按如下步骤进行：第一步，将特征向量经过全连接层和softmax函数后，得到模型预测的输入样本类别的概率分布第二步，对于单个样本交叉熵损失为：其中，{y1,y2,...,yi,...,yC}为输入数据的真实标签分布，为模型预测输入样本的概率分布，其中C表示样本中类别的总个数。与现有技术相比，本专利技术的有益效果是：本专利技术提供的基于双分支网络的高光谱分类方法，首先，通过数据重采样的方法，既保证训练过程中的每次迭代时输入数据各类别样本数量不是恒定相等的，又能保证在统计学上参与训练的每类样本是均衡的。这样不仅有效缓解了网络学习中的样本不平衡问题，同时保持了数据的多样性；为了提取数据多尺度特征，本专利技术使用了双分支的网络结构，通过三种训练策略，进行半监督学习，这样不仅扩充了训练本文档来自技高网...

【技术保护点】
1.基于双分支网络的高光谱分类方法，其特征在于，包括以下步骤：步骤1)，将待处理的高光谱图像数据进行预处理，得到预处理后的高光谱图像；步骤2)，将步骤1)中所得的预处理高光谱图像进行制作并划分，得到训练样本和测试样本；步骤3)，将步骤2)中得到的训练样本进行数据重采样，得到一个批次的平衡样本；步骤4)，将步骤3)中得到的一个批次的平衡样本，输入到双分支网络结构中，分别得到特征向量F1和特征向量F2，并将特征向量F1和特征向量F2进行级联得到特征向量F；步骤5)，利用三种训练方式分别对步骤4)中的双分支网络结构进行训练，得到三种训练模型；步骤6)，将测试样本分别输入到步骤5)得到的三种训练模型中进行预测，得到三个测试样本中每类像素点对应的预测标签及该预测标签对应的置信度；步骤7)，若三种训练模型中有两个训练模型预测的测试样本中每类像素点对应的预测标签相同，且该预测标签对应的置信度至少为90％，则将该预测标签假定为真实标签，并将该真实标签对应的测试样本放入步骤2)中的训练样本中，反之，则执行步骤8)；步骤8)，重复迭代步骤3)至步骤7)，直至三种训练模型输出的预测结果趋于稳定为止，得到最终的预测结果。...

【技术特征摘要】
1.基于双分支网络的高光谱分类方法，其特征在于，包括以下步骤：步骤1)，将待处理的高光谱图像数据进行预处理，得到预处理后的高光谱图像；步骤2)，将步骤1)中所得的预处理高光谱图像进行制作并划分，得到训练样本和测试样本；步骤3)，将步骤2)中得到的训练样本进行数据重采样，得到一个批次的平衡样本；步骤4)，将步骤3)中得到的一个批次的平衡样本，输入到双分支网络结构中，分别得到特征向量F1和特征向量F2，并将特征向量F1和特征向量F2进行级联得到特征向量F；步骤5)，利用三种训练方式分别对步骤4)中的双分支网络结构进行训练，得到三种训练模型；步骤6)，将测试样本分别输入到步骤5)得到的三种训练模型中进行预测，得到三个测试样本中每类像素点对应的预测标签及该预测标签对应的置信度；步骤7)，若三种训练模型中有两个训练模型预测的测试样本中每类像素点对应的预测标签相同，且该预测标签对应的置信度至少为90％，则将该预测标签假定为真实标签，并将该真实标签对应的测试样本放入步骤2)中的训练样本中，反之，则执行步骤8)；步骤8)，重复迭代步骤3)至步骤7)，直至三种训练模型输出的预测结果趋于稳定为止，得到最终的预测结果。2.根据权利要求1所述的基于双分支网络的高光谱分类方法，其特征在于，步骤1)中，将训练数据进行预处理的具体方法是：第一步，使用立方插值法将高光谱图像的分辨率调整为与地面真实的分辨率一致；第二步，将高光谱图像的所有光谱信息用z-score标准化，使其分布的均值和方差分别为0和1。3.根据权利要求1所述的基于双分支网络的高光谱分类方法，其特征在于，步骤2)中，对预处理高光谱图像进行制作并划分的具体方法是：首先，在该高光谱图像上以每个像素点为中心，剪切边长为a的正方形图像块，同时将该正方形图像块的所属类别记为其中心像素点的所属类别；然后，从该高光谱图像的左上角开始，将每类像素按出现的先后顺序进行排序，并将该类像素的前30％作为训练样本，剩余为测试样本。4.根据权利要求1所述的基于双分支网络的高光谱分类方法，其特征在于，步骤3)中，数据重采样的具体方法是：第一步，从步骤2)中得到的训练样本中，有放回的随机采样相同数量的每类样本，并放入临时数据池中；第二步，在临时数据池中随机选取一部分数据作为双分支网络结构的输入。5.根据权利要求1所述的基于双分支网络的高光谱分类方法，其特征在于，步骤4)中，双分支...

【专利技术属性】
技术研发人员：王爽，焦李成，张松，方帅，权豆，周立刚，梁雪峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61