基于超像素样本扩充的空谱全卷积高光谱图像分类方法技术

本发明专利技术公开了一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，输入高光谱图像；获取训练集与测试集；对高光谱图像进行主成分分析并降维；对降维结果进行熵率分割；生成伪标签样本；更新训练集；对高光谱图像进行数据预处理；输入卷积神经网络；训练卷积神经网络，对高光谱图像进行分类；重复以上操作并投票表决；输出高光谱分类结果。本发明专利技术利用熵率超像素分割结果进行了伪标签样本的扩充，充分利用了高光谱图像的先验特征，增加样本数量，缓解了网络过拟合、网络收敛速度慢的问题，提高了有标记样本稀缺情况下高光谱图像分类的准确性。

【技术实现步骤摘要】
基于超像素样本扩充的空谱全卷积高光谱图像分类方法
本专利技术属于图像处理
，具体涉及一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法。
技术介绍
随着科学技术的进步，高光谱遥感技术得到了巨大的发展。高光谱数据可表示为高光谱数据立方体，是三维数据结构。高光谱数据可视为三维图像，在普通二维图像之外又多了一维光谱信息。其空间图像描述地表的二维空间特征，其光谱维揭示了图像每一像元的光谱曲线特征，由此实现了遥感数据空间维与光谱维信息的有机融合。高光谱遥感图像含有丰富的光谱信息，可以提供空间域信息和光谱域信息，具有“图谱合一”的特点，可以实现对地物精确的辨别与细节提取，对于认识客观世界提供了有利条件。由于高光谱图像独有的特点，高光谱遥感技术已经广泛的应用在不同的领域。在民用领域，高光谱遥感影像已经被用于城市环境监测、地表土壤监测、地质勘探、灾害评估、农业产量估计、农作物分析等方面。高光谱遥感技术已经广泛的应用于人们的日常生活中。因此，设计实用高效的高光谱图像分类方法，已经成为现代社会必不可少的科技需求。目前，研究人员已经提出了许多经典的分类方法用于高光谱图像分类，代表性的分类方法有支持向量机(SVM)和神经网络(CNN)。SVM通过最大化类别边界，在小样本分类中取得了较好的分类结果。F.MelganiandL.Bruzzone在“Classificationofhyperspectralremotesensingimageswithsupportvectormachines”将SVM引入了高光谱图像分类，在当时取得了最好的分类结果，但是SVM确丁核函数，完全需要经验判断，选择不合适的核函数会导致分类性能不佳。同时，随着深度学习的兴起，卷积神经网络也被应用于高光谱图像分类领域。但是由于训练卷积神经网络需要大量的有标记样本作为训练样本，而高光谱图像标注成本又十分昂贵，所以如何解决小样本问题是目前的一个热门方向。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，以使用分割结果作为先验信息，提升高光谱图像的分类效果。本专利技术采用以下技术方案：基于超像素样本扩充的空谱全卷积高光谱图像分类方法，包括以下步骤：S1、输入高光谱图像PaviaU，从高光谱图像PaviaU中获取训练样本Xt和测试样本Xe；S2、对高光谱数据集进行归一化处理，对每个训练样本从分割标签矩阵中取和在它邻域内并且与它的分割标签相同的n个标签作为伪标签样本加入到训练样本中；S3、分别构建光谱特征提取模块和空谱特征提取模块，构建光谱特征图和空谱特征图加权融合模块，以空谱结合的特征作为输入经过两个卷积层并设置，构建一个用于高光谱分类的空谱结合的全卷积神经网络；S4、构建步骤S3全卷积神经网络的损失函数，训练神经网络；S5、经过多次训练投票得出最终分类结果图，实现图像分类。具体的，步骤S1具体为：S101、记三维高光谱图像PaviaU为U，V，C分别为高光谱图像的空间长度，空间宽度和光谱通道数，高光谱图像包含N个像素点，每个像素点有C个光谱波段，N＝U×V；S102、将X中类别标签1到9的样本每类随机取30个组成初始训练样本集Xt，剩下的作为测试样本Xe。具体的，步骤S2具体为：S201、对三维高光谱图像进行PCA降维处理，降维后图像的通道数为1；S202、对PCA降维后的图像进行熵率超像素分割，分割结果为50块，将得到分割标签矩阵为S203、设真实标签矩阵分割标签矩阵为(x0,y0)处的训练样本的真实标签为分割图中分割标签为选择(x,y)为中心的7×7的空间中满足的任意n个样本，生成伪标签为符合上述标准的伪标签样本进行扩充，此时训练样本数量变成原来的n+1倍，测试样本维持不变。具体的，步骤S3具体为：S301、构建光谱特征提取模块，光谱特征提取模块包括三个卷积层和一个合并层，每个卷积层后面加relu激活函数和批归一化处理；S302、构建空谱特征提取模块，空谱特征提取模块包括1×1卷积，relu激活，批归一化，多尺度空间特征融合层，3×3空洞卷积，relu激活，批归一化，2×2平均池化和一个合并层；S303、构建光谱特征图和空谱特征图加权融合模块；S304、空谱结合的特征作为输入经过两个卷积层；S305、卷积后的特征图进行PCA降维到5维，以备后续CRF处理的使用；S306、对卷积后的特征图进行Softmax操作输出分类概率矩阵，将分类概率矩阵中数值最大的维度数作为预测类别标签进行输出得到分类结果。进一步的，步骤S301中，批归一化处理参数为：momentum＝0.8，卷积核尺寸都为1，步长为1，所有卷积后通道数都为64，连续三次卷积之后将卷积结果相加得出光谱特征图。进一步的，步骤S302中，第一层卷积层使用1×1卷积，步长为1；3×3空洞卷积的dilationrate为2，步长为1；所有卷积结果通道数是64；所有批归一化处理参数都为：momentum＝0.8，合并层是三个卷积层的特征图相加，通道数保持64。进一步的，步骤S303中，将光谱特征图和空谱特征图加权叠加如下：Cunite＝λspectralCspectral+λspatialCspatial其中，Cunite为加权后的特征图，λspectral和λspatial分别为网络中可训练的光谱特征和空间特征的权重系数，Cspectral和Cspatial分别为光谱特征图和空谱特征图。具体的，步骤S4中，损失函数为：L＝L1+L2其中，L为最终的损失函数，L1和L2分别为训练集中的有标记样本和伪标签样本，和表示第i个训练样本的标签和预测标签，j取1或2代表样本为原始样本或伪标签样本。具体的，步骤S5具体为：S501、将步骤S3中PCA降维到5维的卷积后特征图和步骤S4中归一化的高光谱数据输入网络得到的分类结果加入条件随机场；S502、经过条件随机场得到一次训练的分类结果；S503、对相同的训练样本重复以上m次伪样本扩充和网络训练操作，得到m次分类结果，将每个像素的出现次数最多的预测类标作为最终预测类标进行输出。进一步的，步骤S501中，条件随机场的能量函数如下：其中，ψu(yi)和ψp(yi,yj)分别是一元函数部分和二元函数部分。与现有技术相比，本专利技术至少具有以下有益效果：本专利技术一种基于超像素样本扩充的空谱全卷积高光谱图像分类方法，利用了高光谱图像分割产生的结果指导生成了伪标签样本，有效的利用了高光谱图像的先验信息扩充了训练样本，使其在小样本情况下仍能保持较好的分类准确率；采用空谱结合的方式进行特征提取，能够更加充分提取高光谱图像的光谱和空谱特征，从而提高了高光谱图像的分类准确率；在空间特征提取模块中使用了不同dilationrate的空洞卷本文档来自技高网...

【技术保护点】
1.基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，包括以下步骤：/nS1、输入高光谱图像PaviaU，从高光谱图像PaviaU中获取训练样本X

【技术特征摘要】
1.基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，包括以下步骤：
S1、输入高光谱图像PaviaU，从高光谱图像PaviaU中获取训练样本Xt和测试样本Xe；
S2、对高光谱数据集进行归一化处理，对每个训练样本从分割标签矩阵中取和在它邻域内并且与它的分割标签相同的n个标签作为伪标签样本加入到训练样本中；
S3、分别构建光谱特征提取模块和空谱特征提取模块，构建光谱特征图和空谱特征图加权融合模块，以空谱结合的特征作为输入经过两个卷积层并设置，构建一个用于高光谱分类的空谱结合的全卷积神经网络；
S4、构建步骤S3全卷积神经网络的损失函数，训练神经网络；
S5、经过多次训练投票得出最终分类结果图，实现图像分类。


2.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S1具体为：
S101、记三维高光谱图像PaviaU为U，V，C分别为高光谱图像的空间长度，空间宽度和光谱通道数，高光谱图像包含N个像素点，每个像素点有C个光谱波段，N＝U×V；
S102、将X中类别标签1到9的样本每类随机取30个组成初始训练样本集Xt，剩下的作为测试样本Xe。


3.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S2具体为：
S201、对三维高光谱图像进行PCA降维处理，降维后图像的通道数为1；
S202、对PCA降维后的图像进行熵率超像素分割，分割结果为50块，将得到分割标签矩阵为
S203、设真实标签矩阵分割标签矩阵为(x0,y0)处的训练样本的真实标签为分割图中分割标签为选择(x,y)为中心的7×7的空间中满足的任意n个样本，生成伪标签为符合上述标准的伪标签样本进行扩充，此时训练样本数量变成原来的n+1倍，测试样本维持不变。


4.根据权利要求1所述的基于超像素样本扩充的空谱全卷积高光谱图像分类方法，其特征在于，步骤S3具体为：
S301、构建光谱特征提取模块，光谱特征提取模块包括三个卷积层和一个合并层，每个卷积层后面加relu激活函数和批归一化处理；
S302、构建空谱特征提取模块，空谱特征提取模块包括1×1卷积，relu激活，批归一化，多尺度空间特征融合层，3×3空洞卷积，relu激活，批归一化，2×2平均池化和一个合并层；
S303、构建光谱特征图和空谱特征图加权融合模块；
S304、空谱结合的特征作为输入经过两个卷积层；
S305、卷积后的特征图进行PCA降维到5维，以备后续CRF处理的使用；
S30...

【专利技术属性】
技术研发人员：王佳宁，李林昊，郭思颖，黄润虎，杨攀泉，焦李成，侯彪，张向荣，毛莎莎，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61