基于光谱增强和密集连接变压器的高光谱图像分类方法技术

本发明专利技术公开了一种基于光谱增强和密集连接变压器的高光谱图像分类方法，主要解决现有高光谱图像分类性能不佳、分类区域一致性不好的问题。其实现方案为：获取高光谱图像数据集，生成训练样本集与测试样本集；分别构建光谱增强模块、密集连接变压器模块，生成光谱增强和密集连接变压器模型；对光谱增强和密集连接变压器模型进行训练；将测试集输入到训练好的光谱增强和密集连接变压器模型中输出高光谱图像的分类结果。本发明专利技术利用搭建的光谱增强和密集连变压器，能够提取、融合高光谱图像的全局和局部特征及远距离空间信息，提高高光谱图像分类的准确性和一致性，可用于高光谱图像的地物分类土地覆盖测绘、精准农业、城市规划、树种分类和矿产勘探。分类和矿产勘探。分类和矿产勘探。

【技术实现步骤摘要】
基于光谱增强和密集连接变压器的高光谱图像分类方法


[0001]本专利技术属于图像处理
，特别涉及一种高光谱图像分类方法，可用于高光谱图像的地物分类土地覆盖测绘、精准农业、城市规划、树种分类和矿产勘探。

技术介绍

[0002]高光谱图像分类的任务的目的是，通过各种方法对高光谱图像进行逐像素分类，在高光谱图像分类研究的早期阶段，大多数方法都集中在探索光谱特征对分类的作用。这些方法主要集中在像素级分类方法，然而，这些像素级分类器获得的分类图并不令人满意，因为没有考虑空间上下文。高光谱图像的谱分辨率和通道维数远高于自然图像，而传统算法的模型的表达能力往往有限，无法在没有先验知识的条件下针对这种高维问题保持同样良好的处理性能。
[0003]最近，深度学习已成为大数据分析的一个增长趋势，并且在许多计算机视觉任务中取得了重大突破，在高光谱分类任务中也得到了广泛的应用，高光谱分类任务本质上是一种基于高光谱图像的逐像素分类任务，有一大批像素分类算法为该领域奠定了基础。一些方法将自然图像的算法迁移到遥感图像分类的任务中，并提出了若干基于深度学习的遥感图像分类方法。然而，由于这些方法采用自然图像相同或相似的方式将卷积神经网络应用于遥感图像，它们将图像逐像素分类看作为一个图像分类任务，因而，限制了输入更大的局部信息，只能选择性的使用较少的像素局部信息。
[0004]2021年Hong等人在TGARS上发表的《SpectralFormer:Rethinking Hyperspectral Image Classification With transformers》中提出的使用变压器解决图像分类问题，相比起卷积神经网络CNN未能很好地挖掘和表示光谱特征的序列属性，此方法把像素分类问题看作是一个分类问题，把一个像素前面或和后面的像素捆绑在一起作为一个像素的输入，随后加入位置编码信息后送入到编码器中，后面再通过一个线性层对这个像素块进行预测。这个方法虽说是视觉变压器模型在高光谱图像分类领域的开山之作，但由于该网络的输入只是一个像素的前后像素，没有充分利用好高光谱图像的局部相似性，所以在最后分类结果中有很多的分类结果出现大块中间有很多小的误判像素，且由于视觉变压器原本是分类网络，而高光谱分类网络是逐像素分类，导致分类网络的精度不是很理想。
[0005]2021年Zheng等人在TGARS上发表论文《Spectral
‑
Spatial transformer Network for Hyperspectral Image Classification:A Factorized Architecture Search Framework》提出新的光谱
‑
空间变换器网络，其由空间注意和光谱关联模块组成，以克服卷积核的限制。此外，还设计了一个分解架构搜索FAS，该方法虽然将空间和光谱信息都考虑到网络中，但是由于使用注意力模块减弱了对于光谱空间信息的提取，不能充分提取光谱的局部信息，导致分类性能不好。
[0006]浙江工业大学在申请号为CN202210450076.9的专利申请文献中公开一种“基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法”，其首先在3D
‑
CNN中嵌入扩张卷积构建不同尺度的谱空特征提取结构，实现多尺度特征融合，但是，该方法由于使用了缺
乏提取远距离空间信息能力的CNN网络，因而不能充分提取高光谱图像的空间特征，导致分类结果不好。

技术实现思路

[0007]本专利技术的目的在于针对上述已有方法的不足，提出一种基于光谱增强和密集连接变压器的高光谱图像分类方法，以提高分类精度，实现对远距离空间信息的提取。
[0008]实现本专利技术目的的技术思路是：通过对输入图像块进行光谱增强，充分提取高光谱图像的空间光谱信息，再输入到变压器模块，实现对远距离空间信息的提取；通过对变压器模块的密集连接，更好地促进浅层特征到深层的传递，提高分类的性能。
[0009]根据上述思路，本专利技术的实现步骤包括如下：
[0010]1.基于光谱增强和密集连接变压器的高光谱图像分类方法，其特征在于，包括如下步骤：
[0011](1)构建训练样本集与测试样本集：
[0012]1a)从公开网站下载带有标签的高光谱图像，根据有标签像素生成样本集，对于高光谱图像中的每个像素，在其周围划定一个11
×
11大小的空间窗作为一个像素块，每个数据块都是一个数据立方体，将所有的数据立方体组成该高光谱图像的样本集；
[0013]1b)在高光谱图像的样本集中，对于每个类随机取5％作为训练样本，组成高光谱图像的训练样本集，将剩余的95％样本组成高光谱图像的测试样本集；
[0014](2)搭建一个包括最大池化层，平均池化层和sigmoid激活函数组成的光谱增强模块；
[0015](3)构建密集连接变压器模块：
[0016]3a)搭建包括第一标准化层、多头自注意力层、第二标准化层和多层感知器层组成编码器模块；
[0017]3b)将5层编码器模块进行堆叠，并在各个编码器之间中加入密集连接，即将每一个编码器模块之前所有编码器模块的输出依次加和到当前编码器模块的输入上，形成了密集连接变压器模块；
[0018](4)将光谱增强模块，密集连接变压器模块和全连接层依次级联，生成光谱增强和密集连接变压器模型，并将交叉熵函数作为该模型的损失函数L：
[0019](5)利用训练样本，采用梯度下降法对光谱增强和密集连接变压器模型进行训练，得到训练好的光谱增强和密集连接变压器模型；
[0020](6)将高光谱图像的测试样本集逐个输入到训练好的光谱增强和密集连接变压器模型，将全连接层的输出作为测试样本的预测标签，获得分类结果。
[0021]本专利技术与现有技术相比较，具有以下优点：
[0022]第一，本专利技术由于构建了编码器模块，能充分的提取光谱的远距离空间信息，克服传统卷积不能提取全局空间信息的问题；同时由于本专利技术在多个编码器间加入了密集连接，可以使模型的浅层特征更好的向深层传递，克服了现有技术中不能很好的将浅层信息传递到深层的问题，提高了高光谱图像分类的准确性。
[0023]第二，由于本专利技术由于构建了光谱增强模块，可以充分的利用高光谱图像的光谱
‑
空间特征，克服了现有技术中对于高光谱图像区域一致性特征运用不充分的问题，使得图
像分类结果中很少有大块中很多误判像素，缓解了分类结果区域一致性不好的问题，提高了高光谱图像分类的鲁棒性。
附图说明
[0024]图1是本专利技术的实现流程图；
[0025]图2是本专利技术的仿真结果图。
具体实施方式
[0026]下面结合附图对本专利技术实施例和效果做进一步详细的描述。
[0027]参照图1，对本实例的实现步骤如下：
[0028]步骤1.获取高光谱图像数据集。
[0029]从公开网站下载标记有地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光谱增强和密集连接变压器的高光谱图像分类方法，其特征在于，包括如下步骤：(1)构建训练样本集与测试样本集：1a)从公开网站下载带有标签的高光谱图像，根据有标签像素生成样本集，对于高光谱图像中的每个像素，在其周围划定一个11
×
11大小的空间窗作为一个像素块，每个数据块都是一个数据立方体，将所有的数据立方体组成该高光谱图像的样本集；1b)在高光谱图像的样本集中，对于每个类随机取5％作为训练样本，组成高光谱图像的训练样本集，将剩余的95％样本组成高光谱图像的测试样本集；(2)搭建一个包括最大池化层，平均池化层和sigmoid激活函数组成的光谱增强模块；(3)构建密集连接变压器模块：3a)搭建包括第一标准化层、多头自注意力层、第二标准化层和多层感知器层组成编码器模块；3b)将5层编码器模块进行堆叠，并在各个编码器之间中加入密集连接，即将每一个编码器模块之前所有编码器模块的输出依次加和到当前编码器模块的输入上，形成了密集连接变压器模块；(4)将光谱增强模块，密集连接变压器模块和全连接层依次级联，生成光谱增强和密集连接变压器模型，并将交叉熵函数作为该模型的损失函数L：(5)利用训练样本，采用梯度下降法对光谱增强和密集连接变压器模型进行训练，得到训练好的光谱增强和密集连接变压器模型；(6)将高光谱图像的测试样本集逐个输入到训练好的光谱增强和密集连接变压器模型，将全连接层的输出作为测试样本的预测标签，获得分类结果。2.根据权利要求1所述的方法，其特征在于，步骤(2)中搭建的光谱增强模块结构及参数如下：最大池化层与平均池化层并列相连，其输出的向量与激活函数层的输入相连，激活函数层的输出与原始数据做点乘得到光谱增强模块最后的输出；所述激活函数层的输入和输出大小均为1
×
1；所述最大池化层的池化核大小为11
×
11，卷积步长为1，输入大小为11
×
11，输出大小为1
×
1；所述平均池化层的池化核大小为11
×
11，步长为1，输入大小为11
×
11，输出大小为1
×
1。3.根据权利要求1所述的方法，其特征在于，(3a)中搭建的编码器结构及各层参数如下...

【专利技术属性】
技术研发人员：冯婕，吴永恩，焦李成，张向荣，尚荣华，慕彩红，王蓉芳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：