基于改进的Swin-Transformer网络的高光谱图像分类方法技术

本发明专利技术公开了一种基于改进的Swin

【技术实现步骤摘要】
基于改进的Swin
‑
Transformer网络的高光谱图像分类方法


[0001]本专利技术涉及遥感高光谱图像处理
，特别涉及一种基于改进的Swin
‑
Transformer网络的高光谱图像分类方法。

技术介绍

[0002]高光谱遥感技术基于成像高光谱传感器系统获取到的融合了光谱和空间信息的数据，为研究地表和大气中的空间现象与过程提供了一种创新的方式。如果高光谱影像数据具有足够的质量，那么理论上利用这些数据就能够以近似实验室光谱分析的水平，对一定距离以外的目标进行观测和分析。目前成像高光谱遥感技术已被成功的应用于越来越广泛的学科和领域中，包括地质、生态、林业、冰雪、土壤、环境、水文、灾害管理、城市监测、大气研究、农业、渔业、海洋乃至国家安全等方面。由此可见，对高光谱图像的分析和研究具有深远的现实意义，其中对于高光谱图像中像素所代表的地物进行准确率的分类具有重要研究价值。
[0003]通常来说每个地物都会发射、反射和吸收电磁波，因此不同的地面物体会在相同的波长范围内产生不同的反射值，并且多个连续的波段构成地物的光谱曲线。因此，高光谱图像中的每个像素都可以被认为是由许多光谱组成的高维数据立方体，而高光谱图像分类的目标则是使用数据立方体中丰富的光谱信息对每个像元赋予对应的类别标签。目前，已有许多基于光谱信息的分类算法被提出。这些逐像元分类算法具有易于扩展和计算的优点。然而，这些算法忽略了地物分布的空间连续性，即相邻像元之间的空间相关性，而只依赖于高光谱数据的光谱信息，使得构建的分类器无法很好的拟合这样的高维数据，这种现象被称为休斯现象。除此之外，同物异谱现象也普遍存在于高光谱数据中，即相同的地物可能会由于受到不同的光照强度、阴影等因素而产生不同的光谱曲线。综上，这些问题导致了逐像素的分类方法的效果难以令人满意。因此如何有效解决以上问题成为提升高光谱图像分类性能的关键。
[0004]高光谱图像分类技术主要分为两类：传统机器学习方法和深度学习方法。主成分分析、线性判别分析等传统优化方法具有简单、易于实现的特点，但只能提取到低维的频谱、空间特征信息。但是传统的机器学习涉及手动设计来提取和学习特征，不正确的降维过程会丢失大量光谱信息，导致只能获取浅层特征信息。因而传统方法难以实现较高的分类精度。近年来深度学习技术在各种任务中展现了其强大的特征提取能力，并且与传统方法相比，深度学习需要较少的人工约束便可以对数据特征进行深层次挖掘，同时端到端的方法减少了预处理中数据维度降低导致的信息丢失的问题。深度学习方法可以充分挖掘高光谱数据的深层特征，从而取得了比传统方法更高的分类精度。
[0005]尽管已有许多深度学习方法已经能够获得不错的分类结果，但他们在表征光谱信息的能力仍有不足，主要包含以下两个方面：一，作为主流的主干架构，CN N在从HS图像中提取空间结构信息和局部上下文信息方面显示出强大的能力。然而CNN很难很好地捕捉序列属性，尤其是中长期依赖关系。这不可避免地遇到了高光谱图像分类任务中的性能瓶颈，
特别是当待分类的类别种类繁多且光谱特征极其相似时。二，RNN是为序列数据设计的，它以有序的方式从高光谱图像中逐带累积地学习光谱特征。这种模式极度依赖光谱带的顺序，容易产生梯度消失，因而难以学习长期依赖。综上所述，需要针对高光谱数据的特点进行适当的数据预处理，并对现有网络进行改进从而实现对高光谱图像中丰富光谱信息的有效利用，以达到提高分类精度的目的。

技术实现思路

[0006]为了解决现有高光谱图像分类方法难以有效利用高光谱图像中丰富的光谱信息的问题，本专利技术提出使用Swin
‑
Transformer网络对高光谱图像进行逐像素分类。由于高光谱图像具有较高的维度，从而考虑对数据进行降维，并提出一种空间光谱重组合模块，同时在这一过程中使得不相邻的光谱变得邻近，并且还将中心像素周围的像素考虑进来，从而有效降低网络挖掘光谱信息的难度。
[0007]另外，为了避免层间前馈过程中信息丢失，提出一种跨层融合模块。通过将网络中当前层的输出与上一层的输出进行融合，实现信息由浅层到深层的传递，从而避免了有效信息在前馈过程中的丢失；
[0008]为了实现以上专利技术目的，本专利技术采取的技术方案如下：
[0009]一种基于改进的Swin
‑
Transformer网络的高光谱图像分类方法，具体步骤为：
[0010]S1，针对高光谱数据的特点，提出一种空间光谱重组合模块，对数据进行预处理。
[0011]建立空间光谱重组合模块，空间光谱重组合模块将高光谱数据中一个像素的数据由原来的一维数据变为二维数据，并且对变换后的数据的光谱带进行了移动，使得原本不相邻的光谱带变得临近，并在网络学习的过程中被一起考虑。另外，同时考虑了与该像素邻近的其他像素，并将这些额外的提供的信息作为提高中心像元分类精度的辅助信息。最后将处理后的数据输出给高光谱图像分类网络；
[0012]S2，改进Swin
‑
Transformer网络，在网络中增添跨层融合模块，避免层间前馈过程中信息丢失。通过将网络中当前层的输出与上一层的输出进行融合，实现信息由浅层到深层的传递，从而避免了有效信息在前馈过程中的丢失；
[0013]跨层融合模块由下采样操作和全连接层组成。下采样操作改变了特征图的大小，而全连接层改变了特征图的通道。最后，将残差连接的输出与基本块的输出进行融合。
[0014]S3，将空间光谱重组合模块插入到改进后的Swin
‑
Transformer网络中，并以公开的高光谱图像数据作为训练数据，训练过程如下：
[0015]首先对数据进行可视化，以不同颜色代表待分类的不同类别，选取部分像素点作为Swin
‑
Transformer模型的训练数据，剩下所有经过标注的部分作为测试数据(这里使用的是公共数据集，在这些数据集上，已经对高光谱图像中的每个像素所属的地表覆盖类型进行了标注，比如第一个像素对应的地表覆盖类型为森林)。然后训练数据在经过空间光谱重组合模块处理后输入改进的Swin
‑
Transformer模型进行多轮训练，训练结束后在测试集上对模型进行评估，并对模型的超参数进行微调后重新进行训练。最后对比多组实验结果，得到鲁棒性强，泛化能力好，精度高的模型。
[0016]进一步地，S1中空间光谱重组合模块的处理流程如下：
[0017]S11，根据高光谱数据的通道数计算重组后数据的宽度和高度。公式如下：
[0018][0019]其中C为高光谱数据的通道数。
[0020]S12，在原始数据的基础上对相邻通道进行移动，将所有通道向右移动一个单位，同时将最后一个通道移动到第一位。将所有通道向右移动两个单位，同时将最后两个通道移动到第一和第二位。重复以上操作，对通道进行n次移动。
[0021]S13，将通道移动后的高光谱数据沿着通道维度进行展开，得到二维数据(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的Swin
‑
Transformer网络的高光谱图像分类方法，具体步骤为：S1，针对高光谱数据的特点，提出一种空间光谱重组合模块，对数据进行预处理；建立空间光谱重组合模块，空间光谱重组合模块将高光谱数据中一个像素的数据由原来的一维数据变为二维数据，并且对变换后的数据的光谱带进行了移动，使得原本不相邻的光谱带变得临近，并在网络学习的过程中被一起考虑；另外，同时考虑了与该像素邻近的其他像素，并将这些额外的提供的信息作为提高中心像元分类精度的辅助信息；最后将处理后的数据输出给高光谱图像分类网络；S2，改进Swin
‑
Transformer网络，在网络中增添跨层融合模块，避免层间前馈过程中信息丢失；通过将网络中当前层的输出与上一层的输出进行融合，实现信息由浅层到深层的传递，从而避免了有效信息在前馈过程中的丢失；跨层融合模块由下采样操作和全连接层组成；下采样操作改变了特征图的大小，而全连接层改变了特征图的通道；最后，将残差连接的输出与基本块的输出进行融合；S3，将空间光谱重组合模块插入到改进后的Swin
‑
Transformer网络中，并以公开的高光谱图像数据作为训练数据，训练过程如下：首先对数据进行可视化，以不同颜色代表待分类的不同类别，选取部分像素点作为Swin
‑
Transformer模型的训练数据，剩下所有经过标注的部分作为测试数据；然后训练数据在经过空间光谱重组合模块处理后输入改进的Swin
‑
Transformer模型进行多轮训练，训练结束后在测试集上对模型进行评估，并对模型的超参数进行微调后重新进行训练；最后对比多组实验结果，得到鲁棒性强，泛化能力好，精度高的模型。2.根据权利要求1所述的一种基于改进的Swin
‑
Transformer网络的高光谱图像分类方法，其特征在于：S1中空间光谱重组合模块的处理流程如下：S11，根据高光谱数据的通道数计算重组后数据的宽度和高度；公式如下：其中C为高光谱数据的通道数；S12，在原始数据的基础上对相邻通道进行移动，将所有通道向右移动一个单位，同时将最后一个通道移动到第一位；将所有通道向右移动两个单位，同时将最后两个通道移动到第一和第二位；重复以上操作，对通道进行n次移动；S13，将通道移动后的高光谱数据沿着通道维度进行展开，得...

【专利技术属性】
技术研发人员：景维鹏，李超，康佩伦，陈广胜，谷俊涛，
申请(专利权)人：黑龙江省网络空间研究中心，
类型：发明
国别省市：