基于自适应光谱空间核结合ViT高光谱图像分类方法技术

本发明专利技术基于自适应光谱空间核结合ViT高光谱图像分类方法属于图像分类技术领域；该方法依次执行以下步骤：步骤a、输入待分类的高光谱图像；步骤b、使用主成分分析方法去除光谱冗余；步骤c、使用基于注意力的自适应光谱空间核进行特征提取；步骤d、将提取的特征输入到ViT中；步骤e、使用多层感知机得到分类结果；本发明专利技术通过长距离捕获HSI序列的光谱关系，并充分利用数据的局部和全局信息，解决了CNN方法获取深度语义特征能力有限问题，提高了分类精度。度。度。

【技术实现步骤摘要】
基于自适应光谱空间核结合ViT高光谱图像分类方法


[0001]本专利技术基于自适应光谱空间核结合ViT高光谱图像分类方法属于图像分类


技术介绍

[0002]高光谱HSI遥感技术是获取地表信息的重要方式。高光谱遥感图(Hyperspectral Imagery，HSI)是通过高光谱成像仪获取的图像，它的空间信息和光谱信息十分丰富。与普通图像相比，高光谱遥感图像还具备更多的波段数以及极高的分辨率。高光谱遥感对地观测技术的应用十分普遍，例如精准农业、土地覆盖分析、海洋水文检测、地质勘探等领域，高光谱遥感及应用也必将在我国经济、农业、环境监测等各个方面发挥越来越重要的作用。
[0003]在早期的高光谱分类研究中，很多传统的机器学习方法已经应用于高光谱图像分类，主要如K近邻法、支持向量机、随机森林、朴素贝叶斯和决策树等。虽然这些传统的方法都取得了很好的性能，但是他们都是基于浅层特征进行学习分类的，而且依赖手动设计分类特征，难以学习到高光谱图像中更复杂的信息。
[0004]随着深度学习的发展，深度学习已经成为高光谱图像分类领域的研究新热点，基于深度学习高光谱图像分类算法能够自动的获取图像的高级特征，使得分类模型能更好的表征数据的特点，提高分类的精度。虽然基于CNN的HSI分类方法具有空间特征提取的优点，HSI图像的特点是具有近似连续的光谱信息，通常包含数百个谱带，CNN不擅于处理序列数据，而基于注意力机制的Transformer模型证明了其在处理序列数据的优势，另一方面，CNN具有良好的局部感知性，由于固有网络主干的局限性，CNN无法很好地挖掘和表示光谱特征的序列属性，而基于注意力机制的Transformer模型，使模型可以并行化训练，并拥有全局信息。近期，Transformer在视觉方向的应用成为热点，HSI的光谱是一种序列数据，通常包含数百个谱带。基于注意机制的Transformer模型在处理顺序数据方面已证明了其优势。

技术实现思路

[0005]发挥基于注意机制的Transformer模型的优势，本专利技术公开了一种基于自适应光谱空间核结合ViT高光谱图像分类方法，通过长距离捕获HSI序列的光谱关系，并充分利用数据的局部和全局信息，解决CNN方法获取深度语义特征能力有限问题，提高分类精度。
[0006]本专利技术的目的是这样实现的：
[0007]基于自适应光谱空间核结合ViT高光谱图像分类方法，包括以下步骤：
[0008]步骤a、输入待分类的高光谱图像；
[0009]步骤b、使用主成分分析方法去除光谱冗余；
[0010]步骤c、使用基于注意力的自适应光谱空间核进行特征提取；
[0011]步骤d、将提取的特征输入到ViT中，所述ViT为Vision Transformer的缩写；
[0012]步骤e、使用多层感知机得到分类结果。
[0013]上述的基于自适应光谱空间核结合ViT高光谱图像分类方法，步骤b具体包括以下
步骤：
[0014]步骤b1、计算出三维原始高光谱数据的协方差矩阵；
[0015]步骤b2、根据所述协方差矩阵求出特征值和特征向量；
[0016]步骤b3、按照特征值从大到小的顺序排列特征向量；
[0017]步骤b4、使用特征向量作为加权系数，计算得到B个主成分分量，所述B为高光谱图像的波段数目。
[0018]上述的基于自适应光谱空间核结合ViT高光谱图像分类方法，步骤c具体包括以下步骤：
[0019]步骤c1、在多个不同大小的核之间进行选择性内核卷积；
[0020]步骤c2、通过四个连续的ResBlock进行光谱和空间特征学习。
[0021]上述的一种基于自适应光谱空间核结合ViT高光谱图像分类方法，步骤d具体包括以下步骤：
[0022]步骤d1、将patch输入到嵌入层，得到token向量；
[0023]步骤d2、在一系列token向量前面加上位置信息，对应着0～n；
[0024]步骤d3、将加有位置信息的token向量输入到Transformer Encoder中，将block重复堆叠L次。
[0025]上述的基于自适应光谱空间核结合ViT高光谱图像分类方法，在步骤e中：通过MLP Head对Vision Transformer的输出进行分类处理，所述MLP Head由LayerNorm和两层全连接层组成，并且采用GELU激活函数用于分类得到最终的分类结果。
[0026]有益效果：
[0027]本专利技术基于自适应光谱空间核结合ViT高光谱图像分类方法依次执行以下步骤：步骤a、输入待分类的高光谱图像；步骤b、使用主成分分析方法去除光谱冗余；步骤c、使用基于注意力的自适应光谱空间核进行特征提取；步骤d、将提取的特征输入到ViT中；步骤e、使用多层感知机得到分类结果；通过长距离捕获HSI序列的光谱关系，并充分利用数据的局部和全局信息，解决了CNN方法获取深度语义特征能力有限问题，提高了分类精度。
附图说明
[0028]图1是本专利技术基于自适应光谱空间核结合ViT高光谱图像分类方法的流程图。
[0029]图2是本专利技术方法中的基于自适应光谱空间核结合ViT网络原理示意图。
[0030]图3是本专利技术方法中的Vision Transformer的原理示意图。
[0031]图4是本专利技术方法中的Transformer编码器原理示意图。
[0032]图5是本专利技术方法中的Indian Pines数据集中所采用方法的分类结果图。
[0033]图6是本专利技术方法中的Pavia University数据集中所采用方法的分类结果图。
[0034]图7是本专利技术方法中的Xuzhou数据集中所采用方法的分类结果图。
[0035]图8是本专利技术方法中的WHU
‑
Hi
‑
LongKou数据集中所采用方法的分类结果图。
具体实施方式
[0036]下面结合附图对本专利技术具体实施方式作进一步详细描述。
[0037]本具体实施方式下的基于自适应光谱空间核结合ViT高光谱图像分类方法，流程
图如图1所示，网络原理示意图如图2所示，包括以下步骤：
[0038]步骤a、输入待分类的高光谱图像。
[0039]在本具体实施方式中，采用4个公开的数据集，分别为Indian Pines数据集，Pavia University数据集，Xuzhou数据集和WHU
‑
Hi
‑
LongKou数据集。
[0040](1)Indian Pines数据集：由AVIRIS传感器在美国印第安纳州(Indiana)西北部的Indian Pines农业试验场上空获得。原始数据共224个波段，去除4个零波段和20个水体吸收波段(104
‑
108，150
‑
163，220)，余下200个波段供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应光谱空间核结合ViT高光谱图像分类方法，其特征在于，包括以下步骤：步骤a、输入待分类的高光谱图像；步骤b、使用主成分分析方法去除光谱冗余；步骤c、使用基于注意力的自适应光谱空间核进行特征提取；步骤d、将提取的特征输入到ViT中，所述ViT为Vision Transformer的缩写；步骤e、使用多层感知机得到分类结果。2.根据权利要求1所述的基于自适应光谱空间核结合ViT高光谱图像分类方法，其特征在于，步骤b具体包括以下步骤：步骤b1、计算出三维原始高光谱数据的协方差矩阵；步骤b2、根据所述协方差矩阵求出特征值和特征向量；步骤b3、按照特征值从大到小的顺序排列特征向量；步骤b4、使用特征向量作为加权系数，计算得到B个主成分分量，所述B为高光谱图像的波段数目。3.根据权利要求1所述的基于自适应光谱空间核结合ViT高光谱图像分类方法，其特征在于，步骤c具体包...

【专利技术属性】
技术研发人员：王爱丽，邢爽，戴诗雨，吴海滨，徐恺阳，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：