【技术实现步骤摘要】
本专利技术涉及了深度学习、高光谱遥感图像分类和计算机视觉。具体来说，涉及了一种基于3d cnn和transformer的轻量化高光谱遥感图像分类系统。
技术介绍
1、随着成像技术的不断发展，遥感图像的空间和光谱分辨率不断提高。遥感图像经历了从全色、多光谱到高光谱图像的发展历程。其中，高光谱图像包含了紫外、可见到红外中成百上千个光谱通道，包含了丰富的地物空间信息和光谱特征。高光谱的丰富信息使得其在自然灾害评估、矿产资源勘探、环境变化分析等方面发挥着重要的作用。
2、高光谱遥感图像分类目的在于根据像素的特征为其分配一个类别标签(例如玉米、燕麦、小麦、苜蓿)，在后续的图像处理过程中有着关键的应用。根据特征获取方式的不同，高光谱遥感图像可分为传统的分类方法以及基于深度学习的分类方法。
3、传统的分类方法采用手工特征设计的方式来获得高光谱遥感图像的特征。早期，研究人员利用光谱特征来实现分类。具体而言，即通过降低高光谱图像的维度并获得具有判别性的波段或特征。典型的方法有：最小噪声分离变换、线性判别分析、光谱角度制图、j-m距离、主成分分析等。随着成像分辨率的提高，高光谱遥感图像的空间信息也越来越丰富，利用高光谱遥感图像空间特征进行分类的方法初露锋芒，这些方法通过不同的空间滤波器来获取空间依赖关系。典型的方法有小波变换、形态属性、低秩表达等。以上两种方法单纯利用了高光谱图像的空间特征或光谱特征，仍有进一步的提升空间。基于以上现状，利用空谱特征进行高光谱图像分类的方法被提出，典型的如三维小波变换、三维散射小波变换、三维散
4、深度学习的分类方法通过对海量数据进行学习的方式来获得高光谱遥感图像的特征。目前，很多网络结构用于高光谱遥感图像的分类，如sae、dbn、rnn、gan、gcn，cnn等。其中，cnn网络由于具有旋转不变性和局部连接的特点，且层级结构能够获得有效的图像表示，因此在高光谱遥感图像分类领域取得了显著的成效。根据卷积网络形式的不同，基于卷积神经网络的高光谱分类可以分为基于1d cnn、2d cnn、3d cnn的三种方式。基于1d cnn的分类方法在处理过程中需要将展成一维矩阵从而获取高光谱图像的光谱特征。基于2d cnn的分类方法首先采用降维方法降低高光谱图像的维度，然后将其划分为patch并利用2dcnn获得高光谱遥感图像的空间特征。基于3d cnn的分类方法可以同时利用高光谱遥感图像的空谱信息，符合高光谱图像的三维立方体的结构，因此得到了广泛的关注。
5、根据不同的卷积神经网络模型，基于3d cnn的分类方法可以分为基于resnet模型的、基于inception思想的、基于densenet网络的、基于senet模型等方法。虽然，基于3d cnn的分类方法极大地提升了分类精度，但是只能利用局部信息，没有考虑全局特征，将会导致高光谱的高层的视觉特征不能被有效地提取。
6、transformer模型由于能够获得文本语料中的长期依赖关系，在自然语言处理领域中倍受关注。随后，在计算机视觉领域，vision transformer模型被提出，其主要思想是将图像划分为patch，并将其展为一维向量作为模型的输入，随之，在图像分割、检测、跟踪等等领域都取得了很好的效果。然而，transformer模型只关注于空间维度的长期依赖关系，不能像卷积一样获取充分地获取图像的如边缘、角点、线条等一系列底层信息，更不用说图像的局部特征。而且transformer对于数据量具有较强的敏感性，数据量很少的情况下不能很好地泛化。
技术实现思路
1、鉴于以上现状，本专利技术将3d cnn和transformer结合。提出的分类系统可以充分发挥两者的优势，通过3d cnn来获取高光图像的局部信息，并可以利用transformer来获取数据的全局信息。此外，提出的分类系统可以消除3d cnn参数量过多的问题，并且缓解transformer对于数据的依赖。为了解决采用3d cnn和transformer进行高光谱遥感图像分类存在的问题并提升高光谱图像的分类性能，本实施例提出了一种基于3d cnn和transformer的轻量化高光谱遥感图像分类系统。
2、具体来说，本专利技术提出了一种基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其中包括：
3、步骤1、获取已标记图像类别的高光谱遥感图像，将该高光谱遥感图像预处理为多个训练样本；
4、步骤2、构建包括卷积层、3d空谱残差块、全局池化层的3d cnn模块，采用该卷积层提取该训练样本的低层特征，通过该3d空谱残差块提取该低层特征的光谱特征和空间特征，该全局池化层将该光谱特征和空间特征进行聚合，得到空谱语义；
5、步骤3、合并该空谱语义和训练矩阵，并依次经过空谱transformer模型中第一归一化层、多头注意力层、第一跳跃连接层、第二归一化层、空谱特征增强模块、第二跳跃连接层，得到该训练样本的预测类别，融合该高光谱遥感图像所有训练样本的预测类别，得到该高光谱遥感图像的预测类别；其中该训练矩阵代表训练样本所属高光谱遥感图像的图像类别；基于该高光谱遥感图像的预测类别和其已标记图像类别，构建损失函数，训练由该3dcnn模块和该空谱transformer模型构成的遥感图像分类模型；
6、步骤4、采用训练后的遥感图像分类模型，对待分类的高光谱遥感图像进行类别分类。
7、所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其中该步骤1包括：
8、预处理步骤，对高光谱图像进行数据标准化处理std(·)，从而使得处理后的数据的分布符合正态分布；对使用主成分分析处理将高光谱图像的光谱通道的维度从b降低至m个波段(m<b)，得到降维后的高光谱数据以每个像素为中心，将数据周围进行填充补零操作后，划分为n个三维立方体块其中，n＝h×w，表示高光谱图像中空间像素的个数；p表示patch size；每个三维立方体块的标签由其中心像素决定；并将每个三维立方体块作为该训练样本。
9、所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其中该步骤1包括：
10、数据增强步骤，统计该高光谱遥感图像中每个类别对应的像素数s＝{s1,s2,…,sl}，然后通过下述公式找出类别对应的最大值smax，以得到各个类别的扩增比例ψ；
11、smax＝max(s)＝max(s1,s2,…,sl),
12、
13、将训练样本按照该扩增比例ψ进行扩增，对扩增后得到的训练样本进行随机变换后与扩增前的训练样本进行混合，执行该步骤2。
14、所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其中该步骤2包括：
15、对于训练输入样本，首先经过两个该本文档来自技高网...
【技术保护点】
1.一种基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，包括：
2.如权利要求1所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤1包括：
3.如权利要求1所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤1包括：
4.如权利要求1所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤2包括：
5.如权利要求1所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该3D空谱残差块包括串联的3D空间残差块和3D光谱残差块；
6.如权利要求4所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤3包括：
7.如权利要求6所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该多头注意力层用于捕捉数据间的内部联系和长期依赖关系；该多头注
8.如权利要求6所述的基于3D CNN和Transformer的轻量化高光谱遥感图像分类方法，其特征在于，该空谱特征增强模块，用于对多头注意力中学到的特征进行变换，来充分获取高光谱图像的空谱信息；
9.一种基于3D CNN和Transformer的轻量化高光谱遥感图像分类系统，其特征在于，包括：
10.一种存储介质，用于存储执行如权利要求1到8所述任意一种基于3DCNN和Transformer的轻量化高光谱遥感图像分类方法的程序。
...【技术特征摘要】
1.一种基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，包括：
2.如权利要求1所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤1包括：
3.如权利要求1所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤1包括：
4.如权利要求1所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤2包括：
5.如权利要求1所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，该3d空谱残差块包括串联的3d空间残差块和3d光谱残差块；
6.如权利要求4所述的基于3d cnn和transformer的轻量化高光谱遥感图像分类方法，其特征在于，该步骤3包括：
7.如权利要求6所述的基于3d cnn和transf...
【专利技术属性】
技术研发人员：张欣，张蕊，李威，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。