基于并行注意力机制残差网进行高光谱图像分类的方法技术

本发明专利技术公开了一种基于并行注意力机制残差网进行高光谱图像分类的方法，首先构建残差块，所述残差块嵌入两条并行的注意分支网络支路，所述两条并行的注意分支网络支路分别在应用光谱注意力机制及空间注意力机制后，对输入数据的空间特征信息和光谱特征信息进行识别学习；其次，利用构建的若干个依次连接的残差块构成的高光谱图像分类网络，对输入的训练数据集进行训练；其中，所述高光谱图像分类网络还包括依次连接的3D平均池化层和全连接层，所述3D平均池化层连接到与其相邻的残差块，用于对当前残差块输出的数据进行空间维度的调整，来降低整个网络的计算开销；最后，将特征信息输入到高光谱图像分类网络地全连接层中，得到图像分类结果。

A method of hyperspectral image classification based on the residual network of parallel attention mechanism

【技术实现步骤摘要】
基于并行注意力机制残差网进行高光谱图像分类的方法
本专利技术涉及遥感图像分类领域，更具体地说，涉及一种基于并行注意力机制的残差网进行高光谱图像分类方法。
技术介绍
高光谱图像分类技术是上世纪80年代发展起来的一种新兴的遥感技术，高光谱遥感利用很多窄的电磁波段从感兴趣的物体中获取图像数据，一般它是在电磁波谱的可见光、近红外、中红外和热红外波段范围内，设置了几十甚至几百个连续波段，其光谱分辨率可高达纳米数量级。现有的高光谱遥感图像分类方法大多基于两种处理方式：(1)对光谱维度进行降维处理，将单个样本所对应的光谱向量输入到分类器进行分类；(2)取待分类像素点的邻域信息，将邻域信息与光谱向量结合并输入到分类器进行分类，这种综合利用空谱特征信息的方法一般称其为“空谱结合”分类方法。近年来，基于深度学习的方法在高光谱图像分类中取得了很大进展。但是与普通图像不同，高光谱图像数据的内在复杂性仍然限制了许多常见卷积神经网络CNN(ConvolutionalNeuralNetworks)模型的性能。因此，为了进一步提取具有鉴别性的空谱特征，在进行网络架构设计时变得越来越复杂。例如，三维卷积神经网络3D-CNN(3DConvolutionalNeuralNetworks)通常具有大量的可训练参数，这也增加了高光谱图像分类过程的计算复杂度；其主要原因是多数现有的深度学习网络不能针对性的弱化高光谱图像数据中冗余的特征信息，致使有用的特征信息无法充分利用。而且高光谱图像分类中已有的残差网络往往一味的依赖残差连接的加入靠线性堆叠更多的网络层来对空谱信息学习处理，这些网络对高光谱的空谱特征信息处理时虽然是分别处理，但整体是线性的前后结合而成，造成光谱或空间特征学习时已经一部分特征信息丢失。所以在有限的网络层中高效的学习重要的空谱特征，来提高分类精度、减少训练集所需样本、并且保证模型训练时间是一项充满挑战的任务。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的未解决网络繁杂的问题，不能针对性的弱化高光谱图像数据中冗余特征信息，致使有用的特征信息无法充分利用的缺陷，提供一种基于并行注意力机制的残差网进行高光谱图像分类方法。本专利技术解决其技术问题所采用的技术方案是：构造一种基于并行注意力机制残差网进行高光谱图像分类的方法，包括以下步骤：S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，对输入的数据，进行空间特征信息和光谱特征信息的识别；所述两条并行的注意分支网络支路分为第一网络支路和第二网络支路，所述第一网络支路应用光谱注意力机制，所述第二网络支路应用空间注意力机制；S2、利用步骤S1构建的残差块来构建高光谱图像分类网络，所述高光谱图像分类网络包括若干个依次连接的残差块；其中，排列在第一位的残差块，其输入的数据包括高光谱图像数据集；所述高光谱图像分类网络还包括依次连接在所述若干个依次连接的残差块之后的3D平均池化层和全连接层，所述3D平均池化层用于对当前残差块输出的数据进行空间维度的调整，降低整个网络的计算开销；所述全连接层用于处理经空间维度调整后的特征向量，得到输入样本类别；S3、将高光谱原始3D立方体数据输入到步骤S2构建好的高光谱图像分类网络中，得到图像分类结果。本专利技术所述的一种基于并行注意力机制残差网进行高光谱图像分类的方法，首先，针对高光谱特性提出来的并行注意力机制；其次，基于并行注意力机制，进行残差块的改进；最后，基于改进后的残差块构成的并行注意力残差网架构，进行图像分类。实施本专利技术公开的一种基于并行注意力机制残差网进行高光谱图像分类的方法，具有以下有益效果：1、首先针对高光谱图像数据自身的特点，本专利技术首次针对性的设计了符合一般高光谱图像数据构造的并行注意力机制，通过两个并行的分支同步的学习光谱特征信息和空间特征信息，尽可能的使网络学习辨别性强的空谱特征。2、本专利技术将并行注意力机制与残差网构造特性结合，重新设计了残差块的构造；3、本专利技术通过在多组标准数据集的多次实验下表明，本专利技术的网络具有训练集需求少和分类精度高的特点。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术公开的一种基于并行注意力机制残差网进行图像分类的方法流程图；图2是整体实施流程图；图3是本专利技术提出的嵌入并行注意力机制的残差块网络结构图；图4是本专利技术提出的本专利技术提出的总体网络架构图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。请参考图1，其为本专利技术公开的一种基于并行注意力机制残差网进行图像分类的方法流程图，具体包括以下步骤：S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，所述两条并行的注意分支网络支路分别在应用光谱注意力机制及空间注意力机制后，对输入数据的光谱特征信息和空间特征信息进行识别学习；其中：步骤S1中构建残差块的步骤包括：S11、训练残差块网络，获取训练数据集：本专利技术中，在训练残差块网络时，对于输入的训练数据要求是包括高光谱图像的原始3D立方体数据块，在不经过任何降维处理，而直接使用原始数据，既保护了原始数据间的结构关系，又简化了网络处理流程。本实施例中，输入的样本数据要以原始数据立方体的形式输入网络，以像元p为例，以像元p为中心沿着上、下、左、右方向各延伸4个像元单位后，以像元p为中心组成一个9×9的空间平面，再将所述空间平面中相应的光谱波段数全部取出后，进一步构成一个大小为d×d×B的立方体，所述原始数据立方体即为本实施例中要输入到网络的原始数据，其中，参数d表示当前构建的空间平面尺寸，所述尺寸包括平面的长和宽，本实施例中d取值为9，即取平面的长和宽为9；参数B代表输入数据的波段数，所述波段数因数据集的不同而有所区别。在输入立方体原始数据到上述构建的残差块网络中，进行网络训练时，以中心像元p所属的类别为整体所属的类别；本实施例中将空间平面的大小设置为：9×9×B的原始立方体，让残差块网络既可以充分学习识别中心像元p与周围像元的空间特征信息，又可以充分利用整体的光谱波段特征信息。S12、将获取到的原始数据输入到两条并行的注意分支网络支路中，进行特征识别学习；其中，第一网络支路采用光谱注意力机制，其针对高光谱图像数据的光谱波段，进行光谱特征信息的识别学习；第二网络支路采用空间注意力机制，对输入的高光谱图像数据空间信息进行识别学习；具体的：本步骤中，在原始立方体数据块输入到注意分支网络支路后，通过当前构建的残差块网络的并行注意分支进行特征学习，请参考图3，图3所示的即为嵌入并行注意力机制后的残差块网络结构；本实施例在对传统的残差块网络进行改进后，可以有效的对输入数据的特征信息进行利用；在输入的立方体原始数据到残差块网络时，可参考图3，首先，要经过两条并行的注意分支网络支路，如图3所示的残差块网络结构本文档来自技高网...

【技术保护点】
1.一种基于并行注意力机制残差网进行高光谱图像分类的方法，其特征在于，包括以下步骤：/nS1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，对输入的数据，进行空间特征信息和光谱特征信息的识别；所述两条并行的注意分支网络支路分为第一网络支路和第二网络支路，所述第一网络支路应用光谱注意力机制，所述第二网络支路应用空间注意力机制；/nS2、利用步骤S1构建的残差块来构建高光谱图像分类网络，所述高光谱图像分类网络包括若干个依次连接的残差块；其中，排列在第一位的残差块，其输入的数据包括高光谱图像数据集；所述高光谱图像分类网络还包括依次连接在所述若干个依次连接的残差块之后的3D平均池化层和全连接层，所述3D平均池化层用于对当前残差块输出的数据进行空间维度的调整，降低整个网络的计算开销；所述全连接层用于处理经空间维度调整后的特征向量，得到输入样本类别；/nS3、将高光谱原始3D立方体数据输入到步骤S2构建好的高光谱图像分类网络中，得到图像分类结果。/n

【技术特征摘要】
1.一种基于并行注意力机制残差网进行高光谱图像分类的方法，其特征在于，包括以下步骤：
S1、构建残差块，所述残差块嵌入两条并行的注意分支网络支路，对输入的数据，进行空间特征信息和光谱特征信息的识别；所述两条并行的注意分支网络支路分为第一网络支路和第二网络支路，所述第一网络支路应用光谱注意力机制，所述第二网络支路应用空间注意力机制；
S2、利用步骤S1构建的残差块来构建高光谱图像分类网络，所述高光谱图像分类网络包括若干个依次连接的残差块；其中，排列在第一位的残差块，其输入的数据包括高光谱图像数据集；所述高光谱图像分类网络还包括依次连接在所述若干个依次连接的残差块之后的3D平均池化层和全连接层，所述3D平均池化层用于对当前残差块输出的数据进行空间维度的调整，降低整个网络的计算开销；所述全连接层用于处理经空间维度调整后的特征向量，得到输入样本类别；
S3、将高光谱原始3D立方体数据输入到步骤S2构建好的高光谱图像分类网络中，得到图像分类结果。


2.根据权利要求1所述的高光谱图像分类方法，其特征在于，步骤S1中构建残差块的步骤包括：
S11、获取数据集；
S12、将获取到的数据集输入到注意分支网络支路中，并经进行特征学习；其中，第一网络支路采用光谱注意力机制，针对输入数据的光谱波段，进行光谱特征信息识别学习；第二网络支路采用空间注意力机制，针对输入数据的空间信息，进行空间特征信息的识别学习；
S13、将两个注意分支网络支路的输出，通过逐元素相乘融合在一起，形成与原始输入数据空间大小相同，波段减半的概率分布立方体Fatt；
S14、对原始输入数据进行线性卷积变换，将其变换后的数据波段与Fatt的波段进行统一；在进行波段统一后，将Fatt与线性变换后的原始输入数据通过逐元素相乘的方式进行融合，得到特征融合数据；
S15、加入残差连接，将所述特征融合数据与经过线性卷积变换后的原始输入数据进行逐元素相加，得到嵌入并行注意力机制的残差块。


3.根据权利要求2所述的高光谱图像分类方法，其特征在于，步骤S12中，基于光谱注意力机制的处理过程，用数据公式表示为：
Fspectral＝σ(AvgPool(f1(AvgPool(F))))；
其中，σ代表softmax非线性激活函数，AvgPool代表平均池化层，f1(·)代表对“·”进行卷积层计算...

【专利技术属性】
技术研发人员：董志敏，蔡之华，蔡耀明，龚赛，刘小波，尹旭，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42