一种从局部到全局上下文信息提取的高光谱影像分类方法技术

本发明专利技术针对高光谱影像，公开了一种基于局部到全局注意力机制的上下文信息提取的深度学习高光谱分类方法，主要包括：采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类；模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取；在网络的解码器模块，设计一种通道注意力的模块，实现局部‑全局信息的自适应融合。本发明专利技术能够适用于海量高维非线性数据结构的高光谱影像精细分类，极大改善了高光谱影像分类结果中错分孤立区域现象，是一种快速精确的地物精细分类方法，可满足高光谱影像实时快速精细分类制图的需求。

【技术实现步骤摘要】
一种从局部到全局上下文信息提取的高光谱影像分类方法
本专利技术属于遥感图像处理
，特别涉及一种基于局部到全局注意力机制的上下文信息提取的深度学习高光谱分类方法。
技术介绍
分类一直是高光谱遥感影像处理和应用中一项重要研究领域，其丰富的光谱信息可以准确识别地物的属性类别。目前，随着高光谱成像技术的发展，星载、机载、无人机等高光谱观测平台为高光谱地物精细识别提供丰富的数据源。然而，高光谱影像波段间高度相关性、数据呈现高度非线性、同类地物存在“光谱变异”，这使得模型驱动的分类方法在高光谱影像分类中面临严重挑战。近年来，随着人工智能的蓬勃发展，深度学习理论因具有强大的特征学习和泛化能力，越来越多的学者将其应用在高光谱遥感影像分类领域。目前的深度学习高光谱分类多采用空间块策略，具体为以标记像素为中心，选取三维的空间邻域像素作为网络输入。但是，这种方式仍面临以下问题：(1)只能利用局部的空间信息，会导致分类结果中有错分的孤立区域；(2)最优的空间块大小难以确定，并且其随着影像空间分辨率和地物分布的均质程度来确定。(3)计算成本高，这种方式在预测分类图的时候需要逐像素取空间块进行预测，对于一些比较大的影像需要耗费非常长的时间。
技术实现思路
本专利技术针对高光谱影像分类，提出一种局部到全局上下文信息提取的高光谱影像快速分类方法，具有以下三个显著特点。一是采用编码和解码的全卷积分类框架，可以同时顾及全局空谱信息，实现快速分类。其二，模仿人类视觉感知机理，在网络的编码器模块设计一种局部到全局上下文信息感知的网络架构，实现顾及上下文信息的高级语义特征提取。其三，在网络的解码器模块，设计一种通道注意力的模块，实现局部-全局信息的自适应融合。本专利技术提供的一种从局部到全局上下文信息提取的高光谱影像分类方法，具体实现步骤如下：步骤1，对输入影像进行镜像填充；步骤2，对镜像填充影像进行通道将维；步骤3，构建高光谱影像分类网络模型，包括以下子步骤；步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出Loss值；步骤3.5，反向传播Loss值更新网络模型参数；步骤4,将待分类的高光谱影像输入到网络模型中，输出预测分类结果，实现地物类别的精细识别。进一步的，所述步骤2的实现方式如下，将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。进一步的，所述步骤3.1的实现方式如下，步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图公式如下：上式中Conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图F的一个通道特征x∈Rm×n，具体公式如下：strip(x)＝Expand(Conv1×1(stripH(x)))+Expand(Conv1×1(stripW(x)))其中：表示纵向池化操作，表示横向池化操作，Conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；Expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合。步骤3.1.2，采用步长为2的3×3的卷积对特征图进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图步骤3.1.3，将步骤3.1.2输出的特征图输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1.1相同；然后经过步骤3.1.2进行降采样。通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出和进一步的，所述步骤3.2的实现方式如下，全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图其经过全局注意力模块输出的特征值Fglobal的步骤包括3部分：步骤3.2.1全局上下文信息建模。对于输入的特征图其首先采用1个1×1卷积进行特征降维成Rm×n×1，然后将其特征重塑尺寸为Rmn×1×1，随后输入到Softmax分类器中，输出每个像素的上下文信息表征向量Fmodel∈R(mn)×1，随后与重塑特征图逐像素相乘，输出上下文信息建模特征FCM∈Rd×1，具体公式如下所示：其中，x表示特征图上的像素，m,n分别表示特征图的长和宽，i,j表示特征图中像素的序号，Wk表示1×1的卷积。步骤3.2.2捕获通道间上下文依赖。本专利采用1×1卷积捕捉通道间的上下文依赖关系，具体公式如下：Fchannel＝Wv2σ(LN((Wv1FCM)))上式中Wv1和Wv2均表示1×1卷积，LN表示层归一化，σ表示激活函数，本处采用的是ReLU激活函数。步骤3.2.3上下文信息融合。本专利采用残差连接的方式，将提取的通道上下文信息表征Fchannel与输入特征图相加，其中对于的第i个通道其每个像素均加上Fchannel第i个通道的值Fchannel(i)，最终输出全局上下文信息特征图Fglobal。进一步的，所述步骤3.3的实现方式如下，步骤3.3.1将特征图采用双线性插值2倍上采样输出然后将2倍双线性插值的Fglobal串联作为输入特征自适应上下文特征聚合模块的输入，具体公式如下：上式子中，表示对Fglobal进行2倍双线性插值上采样。步骤3.3.2对输入数据进行通道上下文自适应聚合，具体公式如下：上式中，avgpool(·)表示空间维度平均池化，W1,W2均表示表示1×1卷积，σ1表示ReLU激活函数，σ2表示sigmoid激活函数，其输出不同通道的上下文聚合权重。最后将通道权重与串联特征Fconnect相乘输出最终的自适应上下文聚合特征。步骤3.3.3将步骤3.3.2输出的特征图进行双线性插值上采样，然后与4倍线性插值的Fglobal串联输入到下一个自适应聚合模块中。通过k个个串联的自适应聚合模块，依次输出进一步的，所述步骤3.4的实现方式如下，将特征图输入到交叉熵损失函数中，输出loss值，采用反向传播算法更新网络参数fnetwork(·)，其中交叉熵损失函数公式如下：上式中，yik表示特征图中的任一标记像素xi的真实标签，表示像素xi预测的标签向量，N是该影像的类别总数，K是类别数量。进一步的，所述步骤4的实现方式如下，将待分类的高光谱影像X1,X2,…Xn输入到网络模型fnet本文档来自技高网...

【技术保护点】
1.一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于，包括如下步骤：/n步骤1，对输入影像进行镜像填充；/n步骤2，对镜像填充影像进行通道将维；/n步骤3，构建高光谱影像分类网络模型，包括以下子步骤；/n步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；/n步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；/n步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；/n步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出Loss值；/n步骤3.5，反向传播Loss值更新网络模型参数；/n步骤4，将待分类的高光谱影像输入到训练好的网络模型中，输出预测分类结果，实现地物类别的精细识别。/n

【技术特征摘要】
1.一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于，包括如下步骤：
步骤1，对输入影像进行镜像填充；
步骤2，对镜像填充影像进行通道将维；
步骤3，构建高光谱影像分类网络模型，包括以下子步骤；
步骤3.1，使用局部注意力模块进行局部上下文信息提取，获得底层细节特征；
步骤3.2，使用全局注意力模块进行全局上下文信息提取，获得高层语义特征；
步骤3.3，使用通道注意力模块自适应融合底层细节特征和高层语义特征；
步骤3.4，将通道注意力模块最终输出的特征图输入到交叉熵损失函数中，输出Loss值；
步骤3.5，反向传播Loss值更新网络模型参数；
步骤4，将待分类的高光谱影像输入到训练好的网络模型中，输出预测分类结果，实现地物类别的精细识别。


2.如权利要求1所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤2的实现方式如下，
将镜像填充后的影像X依次经过一个“卷积层-组归一化层-非线性激活层”的网络结构进行通道降维，输出特征图F，其中组归一化考虑高光谱影像光谱连续性。


3.如权利要求1所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.1的实现方式如下，
步骤3.1.1，设步骤2中通道降维后得到特征图F，将特征图F输入第一个局部上下文信息模块中，提取局部上下文信息感知特征，其输出特征图公式如下：



上式中Conv1×1(·)表示1×1卷积；σ(·)表示sigmoid激活函数，输出每个像素的权重；strip(·)表示条带池化操作，对于输入特征图F的一个通道特征x∈RH×W，具体公式如下：
strip(x)＝Expand(Conv1×1(stripH(x)))+Expand(Conv1×1(stripW(x)))
其中：表示纵向池化操作，表示横向池化操作，Conv1×1表示1×1卷积，其对条带池化输出的特征进行优化；Expand(·)表示扩展操作，使输出的条带特征在各自的方向上进行扩展，使其与输入的特征图x大小一致；最后对扩展的特征进行相加进行融合；
步骤3.1.2，采用步长为2的3×3的卷积对特征图进行特征优化，其目的是增大卷积感受野，降低特征图尺寸，输出特征图
步骤3.1.3，将步骤3.1.2输出的特征图输入到第二个局部注意力模块，第二个局部注意力模块特征提取方式与步骤3.1.1相同；然后经过步骤3.1.2进行降采样，通过k个串联的局部注意力模块和步长为2的3×3的卷积依次输出和


4.如权利要求3所述的一种从局部到全局上下文信息提取的高光谱影像分类方法，其特征在于：所述步骤3.2的实现方式如下，
全局注意力模块用于对逐层提取的局部注意力特征进行全局上下文信息提取，其输入为最后一个局部注意力模块输出的特征图其经过...

【专利技术属性】
技术研发人员：钟燕飞，胡鑫，王心宇，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42