一种基于自注意力上下文网络的高光谱遥感图像分类方法技术

本发明专利技术公开了一种基于自注意力上下文网络的高光谱遥感图像分类方法。该方法通过自注意力学习和上下文编码，构建高光谱遥感图像中像素间的空间依赖关系，提取全局上下文特征。在受到对抗攻击污染的高光谱遥感数据上，该方法依然能保持优越的地物识别精度，从而更好的满足高光谱遥感图像分类任务对安全性和可靠性的需求。性的需求。性的需求。

【技术实现步骤摘要】
一种基于自注意力上下文网络的高光谱遥感图像分类方法


[0001]本专利技术属于计算机图像处理
，涉及一种图像分类方法，具体涉及一种基于自注意力上下文网络的高光谱遥感图像分类方法。

技术介绍

[0002]高光谱遥感通过结合光谱技术与成像技术，可以同时获得空间维度与光谱维度上连续的遥感观测数据。与自然图像相比，高光谱遥感图像光谱分辨率更高，波段数更多，能够反映更加丰富的地物波谱特性。因此，利用高光谱图像进行地物目标的分类与识别，是实现对地观测的重要途径之一。
[0003]目前，大部分高光谱图像分类方法多基于深度卷积神经网络[1-2]，并已取得了较好的地物识别效果。然而，随着计算机视觉领域中对抗攻击算法研究的不断深入[3]，已有文献发现现有深度神经网络极易受到对抗样本的攻击，导致模型预测结果偏离样本的真实标签。考虑到目前在高光谱遥感研究领域尚未有对抗攻击相关的研究，而现有基于深度神经网络的高光谱遥感图像分类方法在设计过程中，没有充分考虑网络的安全性和可靠性，使得这些方法极易受到对抗攻击的威胁。因此，亟需一种安全性、可靠性更高的高光谱遥感图像分类算法，更好的满足安全、可靠的高精度地物目标识别需求。
[0004][1]Y.Xu,L.Zhang,B.Du,and F.Zhang,“Spectral-spatial unified networks for hyperspectral image classification,”IEEE Trans.Geosci.Remote Sens.,vol.56,no.10,pp.5893
–
5909,Oct 2018.
[0005][2]Y.Xu,B.Du,and L.Zhang,“Beyond the patchwise classification:Spectral-spatial fully convolutional networks for hyperspectral image classification,”IEEE Transactions on Big Data,vol.6,no.3,pp.492
–
506,2020.
[0006][3]N.Akhtar and A.Mian,“Threat of adversarial attacks on deep learning in computer vision:A survey,”IEEE Access,vol.6,pp.14410
–
14430,2018.

技术实现思路

[0007]为了解决上述技术问题，本专利技术提供了一种基于自注意力上下文网络的高光谱遥感图像分类方法，该方法包含一个基干网络、一个自注意力模块和一个上下文编码模块。基干网络通过三个3
×
3扩张卷积层和一个2
×
2平均池化层来提取层次化特征。随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征。该特征随后作为上下文编码模块的输入，学习全局上下文特征。在分类阶段，考虑到不同尺寸大小的地物识别需求，本方法进一步将全局上下文特征与基干网络中的前两层卷积特征进行特征融合。
[0008]本专利技术的技术方案为：首先构建整体网络，包括一个基干网络、一个自注意力模块和一个上下文编码模块，基干网络通过三个扩张卷积层和一个平均池化层来提取层次化特征；随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素
间的空间依赖关系，得到自注意力特征；自注意力特征随后作为上下文编码模块的输入，学习全局上下文特征；具体实现包括以下步骤：
[0009]步骤1：初始化整体网络中的参数，使其满足均值为0方差为0.1的高斯分布；
[0010]步骤2：记原始高光谱影像为其中h,w,c分别为影像的高度、宽度和波段数，将X输入基干网络；
[0011]步骤3：将第三个扩张卷积层的特征C3输入到自注意力模块，学习自注意力特征m为第一个扩张卷积层中卷积核的个数；
[0012]步骤4：将自注意力模块学习到的自注意力特征S输入到上下文编码模块，学习上下文特征
[0013]步骤5：将上下文特征Z与第一、第二个卷积特征采用串联的方式进行特征融合，得到融合后的特征其中U(
·
)表示2倍双线性内插上采样操作，C1和C2分别为第一个扩张卷积层的特征和第二个扩张卷积层的特征；
[0014]步骤6：将融合特征H输入一个卷积层，利用Softmax函数得到网络预测的概率图计算预测概率图与真实标签Y之间的交叉熵损失函数；
[0015]步骤7：利用梯度下降算法，优化步骤6中的损失函数；
[0016]步骤8：重复上述步骤2-7，直至整体网络收敛；
[0017]步骤9：将待识别的目标影像，输入到训练好的整体网络中，完成最终的高光谱遥感图像分类任务。
[0018]进一步的，步骤3中所述的自注意力特征S，其具体学习过程包括以下子步骤：
[0019]步骤3.1：为了减少自注意力特征学习过程中的计算负担，利用一个平均池化层将输入的第三层卷积特征C3的空间尺寸减半：P
avg
(
·
)为平均池化操作；
[0020]步骤3.2：将P2分别输入到三个具有n个卷积核的卷积层得到对应的特征图
[0021]步骤3.3：将α,β,γ调整尺寸为利用下式计算空间注意力图
[0022][0023]其中，A
(i,j)
表示影像中像素i对像素j的影响，k＝1,2,
…
,hw/16；
[0024]步骤3.4：将空间注意力图A与特征图γ进行矩阵乘法，得到特征图B＝A
×
γ，随后将B调整尺寸为
[0025]步骤3.5：计算最终的自注意力增强特征
[0026]S＝F(U(B))+C3,
[0027]其中F(
·
)表示非线性映射函数，具体采用一个具有m个卷积核的卷积层实现，U(
·
)表示2倍双线性内插上采样操作。
[0028]进一步的，步骤4中所述的上下文特征Z，其具体学习过程包括以下子步骤：
[0029]步骤4.1：利用一个具有n个卷积核的卷积层对输入的自注意力增强特征S进行降维，对得到的特征图Q调整尺寸为记为Q的第i个元素，其中i＝1,2,...N，
[0030]步骤4.2：记为利用Q中的全局统计信息来学习视觉中心的编码字典，其中表示字典中的第j个元素，k是字典D中元素的个数，计算Q与D之间的标准化残差为：
[0031][0032]其中，r
ij
＝q
i-d
j
表示Q中的第i个元素与D中的第j个元素的残差，s
j
表示D中的第j个元素对应的缩放因子；
[0033]步骤4.3：计算全局上下文向量其中表示批标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：首先构建整体网络，包括一个基干网络、一个自注意力模块和一个上下文编码模块，基干网络通过三个扩张卷积层和一个平均池化层来提取层次化特征；随后，将基干网络提取的特征作为自注意力模块的输入，进行自注意力学习，构建像素间的空间依赖关系，得到自注意力特征；自注意力特征随后作为上下文编码模块的输入，学习全局上下文特征；具体实现包括以下步骤：步骤1：初始化整体网络中的参数，使其满足均值为0方差为0.1的高斯分布；步骤2：记原始高光谱影像为其中h,w,c分别为影像的高度、宽度和波段数，将X输入基干网络；步骤3：将第三个扩张卷积层的特征C3输入到自注意力模块，学习自注意力特征m为第一个扩张卷积层中卷积核的个数；步骤4：将自注意力模块学习到的自注意力特征S输入到上下文编码模块，学习上下文特征步骤5：将上下文特征Z与第一、第二个卷积特征采用串联的方式进行特征融合，得到融合后的特征其中U(
·
)表示2倍双线性内插上采样操作，C1和C2分别为第一个扩张卷积层的特征和第二个扩张卷积层的特征；步骤6：将融合特征H输入一个卷积层，利用Softmax函数得到网络预测的概率图计算预测概率图与真实标签Y之间的交叉熵损失函数；步骤7：利用梯度下降算法，优化步骤6中的损失函数；步骤8：重复上述步骤2-7，直至整体网络收敛；步骤9：将待识别的目标影像，输入到训练好的整体网络中，完成最终的高光谱遥感图像分类任务。2.根据权利要求1所述的基于自注意力上下文网络的高光谱遥感图像分类方法，其特征在于：步骤3中所述的自注意力特征S，其具体学习过程包括以下子步骤：步骤3.1：为了减少自注意力特征学习过程中的计算负担，利用一个平均池化层将输入的第三层卷积特征C3的空间尺寸减半：P
avg
(
·
)为平均池化操作；步骤3.2：将P2分别输入到三个具有n个卷积核的卷积层得到对应的特征图步骤3.3：将α,β,γ调整尺寸为利用下式计算空间注意力图利用下式计算空间注意力图其中，A
(i,j)
表示影像中像素i对像素j的影响，k＝1,2,
…
,hw/16；步骤3.4：将空间注意力图A与特征图γ进行矩阵乘法，得到特征图B＝A
×
γ，随后将B调整尺寸为
步骤3.5：计算最终的自注意力增强特征S＝F(U(B))+C3,其中F(
·<...

【专利技术属性】
技术研发人员：杜博，徐永浩，张良培，
申请(专利权)人：武汉大学，
类型：发明
国别省市：