基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法技术

本发明专利技术公开了一种基于空间

【技术实现步骤摘要】
基于空间
‑
光谱自适应学习和像素级滤波的高光谱图像分类方法


[0001]本专利技术属于遥感图像处理领域，具体涉及一种基于空间
‑
光谱自适应学习和像素级滤波的高光谱图像分类方法。

技术介绍

[0002]高光谱图像因其丰富的空间信息和数百个连续窄带的光谱信息而在遥感领域受到极大关注。因此，高光谱图像包含的信息可以用来表示物体的分布和区分类别。近年来，高光谱技术广泛应用于各种领域，如地球观测、资源管理、化学成像和环境监测。高光谱图像分类的目的是预测每个像素点的类别。
[0003]在过去，大量的方法使用手工制作的特征来实现HSI分类。然而，传统的特征提取方法是基于数据特征本身的设计，因此不能匹配不同类型的数据。而深度学习模型以端到端方式进行训练，能够学习不同类型的输入数据的特征，并输出预测结果来完成高光谱图像分类任务。在早期阶段，人们的注意力集中在高光谱图像的光谱信息上，并提出了大量的基于像素点向量的方法用于高光谱图像分类。然而，有研究表明，考虑空间信息可以进一步提高分类的准确性。一些方法将注意力集中在光谱或空间维度，并通过注意力加权的特征实现高光谱图像分类。
[0004]然而，上述方法主要对空间邻域或整个空间范围的特征展开研究，而不是在像素级的尺度上。事实上，每一个高光谱图像的像素都包含丰富的、有判别性的特征，即像素级特征。像素级特征可以被看作是描述所有空间上的全局信息的像素。因此，充分利用所有空间像素点中所包含的信息可以提高高光谱图像中的边缘和不容易区分的区域的分类精度。

技术实现思路

[0005]本专利技术提出一种基于空间
‑
光谱自适应学习和像素级滤波的高光谱图像分类方法，为像素点预测所属的类别，提出了基于空间
‑
光谱自适应学习的像素级滤波结构，通过在像素点级别选择自适应的滤波核，从而实现对高光谱图像的像素点级别分类。
[0006]实现本专利技术目的的技术解决方案为：第一方面，本专利技术提供一种基于空间
‑
光谱自适应学习的像素级滤波的高光谱图像分类方法，包括以下步骤：
[0007]第一步，设计一个空间
‑
光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图；
[0008]第二步，构造一个过完备的由多个滤波基组成的字典，用于组成每个像素点对应的滤波核；
[0009]第三步，使用经处理后的第一步的特征作为指导，针对像素点自适应地选择滤波核；
[0010]第四步，利用第三步选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作；
[0011]第五步，对滤波后的高光谱特征图送入全连接层，经分类器得到最终像素点的类别预测。
[0012]第二方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
[0013]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
[0014]本专利技术与现有技术相比，其显著特点在于：(1)设计了一个新的空间
‑
光谱特征提取结构，充分考虑了原始高光谱图像的空间和光谱信息。此外，提取的像素级特征作为指导，从生成的滤波字典中自适应地选择滤波核；(2)利用自适应选择的滤波核实现对高光谱图像的分类。充分利用了不同像素点包含的判别性信息。
[0015]本专利技术以有监督方式利用高光谱图像进行网络参数的学习。高光谱图像被用作空间
‑
光谱像素级特征提取过程的输入，以学习每个像素对应的鉴别性特征。这个过程的输出结果可以作为从预定义的字典中自适应选择滤波核的指导。
[0016]通过简单卷积操作得到的高光谱图像特征图使用自适应滤波核来实现像素级的自适应滤波。消融实验证明了我们提出的模块的有效性，它可以获得跨通道相关性、局部邻域相似性和滤波操作后更多不同的特征。此外，所提出的像素级滤波方法也有望在图像去噪和图像去块领域发挥作用。
[0017]下面结合附图对本专利技术作进一步详细描述。
附图说明
[0018]图1是本专利技术的方法流程图。
[0019]图2是本专利技术提出的内容编码网络结构图。
[0020]图3不同方法在数据集上的分类结果，其中(a)伪彩色图像(b)真值图(c)SVM(d)residual network(ResNet)(e)CBAM(f)ECA
‑
Net(g)A2S2K
‑
ResNet(h)regularized spectral
–
spatial global learning(RSSGL)(i)本专利技术方法。
具体实施方式
[0021]本专利技术提出了一种空间
‑
光谱自适应学习的像素级滤波方法，以充分考虑不同空间位置的像素的判别信息，从而解决高光谱图像分类问题，它主要由一个空间
‑
光谱自适应学习模块和一个像素级滤波模块组成。具体来说，前者的目的是获得每个像素点的联合空间
‑
光谱判别特征，并将其作为自适应选择滤波核的指导。后者使用自适应的滤波核来实现对高光谱图像的像素级滤波，以学习不同像素点所包含的判别特征并用于分类任务。如图1、图2所示，该方法步骤如下：
[0022]第一步，设计一个空间
‑
光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图。具体过程为：
[0023](1)设计一个空间
‑
光谱像素级别特征提取网络，它由4个阶段组成，每个阶段分别包含3，4，6，3个瓶颈块。对于每个瓶颈块，由三个卷积层和一个空间
‑
光谱像素级特征提取过程组成。我们定义空间
‑
光谱像素级特征提取过程的输入数据为y，那么定义该过程特征
函数如下：
[0024]X
bottleneck,i
＝SSP(X
bottle,i
；θ
s
)
[0025]其中，X
bottle,i
表示输入的特征图，SSP(X
bottle,i
；θ
s
)，即X
bottleneck,i
表示经空间
‑
光谱像素级特征提取过程的输出特征图，θ
s
为参数，i表示每个阶段包含的瓶颈块的数量。
[0026](2)为了学习空间
‑
光谱判别性的特征，我们引入注意力机制，步骤如下：
[0027]①
将输入特征图X
group
经GAP操作，即通过对每个通道压缩空间维度来保持通道信息的完整性：
[0028][0029]其中，S为X
group
的空间长/宽，X
...

【技术保护点】

【技术特征摘要】
1.一种基于空间
‑
光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，包括以下步骤：第一步，设计一个空间
‑
光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图；第二步，构造一个过完备的由多个滤波基组成的字典，用于组成每个像素点对应的滤波核；第三步，使用经处理后的第一步的特征作为指导，针对像素点自适应地选择滤波核；第四步，利用第三步选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作；第五步，对滤波后的高光谱特征图送入全连接层，经分类器得到最终像素点的类别预测。2.根据权利要求1所述的基于空间
‑
光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，第一步引入注意力机制，通过空间
‑
光谱像素级别特征提取过程学习所有像素点的特征，具体过程为：(1)设计一个空间
‑
光谱像素级别特征提取网络，它由4个阶段组成，每个阶段分别包含3，4，6，3个瓶颈块；对于每个瓶颈块，由三个卷积层和一个空间
‑
光谱像素级特征提取过程组成；定义空间
‑
光谱像素级特征提取过程的输入数据为X，那么定义该过程特征函数如下：X
bottleneck,i
＝SSP(X
bottle,i
；θ
s
)其中，X
bottle,i
表示输入的特征图，SSP(X
bottle,i
；θ
s
)，即X
bottleneck,i
表示经空间
‑
光谱像素级特征提取过程的输出特征图，θ
s
为参数，i表示每个阶段包含的瓶颈块的数量；(2)引入注意力机制，用于学习空间
‑
光谱判别性的特征，步骤如下：
①
将输入特征图X
group
经global average pooling操作，即通过对每个通道压缩空间维度来保持通道信息的完整性：其中，S为X
group
的空间长/宽，X
GAP
为经GAP操作的输出特征；
②
使用通道注意力机制，学习跨通道的注意力加权交互信息：其中，表示核大小为1
×1×
k的3
‑
D卷积操作，X
spectral
为加权后的通道注意力特征，表示按照特征图的通道维度进行乘积运算，σ表示sigmoid激活函数；
③
使用空间注意力机制，学习空间维度的注意力加权特征：其中，f7×7表示核大小为7
×
7...

【专利技术属性】
技术研发人员：刘芳，郜文菲，刘嘉，肖亮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：