一种基于特征金字塔多级特征融合的遥感影像场景分类方法技术

本发明专利技术提出一种基于特征金字塔多级特征融合的遥感影像场景分类方法。首先将图像输入到ResNet网络中，提取出不同深度的图像特征；然后经过特征金字塔网络中自上而下的路径，在保留高级语义信息的同时，通过横向连接补充图像的细节纹理信息，并得到四个不同级别的特征图；接着，使用注意力模块使各级图像关注重点特征抑制非必要特征，进一步增强特征的表达能力；最后，经过一个特征融合模块，综合所有特征对图像类别进行最终判断。本发明专利技术提供一种端到端的场景分类方法，只需输入一幅单一尺度图像即可得到多级特征图，通过对深层特征图的继承及与浅层特征图的横向连接，多级特征既包含细节信息又包含语义信息，从而缓解特征图中细节丢失的问题。

【技术实现步骤摘要】
一种基于特征金字塔多级特征融合的遥感影像场景分类方法
本专利技术属于遥感影像场景分类领域，涉及一种基于特征金字塔多级特征融合的场景分类方法。
技术介绍
场景分类是遥感图像理解中具有挑战性的任务之一，其目的是自动为每幅遥感图像分配一个语义标签，以确定其所属的场景类别。遥感场景分类在城市规划、环境监测、军事任务等领域有着广泛的应用。因此，对遥感影像场景分类方法进行研究具有重要意义。一般来说，场景分类任务包括两个步骤：特征提取和标签分类。场景分类方法根据提取的特征可分为两类：基于手工特征的方法和基于语义特征的方法。基于手工特征的方法对图像处理的专业知识要求较高，在具有复杂空间分布的场景中，手工特征的表达能力会受到限制；随着深度学习的迅速发展，基于语义特征的方法(如卷积神经网络，CNN)在性能上显示出了传统方法无法比拟的优越性，它能够有效地提取与图像类别高度相关的高层抽象语义信息。在遥感场景分类任务中，鉴别特征的提取至关重要。鉴别特征是指图像中可以判断一幅图像所属正确类别的特征。相对于自然图像而言，遥感影像的背景更加复杂。同一类别的图像中，除了相似的鉴别特征以外，还包含不同类别不同分布的地物背景，增加了分类判断的难度。在现有基于语义特征的场景分类方法中，有研究直接将CNN中的单一深层特征作为类别判断的依据，随着网络层数的加深，特征的感受野增大，全局语义信息增强，但也伴随着细节的模糊。这些丢失的细节包含了丰富的鉴别信息，同样有助于判断图像的类别，应当充分利用起来，因此，在网络中提取单一层次的特征不足以准确地获取每幅图像的鉴别特征。网络中的多级别特征对于提高分类精度具有很大的潜力。最简单的方式是直接将不同深度的卷积层作为多级特征，然而浅层特征缺乏高级语义信息；有研究将多尺度图像金字塔输入卷积神经网络，通过将原始图像缩放成不同尺寸的方式，获得多级图像特征；另一种思路是对于单一尺度的图像，构建多个具有不同感受野的卷积神经网络，由此同样可以获得多级特征，但是上述两种方法都大大增加了计算量的开销。
技术实现思路
本专利技术的目的在于针对现有技术的缺点和不足，提出了一种基于特征金字塔多级特征融合的遥感影像场景分类方法。首先将图像输入到ResNet网络中，提取出不同深度的图像特征；然后经过特征金字塔网络中自上而下的路径，在保留高级语义信息的同时，通过横向连接补充图像的细节纹理信息，并得到四个不同级别的特征图；接着，使用注意力模块使各级图像关注重点特征抑制非必要特征，进一步增强特征的表达能力；最后，经过一个特征融合模块，让各个级别的特征自主学习权重，综合所有特征对图像类别进行最终判断。该方法利用卷积神经网络结合特征金字塔提取出多级别特征，在保证提取的图像特征具有高级语义的同时，一定程度上解决了细节纹理信息丢失的问题。本专利技术采用如下技术方案：一种基于特征金字塔多级特征融合的遥感影像场景分类方法，包括以下步骤：步骤1，将已知标签类别的遥感影像作为输入，使用经过预训练的ResNet网络初步提取特征，由此得到不同卷积深度的特征图；步骤2，以步骤1中不同卷积深度的特征图为基础，使用特征金字塔网络获取多级特征；步骤3，在获得多级特征之后，添加注意力模块，所述注意力模块包含两个部分：通道注意力和空间注意力；将步骤2中获取的不同级别特征分别输入注意力模块，由此得到增强的多级特征；步骤4，将增强的多级特征经过一个特征融合模块，综合所有特征对遥感影像的类别作最终判断，输出对应图像的标签。进一步的，步骤1中使用ResNet初步提取特征，具体为：首先，将经过预训练的ResNet去除最后的全连接层，将图像缩放到适当的尺寸作为输入，由于ResNet由四个串行的卷积块构成，因此得到四个不同深度的特征图，由浅到深特征图的尺寸依次为：56×56、28×28、14×14和7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特征图包含更为抽象的高级语义信息，但是分辨率的降低会导致细节的损失。进一步的，步骤2中使用特征金字塔网络获取多级别特征，具体为；将步骤1中最后一层输出，即7×7尺寸的特征图，直接被视为一个特征的分支，记作M1；定义一个基本卷积单元，由连续三组重复的卷积核尺寸依次为1×1和3×3的卷积层构成，M1经过基本卷积单元后得到下一级的特征图M2，M2的尺寸同样为7×7；然后将M2上采样至14×14，与ResNet50网络中对应分辨率的特征进行横向连接，经过一个基本卷积单元后得到特征图M3，由于经过了一个上采样，M3的尺寸为14×14；同理，对M3执行同样的操作，依次经过上采样、横向连接和基本卷积单元，可以得到尺寸为28×28的特征图M4；由此，通过步骤2得到四个级别的特征图M1、M2、M3和M4，尺寸分别为7×7、7×7、14×14和28×28。进一步的，步骤3中通道注意力的结构如下；在通道注意力结构中，输入一个C×H×W的特征F，其中，C、H、W分别表示特征图的通道数、高度和宽度，首先进行空间的全局平均池化和全局最大池化操作，得到两个C×1×1的通道描述，然后，将两个通道描述分别输入到一个两层的神经网络，第一层神经元个数为C/r，r为缩放的系数，使用ReLU作为激活函数，第二层神经元个数为C，其中，这个两层神经网络是权值共享的；接着，将得到的两个特征相加后经过Sigmoid函数得到通道权重系数Mc，最后将原始特征F与权重系数Mc相乘即可得到通道增强的新特征F'。进一步的，步骤3中空间注意力的结构如下；在空间注意力结构中，将经过通道注意力模块得到的特征F'作为输入，对各输入特征在通道维度上进行最大池化和平均池化操作，得到两个1×H×W的空间描述，将其在通道方向上进行连接，依次经过一个卷积核为7×7的卷积层和Sigmoid函数得到空间权重系数Ms，最后，将特征F'与空间权重系数Ms相乘即可得到空间增强的新特征。进一步的，步骤4中特征融合模块的结构如下；在特征融合模块中，使用全局平均池化增强特征图和场景类型之间的对应关系，同时减少训练参数并缓解过度拟合问题；首先，四个不同级别的特征M1'、M2'、M3'和M4'分别经过全局平均池化层，得到四个尺寸为C×1×1的特征；然后在通道方向上进行连接，得到尺寸为4C×1×1的特征，将其作为输入，依次经过一个多层感知机和Sigmoid函数，得到每个特征通道的权重，将全局平均池化的结果与通道权重相乘；最后，通过全连接层将通道数设置为与类别相等，由此得到图像属于各个类别的得分，预测的结果对应为得分最高的类别。与现有技术相比，本专利技术具有如下特点：本专利技术适用于遥感影像场景分类，与已有方法相比，本专利技术提供了一种端到端的场景分类方法，只需输入一幅单尺度图像即可得到多级别特征图。通过对深层特征图的继承以及与浅层特征图的横向连接，多级特征既包含细节信息又包含语义信息，从而缓解了特征图中细节丢失的问题。附图说明图1：为本专利技术方法整体框架图；图2：为本本文档来自技高网...

【技术保护点】
1.一种基于特征金字塔多级特征融合的遥感影像场景分类方法，其特征在于，包括以下步骤：/n步骤1，将已知标签类别的遥感影像作为输入，使用经过预训练的ResNet网络初步提取特征，由此得到不同卷积深度的特征图；/n步骤2，以步骤1中不同卷积深度的特征图为基础，使用特征金字塔网络获取多级特征；/n步骤3，在获得多级特征之后，添加注意力模块，所述注意力模块包含两个部分：通道注意力和空间注意力；/n将步骤2中获取的不同级别特征分别输入注意力模块，由此得到增强的多级特征；/n步骤4，将增强的多级特征经过一个特征融合模块，综合所有特征对遥感影像的类别作最终判断，输出对应图像的标签。/n

【技术特征摘要】
1.一种基于特征金字塔多级特征融合的遥感影像场景分类方法，其特征在于，包括以下步骤：
步骤1，将已知标签类别的遥感影像作为输入，使用经过预训练的ResNet网络初步提取特征，由此得到不同卷积深度的特征图；
步骤2，以步骤1中不同卷积深度的特征图为基础，使用特征金字塔网络获取多级特征；
步骤3，在获得多级特征之后，添加注意力模块，所述注意力模块包含两个部分：通道注意力和空间注意力；
将步骤2中获取的不同级别特征分别输入注意力模块，由此得到增强的多级特征；
步骤4，将增强的多级特征经过一个特征融合模块，综合所有特征对遥感影像的类别作最终判断，输出对应图像的标签。


2.根据权利要求1所述的基于特征金字塔多级特征融合的遥感影像场景分类方法，其特征在于：步骤1中使用ResNet初步提取特征，具体为：
首先，将经过预训练的ResNet去除最后的全连接层，将图像缩放到适当的尺寸作为输入，由于ResNet由四个串行的卷积块构成，因此得到四个不同深度的特征图，由浅到深特征图的尺寸依次为：56×56、28×28、14×14和7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特征图包含更为抽象的高级语义信息，但是分辨率的降低会导致细节的损失。


3.根据权利要求2所述的基于特征金字塔多级特征融合的遥感影像场景分类方法，其特征在于：步骤2中使用特征金字塔网络获取多级别特征，具体为；
将步骤1中最后一层输出，即7×7尺寸的特征图，直接被视为一个特征的分支，记作M1；定义一个基本卷积单元，由连续三组重复的卷积核尺寸依次为1×1和3×3的卷积层构成，M1经过基本卷积单元后得到下一级的特征图M2，M2的尺寸同样为7×7；然后将M2上采样至14×14，与ResNet50网络中对应分辨率的特征进行横向连接，经过一个基本卷积单元后得到特征图M3，由于经过了一个上采样，M3的尺寸为14×14；同理，对M3执行同样的操作，依次经过上采样、横向连接和基本卷积单元，可以得到尺寸为28×28的特征图M4；由此，通过步骤2得到四个级别的...

【专利技术属性】
技术研发人员：潘俊，舒奇迪，胡佳睿，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42