一种基于新型特征金字塔深度网络的高分遥感图像分类方法技术

本发明专利技术公开了一种基于新型特征金字塔深度网络的高分遥感图像分类方法。首先，以ResNet34网络模型为基础，设计一个新型深度卷积神经网络；其次，将高分遥感图像输入网络中进行训练，将ResNet34各主要卷积层输出作为后续的输入特征；利用特征金字塔网络对输入特征进行融合形成新的特征；接着，新深层特征和新浅层特征分别融合后作为上下两条支路的输入，支路上分别设计有两个残差块和一个全局平均池化层。上下支路的特征经融合后送入全连接层，经SoftMax层后对遥感图像进行分类。本发明专利技术以深度学习理论为基础对高分遥感图像进行特征提取并融合，使每种特征得以增强。新特征再次融合后送入上下两条支路以学习图像级特征，经实验证明提出的方法能实现良好的分类效果。

A high resolution remote sensing image classification method based on new feature pyramid depth network

【技术实现步骤摘要】
一种基于新型特征金字塔深度网络的高分遥感图像分类方法
本专利技术属于图像处理领域，尤其涉及一种基于深度学习的高分遥感图像分类方法。
技术介绍
遥感，泛指远程非接触式的探测技术。由于不同物体对同一波段电磁波的波谱效应具有明显差异，遥感技术设备根据此原理分析物体波谱图，从而实现对远距离物体的识别。通用的遥感技术可以分为多光谱、高光谱、合成孔径雷达，生成的遥感图像具有不同的空间分辨率、光谱分辨率和时间分辨率。空间分辨率，是指遥感图像上能够详细区分的最小单元的尺寸或大小。随着遥感技术的不断发展，遥感图像的空间分辨率呈级数提高：2012年发射的法国SPOT-6卫星可提供全色1.5m分辨率的高清晰地面图像；2014年发射的美国WorldView-3卫星可以提供全色0.3m分辨率的高清晰地面图像。近年来，我国遥感技术取得长足发展，地面像元分辨率最高可达亚米级：2018年我国发射的GF-11卫星能够实现10cm或更小的地面图像分辨率。高空间分辨率遥感图像具有丰富的地物纹理信息，常应用于国土普查、地物分类和变化检测等领域，为重大计划的实施提供信息保障。目前，由于高分遥感图像数据量巨大，如何更准确无误地将遥感图像根据职能划分为不同种类是学术界尤为关注的课题。实际上，样本特征提取的有效性、独特性对高分遥感图像分类精度有极其重要的影响。公开号CN104732244A一种基于小波变换、多策略PSO和SVM集成的遥感图像分类方法，通过对进行灰度变换、去噪处理后的遥感图像进行小波变换，归一化后得到纹理特征向量；采用基于多策略改进的粒子群优化算法,优化SVM分类器参数；采用已知遥感图像样本的类别和该图像对应的纹理特征向量所形成的训练样本集对SVM分类器进行训练,获得最优SVM分类器；采用最优SVM分类器对待分类的遥感图像纹理特征向量进行分类。但是，人工设计特征(小波变换、纹理特征)提取时间长，特殊情况下较为复杂，不利于分类精度的提高。公开号CN105894030A一种基于分层多特征融合的高分辨率遥感图像场景分类方法，通过提取训练样本的组合全局特征，并进行聚类分析；设置阈值，将样本图像划分为第一训练子集和第二训练子集，分别训练全局特征分类器和局部精简特征分类器；在测试时根据聚类分析结果从两个分类器中选出最适合于测试样本的分类器来对测试样本进行分类。该方法虽然融合了遥感图像的全局特征和局部特征，丰富了特征信息，但仅使用两类网络最深层的输出作为最后分类器的输入特征，忽略了其他层的特征，分类效果有提高空间。综上，现有的高分遥感图像分类方法，存在的诸多不足，主要表现在：(1)现有的遥感图像分类方法仅关注最后一层卷积层的特征(高层特征)，高层特征更注重语义信息，可以帮助检测目标。但忽略浅层卷积层的特征的做法使得所提取的图像特征不具有鲁棒性，导致图像分类精度不高。；(2)现有的遥感图像分类方法若对图像进行上采样操作通常采用双线性插值法，该方法虽然在样本总量较少的传统方法中表现出众，但是双线性插值法存在计算量大、线性插值后图像高频分量严重受损、实例物体边缘模糊不清等缺点，在对精确度要求极高、样本数据量丰富的现代深度学习领域中并不适合。经研究发现，利用转置卷积进行上采样操作所用计算量少、特征准确率高、使用操作便捷等优点。
技术实现思路
专利技术目的：针对以上问题，本专利技术提供一种基于新型特征金字塔深度网络的高分遥感图像分类方法，以解决上述问题。该方法避免了过多人工特征的提取，充分利用主要输出特征来丰富特征图的信息，增强特征鲁棒性，提高图像分类的精确度。技术方案：为实现专利技术目的，本专利技术所采用的技术方案是：一种基于新型特征金字塔深度网络的高分遥感图像分类方法，该方法包含训练阶段和测试阶段：所述训练阶段包括以下步骤：(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；(2)构建卷积神经网络ResNet，使用高分遥感图像数据训练集对卷积神经网络进行训练；(3)将卷积神经网络模型卷积层各阶段的输出特征值设为C2、C3、C4、C5，使用卷积核尺寸为1x1的卷积层分别对其进行特征降维，降维后的各输出特征值与该层的前一层的输出特征值进行特征融合；(4)针对融合后的特征，使用卷积核尺寸为3x3的卷积层消除混叠效应，新生成的特征图设为P2、P3、P4、P5；(5)对P5、P3利用转置卷积进行上采样至P4、P2大小，对P4、P2使用卷积核为1x1的卷积操作，分别将P5与P4、P3与P2融合生成增强特征D4、D2；(6)针对增强后特征，设计两路并行特征处理支路，用于学习D2、D4中有利于场景分类的深度特征，两路深度特征再经串联形式进行融合；(7)针对步骤(6)的融合特征，将其送入全连接层后利用SoftMax进行分类；所述测试阶段包括以下步骤：(8)将测试集输入到步骤(2)中训练好的卷积神经网络中，得到各阶段最后一层卷积层的输出特征C2、C3、C4、C5；(9)利用步骤(3)中所述的卷积操作方法，对步骤(8)得到的卷积层输出特征进行特征降维后融合；融合后按照步骤(4)中所述的卷积操作方法，分别对其进行消除混叠操作，得到特征图P2、P3、P4、P5；(10)对P5、P3利用转置卷积进行上采样至P4、P2大小，对P4、P2使用卷积核为1x1的卷积操作，分别将P5与P4、P3与P2融合生成增强特征D4、D2；(11)采用步骤(6)中所述的特征处理支路，学习D2、D4中的深度特征，再通过串联融合，得到融合特征X；(12)将融合特征X送入步骤(7)中已训练完成的全连接层后得到输出特征Y，利用SoftMax对输出特征Y进行分类识别，进而实现对测试集的类别预测。进一步的，步骤(1)种的划分训练集和测试集的方法如下：(1.1)划分多分类遥感图像数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示共有N类遥感图像，Imagei表示第i类遥感图像集合，Labeli表示第i类遥感图像的标签集合，标签集合的取值为i-1，i的取值为i＝1,2,…,N；(1.2)将每类遥感图像数据集分为训练集Train和测试集Test，针对数据集中的每类遥感图像，设其样本总数为n，从其中随机抽取m张图像用于构建训练集，剩余n-m张遥感图像用于构建测试集，则有：Train＝[Train1,…,Traini,…,Trainm]，Test＝[Test1,…,Testi,…,Testn-m]，其中，Traini表示第i类遥感图像的训练集，它包含m张图像，Testi表示第i类高分遥感图像的测试集，它包含n-m张图像。进一步的，步骤(2)中的，卷积神经网络的搭建方法如下：(2.1)搭建一个以ResNet34模型为基础的网络：ResNet34模型共有5个阶段，各阶段名为Conv1、C本文档来自技高网...

【技术保护点】
1.一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，该方法包含训练阶段和测试阶段：/n所述训练阶段包括以下步骤：/n(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；/n(2)构建卷积神经网络ResNet，使用高分遥感图像数据训练集对卷积神经网络进行训练；/n(3)将卷积神经网络模型卷积层各阶段的输出特征值设为C

【技术特征摘要】
1.一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，该方法包含训练阶段和测试阶段：
所述训练阶段包括以下步骤：
(1)构建多分类遥感图像数据集，并制作相应的样本标签，将每类遥感图像按比例划分为训练集Train和测试集Test；
(2)构建卷积神经网络ResNet，使用高分遥感图像数据训练集对卷积神经网络进行训练；
(3)将卷积神经网络模型卷积层各阶段的输出特征值设为C2、C3、C4、C5，使用卷积核尺寸为1×1的卷积层分别对其进行特征降维，降维后的各输出特征值与该层的前一层的输出特征值进行特征融合；
(4)针对融合后的特征，使用卷积核尺寸为3×3的卷积层消除混叠效应，新生成的特征图设为P2、P3、P4、P5；
(5)对P5、P3利用转置卷积进行上采样至P4、P2大小，对P4、P2使用卷积核为1×1的卷积操作，分别将P5与P4、P3与P2融合生成增强特征D4、D2；
(6)针对增强后特征，设计两路并行特征处理支路，用于学习D2、D4中有利于场景分类的深度特征，两路深度特征再经串联形式进行融合；
(7)针对步骤(6)的融合特征，将其送入全连接层后利用SoftMax进行分类；
所述测试阶段包括以下步骤：
(8)将测试集输入到步骤(2)中训练好的卷积神经网络中，得到各阶段最后一层卷积层的输出特征C2、C3、C4、C5；
(9)利用步骤(3)中所述的卷积操作方法，对步骤(8)得到的卷积层输出特征进行特征降维后融合；融合后按照步骤(4)中所述的卷积操作方法，分别对其进行消除混叠操作，得到特征图P2、P3、P4、P5；
(10)对P5、P3利用转置卷积进行上采样至P4、P2大小，对P4、P2使用卷积核为1×1的卷积操作，分别将P5与P4、P3与P2融合生成增强特征D4、D2；
(11)采用步骤(6)中所述的特征处理支路，学习D2、D4中的深度特征，再通过串联融合，得到融合特征X；
(12)将融合特征X送入步骤(7)中已训练完成的全连接层后得到输出特征Y，利用SoftMax对输出特征Y进行分类识别，进而实现对测试集的类别预测。


2.根据权利要求书1所述的一种基于新型特征金字塔深度网络的高分遥感图像分类方法，其特征在于，步骤(1)种的划分训练集和测试集的方法如下：
(1.1)划分多分类遥感图像数据集Image＝[Image1，...，Imagei，...，ImageN]，并制作相应的样本标签Label＝[Label1，...，Labeli，...，LabelN]，其中N表示共有N类遥感图像，Imagei表示第i类遥感图像集合，Labeli表示第i类遥感图像的标签集合，标签集合的取值为i-1，i的取值为i＝1，2，...，N；
(1.2)将每类遥感图像数据集分为训练集Train和测试集Test，针对数据集中的每类遥感图像，设其样本总数为n，从其中随机抽取m张图像用于构建训练集，剩余n-m张遥感图像用于构建测试集，则有：Train＝[Train1，...，Traini，...，Trainm]，Test＝[Test1，...，Testi，...，Testn-m]，其中，Traini表示第i类遥感图像的训练集，它包含m张图像，Testi表示第i类高分遥感图像的测试集，它包含n-m张图像。


3.根据权利要求1或2所述的一种基于深度学习的高分遥感图像分类方法，步骤(2)中的，其特征在于，卷积神经网络的搭建方法如下：
(2.1)搭建一个以ResNet34模型为基础的网络：ResNet34模型共有5个阶段，各阶段名为Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x，选用FPN结构，在该结构中共设置4层卷积层，每层卷积层分别对接于Conv5_x、Conv4_x、Conv3_x、Conv2_x阶段的最后1层卷积层输出端。FPN中的各卷积层记为ConvLayer1、ConvLayer2、ConvLayer3、ConvLayer4，紧接在FPN结构后设计了2个并行的高层语义嵌入模块，每个模块中包含1层转置卷积层和1层卷积层，转置卷积层记为DeconvLayer1、DeconvLayer2，卷积层记为NewconvLayer1、NewconvLayer2，在每个高层语义嵌入模块后，设计一路特征处理支路，共上下两支路，每个支路中含有2个残差块和1个全局平均池化层，残差块分为主路和旁路，主路包含3层卷积层，旁路包含1层卷积层，上支路中残差块和全局平均池化层分别用ResidualBlock1、ResidualBlock2和AveragePool1表示，下支路中残差块和全局平均池化层分别用ResidualBlock3、ResidualBlock4和AveragePool2表示，最后一层为基于SoftMax的全连接层，记为Fc，其中，卷积层的目的在于提取并处理特征图，池化层用于对卷积层得到的特征图进行压缩，全连接层能够将特征图转化成一个一维向量。


4.根据权利要求3所述的一种基于深度学习的高分遥感图像分类方法，其特征在于，将遥感图像训练集输入搭建好的卷积神经网络中，前馈计算深度卷积神经网络每个神经元的输出值，设置各层特征图计算函数以及最小化损失函数：
(3.1)假设第l层为卷积层，则第l层的第i个特征图的计算公式为：



其中，*表示卷积操作，表示第l-1层第i个特征图，表示从到的卷积核，表示第l层第j个特征图的偏置，g(·)表示激活函数，Ml-1表示第l-1层特征图的个数；
(3.2)假设第l层为池化层，则第l层的第j个特征图的计算公式为：



其中，g(·)表示激活函数，表示第l层第j个特征图的池化参数，down(·)表示池化函数，表示第l-1层第i个特征图，表示第l层第j个特征图的偏置；
(3.3)假设第l层为全连接层，则第l层的第j个特征图的计算公式为：



其中，zl-1表示第l-1层所有特征图的加权和，表示第l层第j个特征图的偏置，g(·)表示激活函数；
(3.4)假设第l层为转置卷积层，则第l层的第j个特征图的计算公式为：



其中，表示第l-1层第i个特征图的转置形式，表示从到的卷积核的转置形式，*表示卷积操作；
(3.5)反向传播计算深度卷积神经网络的损失函数：
(3.5.1)设遥感图像训练集共有N×m张图像，那么其中任意一张图像Ii，i∈{1，2，...，N×m}，N表...

【专利技术属性】
技术研发人员：王鑫，王施意，严勤，吕国芳，石爱业，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32