一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法技术

本发明专利技术公开了一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，首先采用带注意力的迭代聚合模块对高分辨率遥感图像进行卷积、通道注意力筛选、融合得到图像的底层特征；其次将得到的底层特征通过卷积后送入下一个带注意力的迭代聚合模块提取图像的中层特征；然后将得到的中层特征通过卷积后送入最后一个带注意力的迭代聚合模块提取图像的高层特征；最后，将特征图通过池化层和全连接层对遥感场景图像进行分类。本发明专利技术利用带注意力的迭代聚合模块对遥感图像进行特征提取并融合，提取的特征涵盖具有较强的语义信息，同时，模块中嵌入了带注意力机制的结构，能有效筛选有用信息的通道进行融合，提高分类器的识别能力和分类性能。

【技术实现步骤摘要】
一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
本专利技术属于图像处理领域，尤其涉及一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法。
技术介绍
高分辨率遥感图像场景分类是根据遥感图像的内容，用一组语义类别对其进行标注。近年来，高分辨率遥感图像的场景分类因其在自然灾害探测、土地覆盖与土地利用分类、地理空间目标检测、地理图像检索、城市规划、环境监测等领域的广泛应用而变得越来越重要。在早期的工作中，手工制作的特征在这项工作中应用最为广泛，并得到了深入的研究，如颜色直方图、尺度不变特征变换(SIFT)和方向梯度直方图(HOG)。这些方法严重依赖专业技能和领域专业知识来设计各种特征，使得它们的适应性和表达能力不够强。同时，这些方法通常需要中间层的编码器作为辅助，如著名的视觉单词包(BoVW)、fisher矢量(FV)编码和空间金字塔匹配(SPM)。但是，随着这项工作的难度越来越大，上述方法已经不能满足需求。在深度神经网络强大的特征学习能力的推动下，由深度学习驱动的遥感图像场景分类引起了人们的极大关注，并取得了重大突破。鉴于这一领域的迅速发展，基于深度学习的高分辨率遥感图像场景分类方法主要有：(1)基于自动编码器的场景分类方法；(2)基于卷积神经网络的场景分类方法；(3)基于生成对抗网络的场景分类方法。公开号CN108399366A一种遥感图像场景的分类系统，包括采集步骤、灰度处理器、拟合步骤、边缘检测步骤、遥感图像像素分类步骤及神经网络训练器；通过对原始遥感图像进行采集作为样本并传输给灰度处理器，接着采用分量法进行灰度化处理，然后采用低次样条函数对灰度直方图进行拟合，最后采用基于零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘。所述的方法采用基于像元的方法对遥感图像分类，能够很好地对遥感图像场景进行分类，但是，该分类方法采用的大多是传统手工特征提取的算法，分类步骤繁琐，且在分类的决策边界处难以判定所属类别。Li等人在2019年IEEE4thInternationalConferenceonSignalandImageProcessing上发表论文“ClassificationofRemoteSensingScenesBasedonNeuralArchitectureSearchNetwork”，该文献针对网络模型的自动设计问题，提出了一种基于神经网络的遥感场景分类方法。进一步利用迁移学习技术，使所设计的网络能够很好地迁移到遥感场景分类数据集中。由于该方法采用神经网络架构搜索的方法，使得训练的工作变得非常麻烦，且实现该分类方法对硬件资源的要求极高，同时训练出的的神经网络架构具有偶然性，泛化能力受数据影响。综上，一般的遥感图像场景分类方法，存在的诸多局限性主要表现在：(1)特征提取过程复杂：传统的分类方法采用分治的思想，需要人为设计图像特征的提取算法，提取图像的各种类型的特征，其中特征提取过程算法复杂，且提取的特征可能存在信息丢失冗余等现象，从而导致分类准确率不高；(2)特征表达能力不强：传统遥感图像场景分类方法通常仅用一种或两种类型的特征作为分类器的输入，当场景图像存在畸变、模糊、类别不一等情形，特征表达能力受限，从而弱化了分类性能。(3)分类器参数选择困难：常用的图像分类器，如SVM、KNN(K-NearestNeighbor)等参数的设置对分类的性能影响很大，为了得到较好的分类结果，需要大量的人工参与进行最优参数的选择，导致算法通用性不强。
技术实现思路
专利技术目的：针对现有技术中存在的问题，本专利技术提供一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法。该方法可以避免传统手工特征提取过程、分类器参数选择过程等，增强特征表现能力，提高分类的准确力，同时结构中的迭代聚合模块中含有相邻层之间的非线性融合，类似于ResNet的残差结构，在一定程度上避免了训练过程中梯度消失的问题，加上引入的注意力机制对特征通道进行选择性融合，一方面能够有效防止过拟合的现象，另一方面在语义层面上加强了特征的表示，使得该网络具有更好的泛化能力。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，包含步骤如下：(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test；(2)构建带注意力机制的迭代聚合网络，将遥感图像作为网络的输入，得到图像的特征图以及特征向量，通过平均池化得到降维后的特征图，使用基于softmax激活函数的全连接层作为分类器，输出分类结果；(3)设定训练次数，构建损失函数，使用训练集对所构建的迭代聚合网络进行训练，更新网络参数，直到参数取值收敛；收敛条件为损失函数值不再减小；(4)将测试集输入到训练好的网络中得到测试集的分类识别结果。进一步的，所述步骤(1)，构建样本集合和集合分类方法如下：(1.1)构建遥感场景图像样本数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei表示第i类遥感场景图像的集合，Labeli表示第i类遥感场景图像的标签；(1.2)将数据集分为训练集Train和测试集Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集；则有：Train＝[Train1,…,Traini,…,TrainN],Test＝[Test1,…,Testi,…,TestN]；其中Traini为第i类遥感影像的训练集合，包含m张图像，Testi为第i类遥感影像的测试集合，包含n-m张图像。进一步的，所述步骤(2)，带注意力机制的迭代聚合网络结构如下：(2.1)在输入层中，将每一个遥感场景图像归一化为256×256大小；(2.2)第一个迭代聚合模块包括卷积1-1、卷积1-2、卷积1-3、卷积2-1、卷积2-2、卷积3-1这六个卷积层，均定义32个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；其中，各卷积层连接结构如下：卷积1-1的输出同时送到卷积1-2和卷积2-1，送到卷积1-2的特征不经过SE模块处理，送到卷积2-1的特征要经过SE模块处理；卷积1-2的输出同时送到卷积1-3和卷积2-2，送到卷积1-3的特征不经过SE模块处理，送到卷积2-2的特征要经过SE模块处理；卷积2-1接收来自卷积1-1通过SE模块处理后的结果和卷积1-2通过SE模块处理后的结果，并通过合并的方式将两个输入的特征映射堆叠在一起，经过SE模块处理后送到卷积3-1；卷积2-2接收来自卷积1-2通过SE模块处理后的结果和卷积1-3通过SE模块处理后的结果，并通过合并的方式将两个输入的特征映射堆叠在一起，经过SE模块处理后送到卷积3-1；...

【技术保护点】
1.一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，其特征在于：该方法包括以下步骤：/n(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test；/n(2)构建带注意力机制的迭代聚合网络，将遥感图像作为网络的输入，得到图像的特征图以及特征向量，通过平均池化得到降维后的特征图，使用基于softmax激活函数的全连接层作为分类器，输出分类结果；/n(3)设定训练次数，构建损失函数，使用训练集对所构建的迭代聚合网络进行训练，更新网络参数，直到参数取值收敛；收敛条件为损失函数值不再减小；/n(4)将测试集输入到训练好的网络中得到测试集的分类识别结果。/n

【技术特征摘要】
1.一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，其特征在于：该方法包括以下步骤：
(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test；
(2)构建带注意力机制的迭代聚合网络，将遥感图像作为网络的输入，得到图像的特征图以及特征向量，通过平均池化得到降维后的特征图，使用基于softmax激活函数的全连接层作为分类器，输出分类结果；
(3)设定训练次数，构建损失函数，使用训练集对所构建的迭代聚合网络进行训练，更新网络参数，直到参数取值收敛；收敛条件为损失函数值不再减小；
(4)将测试集输入到训练好的网络中得到测试集的分类识别结果。


2.根据权利要求1所述的嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，其特征在于：所述步骤(1)，构建样本集合和集合分类方法如下：
(1.1)构建遥感场景图像样本数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei表示第i类遥感场景图像的集合，Labeli表示第i类遥感场景图像的标签；
(1.2)将数据集分为训练集Train和测试集Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集；则有：Train＝[Train1,…,Traini,…,TrainN],Test＝[Test1,…,Testi,…,TestN]；其中Traini为第i类遥感影像的训练集合，包含m张图像，Testi为第i类遥感影像的测试集合，包含n-m张图像。


3.根据权利要求1或2所述的嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法，其特征在于：所述步骤(2)，带注意力机制的迭代聚合网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为256×256大小；
(2.2)第一个迭代聚合模块包括卷积1-1、卷积1-2、卷积1-3、卷积2-1、卷积2-2、卷积3-1这六个卷积层，均定义32个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；其中，各卷积层连接结构如下：
卷积1-1的输出同时送到卷积1-2和卷积2-1，送到卷积1-2的特征不经过SE模块处理，送到卷积2-1的特征要经过SE模块处理；卷积1-2的输出同时送到卷积1-3和卷积2-2，送到卷积1-3的特征不经过SE模块处理，送到卷积2-2的特征要经过SE模块处理；
卷积2-1接收来自卷积1-1通过SE模块处理后的结果和卷积1-2通过SE模块处理后的结果，并通过合并的方式将两个输入的特征映射堆叠在一起，经过SE模块处理后送到卷积3-1；卷积2-2接收来自卷积1-2通过SE模块处理后的结果和卷积1-3通过SE模块处理后的结果，并通过合并的...

【专利技术属性】
技术研发人员：王鑫，段林，吕国芳，严勤，石爱业，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32