一种从PATCH到REGION架构的大幅面遥感影像语义分割方法技术

本发明专利技术针对高分辨率遥感影像单次处理区域小、分割性能受限制等问题，设计了一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，该架构为分层图像金字塔结构，最下层的是较小的图像块，简称“Patch”，上层的是较大的影像区域，简称“Region”。“Patch”部分处理的对象是较小的图像块，采用的是融合Transformer的U型结构语义分割网络，输出的是像素级别的语义特征。“Region”部分处理对象为较大的影像区域，为了减少计算的参数量，采用全局平均池化算法将“Patch”块输出的像素级别语义特征转换为“Patch”级别的语义特征，之后通过Transformer模块提取“Region”级别的全局上下文信息，最后聚合全局上下文信息和像素级别的语义特征来获得高质量的分割图。该方法在高分辨率遥感影像处理领域具有广泛的应用前景。辨率遥感影像处理领域具有广泛的应用前景。辨率遥感影像处理领域具有广泛的应用前景。

【技术实现步骤摘要】
一种从PATCH到REGION架构的大幅面遥感影像语义分割方法


[0001]本专利技术属于遥感图像处理领域，主要涉及一种从PATCH到REGION架构的大幅面遥感影像语义分割方法。

技术介绍

[0002]近年来，高分辨率卫星遥感影像的使用越来越普及，影像的质量和分辨率也越来越高，使得高分辨率遥感影像在基础地理信息更新、城市规划设计、国防和军事安全等领域的应用越来越广泛。基于深度学习的遥感影像语义分割作为遥感影像处理领域的一个关键技术，在各种任务中扮演着重要的角色。
[0003]基于深度学习的遥感影像语义分割算法通常借鉴计算机视觉领域的图像语义分割算法，在图像语义分割任务中，Long等人首次提出了全卷积网络(FCN)，在分类网络的基础上去除了全连接层，通过反卷积恢复特征图分辨率，成功地将图像分类网络转化为图像分割网络。之后，很多学者在此基础上设计了一系列FCN变种网络，如DeepLab系列、Unet系列等，这些网络在遥感影像语义分割领域取得了不错的效果。DeepLab网络可以有效地解决传统CNN网络下采样空间分辨率下降的问题，随后又结合深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，其特征在于，包括如下步骤：步骤1，语义分割数据集构建，通过高分辨率遥感影像以及对应的矢量文件构建语义分割数据集，包括Patch级数据集与Region级数据集两类；步骤2，Patch级遥感影像语义分割网络训练，Patch级语义分割网络采用的是U型结构的编码解码结构，在解码器最末端添加注意力模块提升特征表达能力，通过跳转连接融合多尺度特征；训练集采用的是影像尺寸相对小的影像，网络训练阶段输出结果为预测的影像语义标签，通过预测标签与真值计算loss函数；步骤3，Region级遥感影像网络构建与训练，在Patch级网络的基础上构建用于语义分割的Region级遥感影像语义分割网络，在Patch级网络中，将Region级影像划分为若干Patch，采用Patch级语义分割网络提取每一个Patch的像素级语义特征，然后采用全局平均池化算法将像素级别的语义特征转换为“Patch”级别的语义特征，通过Transformer模块提取Region级的全局上下文信息，最后聚合全局上下文信息和像素级别的语义特征来获得高质量的分割图；在整个训练过程中，Patch级语义分割网络固定模型参数，仅作为特征提取网络使用。2.如权利要求1所述的一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，其特征在于：步骤1中Patch级数据集与Region级数据集的构建方式如下；首先以尺寸相对大的影像裁切Region级数据集，包含高分辨率遥感影像及对应的标签，划分训练集、验证集和测试集，然后以尺寸相对小的的影像将Region级数据集裁切为Patch级数据集，裁切过程中训练集、验证集和测试集保持一致，以便于后续的模型质量评估。3.如权利要求1所述的一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，其特征在于：步骤2中U型结构的编码解码结构包括卷积网络特征提取部分，Transformer特征图编码部分和联级解码模块；其中卷积网络特征提取部分由特征信息压缩块与信息提取块组成，特征信息压缩模块由卷积层、归一层、激活函数与池化层组成，信息提取模块划分为3个子模块，每个子模块包括三个卷积单元以及残差跳跃连接，对于每个卷积单元由卷积层、归一层与激活函数组成，经过压缩的特征图在经过每个子模块后，特征图的高度和宽度均变为之前的二分之一，同时保留不同大小的特征图作为后续联级解码器的输入特征；Transformer特征图编码部分由位置嵌入Embedding模块与Transformer编码模块组成；联级解码模块包括卷积上采样模块、特征拼接模块、语义结果预测模块三个部分，卷积上采样解码块由三个串联的block组成，每个block包含两个卷积层和一个上采样层；特征拼接模块衔接在每一个block之后，通过跳跃连接融合卷积特征提取模块输出的对应尺度下的特征图；通过一系列卷积上采样和特征拼接操作后，获得了和原始影像尺寸一致的融合多尺度信息的高维度影像特征，然后通过语义结果预测模块输出遥感影像语义分割结果。4.如权利要求3所述的一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，其特征在于：卷积网络特征提取部分输出特征图的长宽变为原始影像的1/16，该部分的特征
计算流程如下：S1(x)＝Relu(GN(Conv7×7(x)))F1(x)＝Relu(BN(Conv1×1(S1(x))))R1(x)＝F1(x)+S1(x)F2(x)＝Relu(BN(Conv3×3(R1(x))))R2(x)＝F2(x)+R1(x)x3(x)＝Relu(BN(Conv1×1(R2(x))))R3(x)＝F3(x)+R2(x)其中x是输入的原始影像，S1(x)是对图像的特征压缩处理，F
k
(x)是提取影像在经过第k个子模块压缩后的特征，R
k
(x)是第k个子模块的残差计算单元，k的取值为1,2,3，Conv
n
×
n
表示卷积核为n的卷积操作，n的取值为1和7，BN表示对批量样本进行归一化处理，GN表示将样本分组，并以组为单位计算归一化的均值和方差。5.如权利要求3所述的一种从PATCH到REGION架构的大幅面遥感影像语义分割方法，其特征在于：Embedding模块首先将输入的特征图通过一个卷积操作展平为一个2D的Patch序列，其卷积核大小与步长均为1，每个Patch的大小为上部分输入的特征图大小16
×...

【专利技术属性】
技术研发人员：庞世燕，石业鹏，周东波，李畅，陈加，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：