一种联合多注意的跨尺度遥感图像耕地提取方法技术

本发明专利技术公开了一个联合多注意以及跨尺度特征融合网络来充分提取遥感图像的空间特征和纹理特征。多注意模块包括通道注意和空间注意，以进一步关注重要区域的信息。此外，本发明专利技术提出了一种跨尺度特征融合模块，以充分融合浅层和深层信息进行预测，使得特征表示和学习后的混合信息包含了多层次的特征。该网络在两个遥感图像分割数据集上进行了测试，显示了良好的分类性能。结果表明，该方法对遥感图像中的深层语义信息非常有效。深层语义信息非常有效。深层语义信息非常有效。

【技术实现步骤摘要】
一种联合多注意的跨尺度遥感图像耕地提取方法


[0001]本专利技术属于遥感图像分割领域，具体涉及一种联合多注意的跨尺度遥感图像耕地提取方法。

技术介绍

[0002]遥感图像分割是指将遥感图像中的像素按照其所属的不同类别进行划分的过程。遥感图像分割技术已经在许多领域得到了广泛应用，如农业、城市规划、环境监测、天文学和地质学等领域。通过遥感图像分割，可以提取出地表覆盖类型、道路网络、建筑物轮廓、森林覆盖范围等信息，从而为相关领域的决策提供支持。
[0003]耕地提取是指利用遥感技术和图像处理算法，从高分辨率的远程遥感图像中准确提取出农业耕地的过程。它是精准农业中的重要任务之一。在农业生产中，对耕地的识别和提取具有重要意义，可以在农业管理、决策制定、精准施肥等方面提供有力的支持。
[0004]由于遥感图像具有分辨率高、维度多、背景复杂、目标尺度不一致等特点，因此传统的图像分割方法在遥感图像分割中面临着很大的挑战。为提高分割准确率，当前的前沿方法往往基于神经网络，考虑多尺度或引入注意力机制。这些方法可以学习不同尺度图像的类别信息，增强困难样本的特征，从而提高语义分割的准确性。但是，这些方法也存在一些问题。首先，它们未能很好地平衡全局信息和局部信息。现有的多尺度方法没有考虑遥感图像的信息密集性和广泛性，导致模型无法充分学习遥感图像的全局轮廓，也容易忽略遥感图像的局部特征。其次，这些方法缺乏上下文相关性信息，忽略了不同维度之间的潜在特征，这使得上下文信息缺失。最后，这些方法没有考虑像素类别边界信息对图像分割的影响。

技术实现思路

[0005]本专利技术的目的是针对上述的不足，提出了一种新的遥感图像分割方法，它结合了注意力机制和跨尺度融合，可以更好地提高遥感图像的分割准确率。本专利技术采用了语义分割中的Encoder
‑
Decoder架构。对于Encoder，本专利技术利用Swin Transformer作为骨干网络结构提取遥感图像中丰富的语义信息以及上下文信息。对于Decoder，通过注意力机制，使网络关注到更重要的区域，最后通过跨尺度特征融合，将经过注意力之后得到的深层特征与浅层特征进行融合，最后将融合的特征进行预测，提升了遥感图像分割的性能。
[0006]本专利技术解决该问题采用的技术方案为：
[0007]一种联合多注意的跨尺度遥感图像耕地提取方法，包括如下步骤：
[0008]步骤1，划分训练数据集和测试数据集；
[0009]步骤2，对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据；
[0010]步骤3，将训练集图像输入构建网络的编码器进行编码，得到多尺度特征；
[0011]步骤4，对于编码器得到的多尺度特征，执行包含通道注意(CA)、空间注意(SA)的
跨尺度融合模块，得到融合特征；
[0012]步骤5，将融合的特征上采样到统一分辨率得到最终的融合特征；
[0013]步骤6，使用softmax函数来识别标签。
[0014]更优的，步骤3中我们使用的Swin Transformer每个Stage的Block数量分别为2，6，18，2；经过每个Stage后得到的特征图大小分别为H/4
×
W/4，H/8
×
W/8，H/16
×
W/16，H/32
×
W/32，通道数分别为96，192，384，768。
[0015]更优的，步骤4中通道注意的处理过程如下；
[0016]对于输入特征F，对其进行平均池化和最大池化操作，得到两个不同的空间上下文描述符和然后将它们输入到一个共享的多层感知器(MLP)中，MLP的隐藏层大小设置为R
C/r
×1×
1，其中r是缩减比，C是通道数，然后逐元素求和得到最终的输出特征；该过程用数学公式表示为：
[0017][0018]其中Sig为sigmoid函数，W0∈R
C/r
×
C
，MLP权重W0和W1是共享的，ReLU激活函数后面是W0；
[0019]更优的，对于空间注意力模块部分，首先将输入特征F进行平均池化和最大池化操作，从而分别获取特征和接着，将这两个结果特征连接起来，然后使用卷积层对它们进行处理，最后生成空间注意特征图；
[0020][0021]其中Sig为sigmoid函数，f3×3表示卷积核大小为3
×
3的卷积运算。
[0022]更优的，步骤4中生成跨尺度融合特征的过程如下；
[0023]首先定义经过Swin Transformer的4个Stage得到的由浅至深的特征为F1，F2，F3，F4，采用跨层融合方式进行；(F1，F3)和(F2，F4)分别表示由浅层和深层特征组成的特征对；
[0024]具体来说，对于特征对(F1，F3)(另一个特征对同理)，对于深层特征F3来说，依次经过通道注意力，1
×
1卷积，Sigmoid函数以及4倍上采样得到浅层注意权重W；接着，对于浅层特征F1，依次经过空间注意力模块以及1
×
1卷积得到特征图F1'；接着F1'和W进行点积操作得到融合特征F'；该过程用数学公式表示为:
[0025]F'＝f1×1(SA(F1))*Sig(Upsample(f1×1(CA(F3))
ꢀꢀꢀ
(3)
[0026]其中，f1×1表示1
×
1卷积，Sig表示Sigmoid函数，SA表示空间注意力，CA表示通道注意力，Upsample表示四倍上采样操作，*表示1
×
1点积操作。
[0027]更优的，步骤5中将步骤4中得到的融合特征均上采样到输入图像的1/4大小，并且使用Concat函数进行拼接，最后在步骤6中使用Softmax函数进行预测。
[0028]更优的，训练整体网络模型时，使用Adam算法进行优化，学习率设置为6
×
10
‑5，批量大小设置为8，训练40000轮迭代，通过训练模型从而得到网络的权重参数W和偏置参数B。
[0029]本专利技术的有益效果是：本专利技术设计了一种结合通道注意以及空间注意的跨尺度多注意力模块。我们分别定义模块中的两个特征为浅层特征和深层特征。对于深层特征来说，通道数量大，该模块先利用通道注意对通道进行选择，通道注意力可以根据不同通道的重要性自适应地加权图像中的特征，从而使得模型更加关注对于特定任务最为重要的特征，
并且通道注意力可以自适应地调整通道的权重，从而可以在一定程度上应对不同的数据集和应用场景，提高模型的鲁棒性。而对于浅层特征来说，特征图分辨率较大，所包含的空间位置信息更加丰富，通过空间注意力机制，模型能够更加聚焦于图像中具有重要特征的区域，强化关键区域的特征表示。之后，深层特征经过Sigmoid函数以及上采样后，得到的特征与浅层特征进行融合得到融合特征进行预测。关于Decoder设计部分，我本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于，包括如下步骤：步骤1，划分训练数据集和测试数据集；步骤2，对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据；步骤3，将训练集图像输入构建网络的编码器进行编码，得到多尺度特征；步骤4，对于编码器得到的多尺度特征，执行包含通道注意CA、空间注意SA的跨尺度融合模块，得到融合特征；步骤5，将融合的特征上采样到统一分辨率得到最终的融合特征；步骤6，使用softmax函数来识别标签。2.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤3中我们使用的SwinTransformer每个Stage的Block数量分别为2，6，18，2；经过每个Stage后得到的特征图大小分别为H/4
×
W/4，H/8
×
W/8，H/16
×
W/16，H/32
×
W/32，通道数分别为96，192，384，768。3.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤4中通道注意的处理过程如下；对于输入特征F，对其进行平均池化和最大池化操作，得到两个不同的空间上下文描述符和然后将它们输入到一个共享的多层感知器MLP中，MLP的隐藏层大小设置为R
C/r
×1×
1，其中r是缩减比，C是通道数，然后逐元素求和得到最终的输出特征；该过程用数学公式表示为：其中Sig为sigmoid函数，W0∈R
C/r
×
C
，MLP权重W0和W1是共享的，ReLU激活函数后面是W0。4.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：对于空间注意力模块部分，首先将输入特征F进行平均池化和最大池化操作，从而分别获取特征和接着，将这两个结果特征连接起来，然后使用卷积层对它...

【专利技术属性】
技术研发人员：张波，邢青涛，朱济帅，李海霞，
申请(专利权)人：海南聚能科技创新研究院有限公司，
类型：发明
国别省市：