【技术实现步骤摘要】
本专利技术涉及遥感图像处理，具体来说，涉及一种基于双频融合网络的遥感图像语义分割方法。
技术介绍
1、超分辨率遥感图像的语义分割是遥感界的一个热门研究对象，它在各种城市应用中发挥着至关重要的作用，如城市规划、土地使用等实际应用中发挥着重要作用。然而，遥感图像细节丰富多样，背景复杂多变，如何准确高效地完成遥感图像的语义分割仍是一个具有挑战性的问题。
2、近年来，遥感图像分割领域取得了显著的研究成果，尤其是基于深度学习的方法。但是仍存在以下的技术问题：
3、全地貌图像的全局信息建模不足。受卷积核大小的限制，感受野较小，难以充分学习全局信息和远距离上下文信息。对于遥感图像分割来说，全局信息、远距离空间上下文信息和边缘细节信息尤为重要，但大多数模型通常会忽略这些信息。
4、高频和低频信息融合不平衡。局部低频上下文信息的融合对分割结果至关重要。大多数模型都倾向于直接融合捕捉到的低频信息(上下文信息)和高频信息(边缘信息)。这种方法可能会忽略细节特征，导致信息融合不充分。
技术实现思路
1、鉴于现有技术的不足，本专利技术提供一种基于双频融合网络的遥感图像语义分割方法。本专利技术采用双分支结构，低频分支基于eswin-transformer捕获不同尺度的低频上下文信息，高频分支基于堆叠cnn和横向连接提取高频边缘信息，通过边界感知模块实现双频平衡，使高分辨率遥感图像具有更好的分割效果。
2、本专利技术采用的技术手段如下：
3、一种基于双
4、s1、获取遥感图像；
5、s2、将所述遥感图像分别输入低频分支和高频分支，所述低频分支通过串联的四个子模块提取遥感图像的细节信息，所述高频分支通过堆叠卷积构成轻量级的卷积网络提取要干遥感图像的边缘信息；
6、s3、基于像素注意力机制横向连接低频分支第三和第四子模块的输出，学习最优的低频上下文信息；
7、s4、基于边界注意力机制融合高频分支的输出和横向连接后的低频分支输出;
8、s5、通过多重损失分别优化融合输出的边界和细节，从而输出分割图像。
9、进一步地，低频分支包括的四个子模块均包括多个连续的eswin-transformer块，且第三和第四子模块eswin-transformer块利用patch merging操作进行下采样。
10、进一步地，所述eswin-transformer块被设置为：
11、
12、其中，eswmsa(q，k，，v)表示改进的高效多头自注意力头，q表示query，后续会和每一个k进行匹配，k表示key，后续会被每个q匹配，v表示从输入向量中提取到的信息，m表示向量k的长度，lp(.)表示线性投影，in(.)表示实例规范化。
13、进一步地，所述高频分支包括四个不同卷积层以1/2特征图为输入，通过多层卷积网络，并在阶段3和阶段4之前融合低频信息分支的低频上下文信息。
14、进一步地，所述高频分支的输出为：
15、
16、其中，表示高频分支的输出。x表示输入图像，gst1(x)表示低频分支第一子模块的输出，gst2(x)表示低频分支第二子模块的输出。
17、进一步地，所述最优的低频上下文信息为：
18、
19、其中，gst3(x)表示低频分支第三子模块的输出，gst4(x)表示低频分支第四子模块的输出，f(.)表示双线性插值操作，ω1表示像素注意力模块学习到的参数信息，表示不同阶段双线性插值后的输出。
20、进一步地，所述融合输出为：
21、
22、其中，表示像素注意力模块的输出，表示低频分支第二子模块双线性插值后的输出，f(.)表示双线性插值操作，ω2表示边界注意力模块学习到的权重信息。
23、进一步地，所述多重损失为：
24、loss＝λ0bdloss+λ1segloss
25、
26、其中，yi表示真标签，表示边界感知模块预测的结果，oi代表分割头的输出也就是预测的类别，t是设置的阈值。
27、较现有技术相比，本专利技术具有以下优点：
28、本专利技术提出了一种基于双频融合网络的遥感图像语义分割方法，实现过程依赖基于像素注意力和边界注意力的双频融合语义分割网络。该网络模型采用双分支结构，低频分支基于eswin-transformer捕获不同尺度的低频上下文信息；同时，在低频分支后面设计像素注意力机制选择出最优全局上下文信息；高频分支基于堆叠cnn和横向连接提取高频边缘信息。此外，针对直接融合高频和低频信息导致细节丢失的问题，我们设计了用于双频平衡的边界感知模块，使高分辨率遥感图像具有更好的分割效果。在公开的数据集上进行大量实验证明该模型的有效性。
本文档来自技高网...【技术保护点】
1.一种基于双频融合网络的遥感图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，低频分支包括的四个子模块均包括多个连续的ESWin-Transformer块，且第三和第四子模块ESWin-Transformer块利用Patch Merging操作进行下采样。
3.根据权利要求2所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述ESWin-Transformer块被设置为：
4.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述高频分支包括四个不同卷积层以1/2特征图为输入，通过多层卷积网络，并在阶段3和阶段4之前融合低频信息分支的低频上下文信息。
5.根据权利要求4所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述高频分支的输出为：
6.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述最优的低频上下文信息为：
7.根据权利要求6所述的一种基于
8.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述多重损失为：
...【技术特征摘要】
1.一种基于双频融合网络的遥感图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，低频分支包括的四个子模块均包括多个连续的eswin-transformer块，且第三和第四子模块eswin-transformer块利用patch merging操作进行下采样。
3.根据权利要求2所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，所述eswin-transformer块被设置为：
4.根据权利要求1所述的一种基于双频融合网络的遥感图像语义分割方法，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。