一种基于双分支融合网络的遥感图像云和云影分割方法技术

本发明专利技术公开了一种基于双分支融合网络的遥感图像云和云影分割方法，该方法以Convolutional vision Transformer中的Transformer模块和条状卷积作为骨干网络，将两者有效结合，使得两个分支能够相互补充，从而更加高效地提取图像中的特征信息。在特征融合方面，使用了相互引导模块使得Transformer分支和条状卷积分支能够相互引导对方进行特征挖掘、提取多尺度上下文信息，提高了不同尺度的云和云影的分割能力。在解码阶段，充分利用两分支提取到的不同层级的特征进行融合上采样，有效融合高级语义信息和空间位置信息，使得云和云影的定位更加准确，分割边界更加详细；同时本方法还是通用的。同时本方法还是通用的。同时本方法还是通用的。

【技术实现步骤摘要】
一种基于双分支融合网络的遥感图像云和云影分割方法


[0001]本专利技术涉及图像分割
，具体为一种基于双分支融合网络的遥感图像云和云影分割方法。

技术介绍

[0002]云和云影检测是遥感图像处理中至关重要的问题。一方面，云是重要的气象元素，通过观察云的变化能够分析出气候变化，对灾害天气的预测和研究有着重要的意义。另一方面，许多基于遥感技术的应用，如土地覆盖分类、变化检测、水域分割等，受到云层遮挡的影响，经常会出现漏检、误检等问题。因此，对云和云影进行准确识别十分必要。
[0003]传统的云检测方法使用单组或多组阈值进行云检测，虽然一定程度上提升了检测精度，但漏判和误判时有发生。而且光谱和阈值的选择严重依赖于先验知识，且易受很多因素的干扰。近年来，深度卷积神经网络(Deep Convolutional Neural Networks，DCNNs)在计算机视觉领域获得巨大成功。然而，经典的DCNNs是为图像分类任务设计的，云和云影分割是一个像素级的分类任务，经典方法并不适用。然而，经典的DCNNs是为图像分类任务设计的，云和云影分割是一个像素级的分类任务，经典方法并不适用。为了实现端到端的像素级分类即语义分割，Long等人在2015年提出了全卷积神经网络(Fully Convolutional Networks，FCNs)，该方法用卷积层替代全连接层，对语义分割任务十分有效。Ronneberger等人提出了U
‑
Net来获取上下文的信息和位置信息。Chen等人提出的DeepLab采用空洞卷积扩大感受野，使用完全连接的条件随机场(Conditional Random Field，CRF)提高模型捕获细节的能力。Zhao等人提出的Pyramid Scene Parsing Network(PSPNet)能够聚合不同区域的上下文信息，从而提高获取全局信息的能力。和传统的阈值法相比，这些深度学习方法可以处理任意尺寸的图像，学习到的特征不需要经过手动调节，大大增加了模型的检测能力。但是DCNNs很难捕捉到长距离的依赖关系，虽然可以通过扩大感受野来缓解这一问题，但终究无法捕获全局特征。
[0004]为了获得全局特征，最近的一些研究将原本在自然语言处理任务上表现优异的Transformer扩展到计算机视觉任务上来，并在各种视觉任务中展现出了较好的性能。Dosovitskiy等人提出了专为图像分类设计的Vision Transformer(ViT)将纯Transformer模块直接应用于图像块序列，来实现图像分类，该方法在多个图像分类测试中获得了比卷积更加优秀的结果。但是该方法是针对图像分类任务的，并不适合语义分割任务。为了将Transformer引入都目标检测、语义分割等密集预测任务上来，Wang等人提出了Pyramid Vision Transforme(PVT)，该方法和ViT一样使用纯Transformer作为backbone，并将金字塔结构引入到Transformer，在缩小特征图的同时降低了计算复杂度和内存占用，对密集预测十分有效。Wu等人提出的Convolutional vision Transformer(CvT)将卷积引入ViT来提高Transformer的性能，以实现两种模型的最佳效果。但这种简单的融合方式在较为复杂的任务特别是在云和云影分割上表现仍然不理想。首先，分割结果不够精确，云和云影的边界分割粗糙。虽然条件随机场(CRF)能够修复边界信息，但这种后处理的方法不能实现端到端
的训练。其次，在地表物体和噪声等因素的干扰下，容易出现误检和漏检的情况，导致分割结果不理想。因此我们对此做出改进，提出一种基于双分支融合网络的遥感图像云和云影分割方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种基于Transformer和卷积神经网络双分支融合网络的遥感图像云和云影分割方法。利用Transformer和卷积神经网络两个分支分别提取多尺度的语义信息，并优化特征融合方法，搭建了云和云影分割模型，用于解决现有云和云影分割技术所面临得挑战。本专利技术提供了如下的技术方案：
[0006]本专利技术一种基于双分支融合网络的遥感图像云和云影分割方法，包括如下步骤：
[0007]S1、获取数据集，所述数据集包括训练集和验证集；
[0008]S2、建立Transformer分支和卷积分支网络模型，并将图像数据输入模型中，通过多次下采样获得遥感图像的不同尺度的特征信息，为特征融合做准备；
[0009]S3、利用双向引导模块引导Transformer分支和卷积分支进行特征提取；
[0010]S4、在解码阶段，通过解码模块修复像素定位，充分利用两分支提取到的不同层级的特征进行融合上采样；
[0011]S5、不断迭代训练模型，进行精准度测试，直至模型达到预想效果。
[0012]作为本专利技术的一种优选技术方案，所述步骤S1具体包括如下步骤：
[0013]S1.1、从Landsat
‑
8号卫星和Sentinel
‑
2号卫星上获取高清遥感图像；
[0014]S1.2、对遥感图像进行裁剪；
[0015]S1.3、对裁剪完成的图像进行标注，使用Labelme对裁剪完成的图片进行人工掩膜标注，标注类型为三类：云、云影和背景；
[0016]S1.4、划分数据集，将上述得到的图片按4∶1进行划分，即将80％作为训练集，20％作为验证集。
[0017]作为本专利技术的一种优选技术方案，所述步骤S2的网络模型为双分支融合网络模型，由编码阶段和解码阶段两部分组成；在编码阶段，使用Transformer和卷积网络相互引导的双支路结构去提取不同层级的特征，融合全局特征和局部特征；在解码阶段，利用Transformer分支和条状卷积分支提取到的不同层级的语义信息和空间信息进行上采样，融合高级语义信息和空间位置信息，实现云和云影的精准定位和精细分割。
[0018]作为本专利技术的一种优选技术方案，Transformer分支的表达式如下：
[0019][0020]T1＝Conv
embed
(d
i
)
[0021]T2＝MHA{Flatten[Conv
proj
(T1)+d
i
]}
[0022][0023]其中，d
i
表示Transformer分支第i层的输入矩阵(i＝0,1,2,3,4)，x0表示输入到模
型的矩阵，和分别表示表示Transformer分支的第i层和第i+1层的输出矩阵，表示卷积分支的第i层输出经过多级池化后的特征图，Conv
embed
(
·
)表示卷积嵌入层，Conv
proj
(
·
)表示卷积投影层，Flatten(
·
)表示将二维数据展开成一维数据，MHA(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双分支融合网络的遥感图像云和云影分割方法，其特征在于，包括如下步骤：S1、获取数据集，所述数据集包括训练集和验证集；S2、建立Transformer分支和卷积分支网络模型，并将图像数据输入模型中，通过多次下采样获得遥感图像的不同尺度的特征信息，为特征融合做准备；S3、利用双向引导模块引导Transformer分支和卷积分支进行特征提取；S4、在解码阶段，通过解码模块修复像素定位，充分利用两分支提取到的不同层级的特征进行融合上采样；S5、不断迭代训练模型，进行精准度测试，直至模型达到预想效果。2.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法，其特征在于，所述步骤S1具体包括如下步骤：S1.1、从Landsat
‑
8号卫星和Sentinel
‑
2号卫星上获取高清遥感图像；S1.2、对遥感图像进行裁剪；S1.3、对裁剪完成的图像进行标注，使用Labelme对裁剪完成的图片进行人工掩膜标注，标注类型为三类：云、云影和背景；S1.4、划分数据集，将上述得到的图片按4∶1进行划分，即将80％作为训练集，20％作为验证集。3.根据权利要求1所述的一种基于双分支融合网络的遥感图像云和云影分割方法，其特征在于，所述步骤S2的网络模型为双分支融合网络模型，由编码阶段和解码阶段两部分组成；在编码阶段，使用Transformer和卷积网络相互引导的双支路结构去提取不同层级的特征，融合全局特征和局部特征；在解码阶段，利用Transformer分支和条状卷积分支提取到的不同层级的语义信息和空间信息进行上采样，融合高级语义信息和空间位置信息，实现云和云影的精准定位和精细分割。4.根据权利要求3所述的一种基于双分支融合网络的遥感图像云和云影分割方法，其特征在于，Transformer分支的表达式如下：T1＝Conv
embed
(d
i
)T2＝MHA{Flatten[Conv
proj
(T1)+d
i
]}其中，d
i
表示Transformer分支第i层的输入矩阵(i＝0,1,2,3,4)，x0表示输入到模型的矩阵，和分别表示表示Transformer分支的第i层和第i+1层的输出矩阵，表示卷积分支的第i层输出经过多级池化后的特征图，Conv
embed
(
·
)表示卷积嵌入层，Conv
proj
(
·
)表示卷积投影层，Flatten(
·
)表示将二维数据展开成一维数据，MHA(
·
)表示多头注意力层，Norm(
·
)表示层归一化，MLP(
·
...

【专利技术属性】
技术研发人员：翁理国，鲁晨，夏旻，胡凯，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：