一种基于全波段特征融合的遥感影像薄云去除方法及系统技术方案

本发明专利技术公开了一种基于全波段特征融合的遥感影像薄云去除方法及系统，所述方法包括：使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除；所述训练完成的薄云去除网络，通过以下步骤得到：获取同一地区有云和无云情况下的多光谱遥感图像，得到训练集和测试集；采样得到图像不同分辨率光谱波段的空间特征和光谱特征；特征融合分别得到有云情况下和无云情况下图像的特征图；计算多路监督损失，优化预设的薄云去除网络的网络参数；利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。本发明专利技术薄云去除精度高，误差小，与现有技术相比去除训练大大提高，在多光谱遥感影像上具有广阔的应用空间。上具有广阔的应用空间。上具有广阔的应用空间。

【技术实现步骤摘要】
一种基于全波段特征融合的遥感影像薄云去除方法及系统


[0001]本专利技术涉及一种基于全波段特征融合的遥感影像薄云去除方法及系统，属于遥感图像薄云去除


技术介绍

[0002]随着越来越多的遥感卫星发射升空，遥感卫星获取的海量数据为植被健康监测、灾害监测和土地覆盖分类等提供了丰富的信息。然而，薄云一直是影响遥感影像质量的重要因素，因此薄云去除是遥感影像预处理必不可少的一步。当前卫星传感器的探测光谱波段越来越多，一般在可见光近红外波段具备高空间分辨率，在短波红外波段具备较低分辨率。
[0003]虽然目前深度学习的方法检测精度大大高于传统方法，然而基于深度学习的方法对于包含薄云的多光谱影像数据的处理一般两种方式：第一，用高分辨率的波段进行薄云去除；第二将不同分辨率的波段利用人工设计的采样函数重采样到同一空间分辨率，然后进行训练。第一种方法不能够充分利用多光谱影像的光谱信息；第二种方法中所述人工设计的重采样函数主观性强，采样后图像纹理信息会被破坏。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种基于全波段特征融合的遥感影像薄云去除方法及系统，能够提升薄云去除能力。为达到上述目的，本专利技术是采用下述技术方案实现的：
[0005]第一方面，本专利技术提供了一种基于全波段特征融合的遥感影像薄云去除方法，包括：
[0006]获取待处理的多光谱遥感图像；
[0007]使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；
[0008]其中，所述训练完成的薄云去除网络，通过以下步骤得到：
[0009]获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
[0010]利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
[0011]利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
[0012]基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
[0013]利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
[0014]结合第一方面，进一步地，所述对获取到的图像进行预处理包括：
[0015]将获取到的图像切分为小块；
[0016]对小块进行人工目视解译，将有云的图像块放入有云文件夹，无云的图像块放入无云文件夹；
[0017]将有云文件夹中图像块划分为有云训练集和有云测试集，将无云文件夹中图像块划分为无云训练集和无云测试集；所述有云训练集和无云训练集构成所述训练集，所述有云测试集和无云测试集构成所述测试集。
[0018]结合第一方面，进一步地，所述预先构建的卷积神经网络包括高、中、低分辨率分支；
[0019]所述高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；
[0020]所述中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征特征与低分辨率分支输出的特征在通道上连接；
[0021]输出图像不同分辨率光谱波段的空间特征和光谱特征。
[0022]结合第一方面，进一步地，所述所述预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；
[0023]所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；
[0024]将2组输出特征在通道上连接；
[0025]利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数。
[0026]结合第一方面，进一步地，所述全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端连接所述3D卷积层的输出端；
[0027]利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；
[0028]利用另一组3D卷积层对第一补全特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第二补全特征，即为输入特征中的受薄云影响大的波段的空间特征和光谱特征。
[0029]结合第一方面，优选地，通过级联的全局空洞残差结构能够消除空洞卷积带来的网格伪影。
[0030]结合第一方面，进一步地，所述计算多路监督损失，通过下式进行计算：
[0031]L＝L
h
+L
m
+L
l
+C(L_edge
h
+L_edge
m
+L_edge
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032]式(1)中，L表示多路监督损失，L
h
表示高分辨率薄云图像去除损失，L
m
表示中分辨率薄云图像去除损失，L
l
表示低分辨率薄云图像去除损失；L_edge
h
表示高分辨率薄云边缘特征的恢复损失，L_edge
m
表示中分辨率薄云边缘特征的恢复损失，L_edge
l
表示低分辨率薄云边缘特征的恢复损失；C表示权重系数。
[0033]结合第一方面，优选地，所述权重系数取值为0.01。
[0034]第二方面，本专利技术提供了一种基于全波段特征融合的遥感影像薄云去除系统，包括：
[0035]获取模块：用于获取待处理的多光谱遥感图像；
[0036]输出模块：用于使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像。
[0037]结合第二方面，进一步地，所述输出模块包括用于训练薄云去除网络的网络处理模块，所述网络处理模块包括：
[0038]预处理模块：用于获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
[0039]采样模块：用于利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
[0040]特征融合模块：用于利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
[0041]优化模块：用于基于有云情况下图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全波段特征融合的遥感影像薄云去除方法，其特征在于，包括：获取待处理的多光谱遥感图像；使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；其中，所述训练完成的薄云去除网络，通过以下步骤得到：获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。2.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述对获取到的图像进行预处理包括：将获取到的图像切分为小块；对小块进行人工目视解译，将有云的图像块放入有云文件夹，无云的图像块放入无云文件夹；将有云文件夹中图像块划分为有云训练集和有云测试集，将无云文件夹中图像块划分为无云训练集和无云测试集；所述有云训练集和无云训练集构成所述训练集，所述有云测试集和无云测试集构成所述测试集。3.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述预先构建的卷积神经网络包括高、中、低分辨率分支；所述高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；所述中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征特征与低分辨率分支输出的特征在通道上连接；输出图像不同分辨率光谱波段的空间特征和光谱特征。4.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；将2组输出特征在通道上连接；利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数。5.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端
连接所述3D卷积层的输出端；利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；利用另一组3D卷积层对第一补...

【专利技术属性】
技术研发人员：李俊，盛庆红，王博，徐炜岚，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：