一种遥感图像云检测方法、装置、计算机装置及存储介质制造方法及图纸

本发明专利技术提供一种遥感图像云检测方法、装置、计算机装置及存储介质，涉及图像处理和深度学习领域，所述方法包括：获取遥感图像，对遥感图像进行云及云掩膜标注，得到数据集；对数据集进行预处理，得到用于云检测网络模型训练的训练集；将训练集输入云检测网络模型并进行训练，获得数据模型；根据数据集获得预测集，并将预测集作为数据模型的输入进行测试，获得云检测结果。通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量，在具有大量包含丰富信息的通道的遥感图像上取得了显著的性能提升，通过特征融合模块在高维空间构造了复杂的线性组合，使模型学习得到有效的融合方式，从而实现高质量的云检测效果。从而实现高质量的云检测效果。从而实现高质量的云检测效果。

【技术实现步骤摘要】
一种遥感图像云检测方法、装置、计算机装置及存储介质


[0001]本专利技术涉及图像处理和深度学习领域，具体而言，涉及一种遥感图像云检测方法、装置、计算机装置及存储介质。

技术介绍

[0002]近年来，卫星影像迅速增加，卫星遥感技术具有极其广泛的应用场景，但由于卫星遥感影像经常被普遍分布的云层所污染，这种云层遮挡现象给遥感应用带来困难与挑战。因此，云检测是许多遥感应用的先决条件，是卫星遥感图像分析的一个重要研究领域。
[0003]现有技术仍然使用传统的纯卷积网络结构，目前，鲜有基于视觉Transformer结构及其变种结构的云检测算法研究，且遥感图像往往拥有较多的通道信息，现有技术不能良好处理多通道问题，在处理具有大量包含丰富信息的通道遥感图像上存在能力短板。

技术实现思路

[0004]本专利技术解决的问题是如何有效提升云检测的质量。
[0005]为解决上述问题，本专利技术提供一种遥感图像云检测方法，所述方法包括：获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。
[0006]较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型，通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征；其中，所述空间注意力模块包括交替连接的第一Swin Transformer模块和第二Swin Transformer模块；所述通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征，包括：通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征。
[0007]较佳地，所述第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，所述第二Swin Transformer模块包括一个基于偏移窗口的多头自
注意力模块和一个所述多层感知机模块，其中，所述基于窗口的多头自注意力模块采用均匀窗口划分方式，所述基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式，且在每个所述基于窗口的多头自注意力模块、每个所述基于偏移窗口的多头自注意力模块和每个所述多层感知机模块之前，均使用一个Layer Normalization层进行正则化；所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型后，通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块将所述训练集划分为不相重合的窗口；在所述窗口内部，依次通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块对所述自注意力层特征进行处理，获得空间加权特征图。
[0008]较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：将所述训练集输入所述云检测网络模型，通过所述通道注意力模块获取所述训练集的通道特征图；从所述通道特征图中提取通道表征向量；获取通道注意力的权重系数；根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中，获得多通道特征图。
[0009]较佳地，所述从所述通道特征图中提取通道表征向量包括：通过挤压函数从所述通道特征图中提取所述通道表征向量；所述获取通道注意力的权重系数包括：通过激励函数获取所述通道注意力的所述权重系数；所述根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中获得多通道特征图包括：通过缩放函数将所述注意力权重融入所述通道特征图中获得多通道特征图。
[0010]较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：将所述空间注意力模块的输出数据和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，其中，所述空间注意力模块的输出数据包括所述空间加权特征图，所述通道注意力模块的输出数据包括所述多通道特征图，所述特征融合模块通过将所有的所述自注意力层相互连接，对所述空间加权特征图和所述多通道特征图进行融合；其中，每个所述自注意力层均与其之前的每个所述自注意力层在通道维度上分别连接，并作为下一个所述自注意力层的输入，每个所述自注意力层的输入包括其之前的所有所述自注意力层的输出。
[0011]较佳地，在将所述训练集输入所述云检测网络模型之前，还包括：对所述训练集进行数据增强，将经过数据增强的所述训练集输入所述云检测网络；其中，所述数据增强是将所述训练集进行包括随机水平翻转、随机旋转、随机裁剪、随机缩放的处理。
[0012]较佳地，所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：使用交叉熵损失函数和Dice损失函数对所述云检测网络进行训练，获得所述数据
模型。
[0013]较佳地，所述编码模块包括第一阶段编码模块和多个第二阶段编码模块，所述第一阶段编码模块与多个所述第二阶段编码模块顺次连接，其中，所述第一阶段编码模块包括所述基础模块和线性嵌入层，所述第二阶段编码模块包括所述基础模块和补丁融合模块；所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：将所述训练集输入所述云检测网络模型后，通过所述编码模块的所述线性嵌入层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块升维，通过所述编码模块的所述补丁融合模块执行下采样过程，将所述图像块分成多个像素块，将所述像素块进行分组并将所述像素块进行拼接以获得目标像素块，将所述目标像素块缩减尺寸后进行块融合操作，以将相邻的所述像素块融合为目标图像块，并提取所述目标图像块的第一自注意力层特征。
[0014]较佳地，所述解码模块包括第一阶段解码模块和多个第二阶段解码模块，所述第一阶段解码模块与多个所述第二阶段解码模块顺次连接，其中，所述第一阶段解码模块包括线性扩张层，所述第二阶段解码模块包括所述基础模块和补丁扩展模块；所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：将所述训练集输入所述云检测网络模型后，通过所述解码模块的所述线性扩张层对所述训练集的图像块进行通道维度的线性变换，以将所述图像块降维，通过所述解码模块的所述补丁扩展模块执行上采样过程和块融合逆操作，恢复所述目标图像块的尺寸，并提取所述目标图像块的第二自注意力层特征。...

【技术保护点】

【技术特征摘要】
1.一种遥感图像云检测方法，其特征在于，包括：获取遥感图像，对所述遥感图像进行云及云掩膜标注，得到数据集；对所述数据集进行预处理，得到用于云检测网络模型训练的训练集；将所述训练集输入所述云检测网络模型并进行训练，获得数据模型；其中，所述云检测网络模型包括由编码模块、解码模块及连接模块构成的U型网络结构，所述编码模块和所述解码模块均包括基础模块，所述基础模块包括空间注意力模块、通道注意力模块和特征融合模块，所述空间注意力模块和所述通道注意力模块并行连接，且所述空间注意力模块和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，所述特征融合模块用于对所述空间注意力模块和所述通道注意力模块的输出数据进行融合；根据所述数据集获得预测集，并将所述预测集作为所述数据模型的输入进行测试，获得云检测结果。2.根据权利要求1所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型，通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征；其中，所述空间注意力模块包括交替连接的第一Swin Transformer模块和第二Swin Transformer模块；所述通过所述空间注意力模块获取所述训练集的自注意力层，根据所述自注意力层提取所述自注意力层特征，包括：通过所述第一Swin Transformer模块和所述第二Swin Transformer模块从所述自注意力层中提取所述自注意力层特征。3.根据权利要求2所述遥感图像云检测方法，其特征在于，所述第一Swin Transformer模块包括一个基于窗口的多头自注意力模块和一个多层感知机模块，所述第二Swin Transformer模块包括一个基于偏移窗口的多头自注意力模块和一个所述多层感知机模块，其中，所述基于窗口的多头自注意力模块采用均匀窗口划分方式，所述基于偏移窗口的多头自注意力模块采用非均匀窗口划分方式，且在每个所述基于窗口的多头自注意力模块、每个所述基于偏移窗口的多头自注意力模块和每个所述多层感知机模块之前，均使用一个Layer Normalization层进行正则化；所述将所述训练集输入所述云检测网络模型并进行训练，包括：将所述训练集输入所述云检测网络模型后，通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块将所述训练集划分为不相重合的窗口；在所述窗口内部，依次通过所述基于窗口的多头自注意力模块和所述基于偏移窗口的多头自注意力模块对所述自注意力层特征进行处理，获得空间加权特征图。4.根据权利要求3所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：将所述训练集输入所述云检测网络模型，通过所述通道注意力模块获取所述训练集的通道特征图；从所述通道特征图中提取通道表征向量；获取通道注意力的权重系数；
根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中，获得多通道特征图。5.根据权利要求4所述遥感图像云检测方法，其特征在于，所述从所述通道特征图中提取通道表征向量包括：通过挤压函数从所述通道特征图中提取所述通道表征向量；所述获取通道注意力的权重系数包括：通过激励函数获取所述通道注意力的所述权重系数；所述根据所述通道表征向量和所述权重系数获得注意力权重，将所述注意力权重融入所述通道特征图中获得多通道特征图包括：通过缩放函数将所述注意力权重融入所述通道特征图中获得多通道特征图。6.根据权利要求4所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，还包括：将所述空间注意力模块的输出数据和所述通道注意力模块的输出数据作为所述特征融合模块的输入数据，其中，所述空间注意力模块的输出数据包括所述空间加权特征图，所述通道注意力模块的输出数据包括所述多通道特征图，所述特征融合模块通过将所有的所述自注意力层相互连接，对所述空间加权特征图和所述多通道特征图进行融合；其中，每个所述自注意力层均与其之前的每个所述自注意力层在通道维度上分别连接，并作为下一个所述自注意力层的输入，每个所述自注意力层的输入包括其之前的所有所述自注意力层的输出。7.根据权利要求1所述遥感图像云检测方法，其特征在于，在将所述训练集输入所述云检测网络模型之前，还包括：对所述训练集进行数据增强，将经过数据增强的所述训练集输入所述云检测网络；其中，所述数据增强是将所述训练集进行包括随机水平翻转、随机旋转、随机裁剪、随机缩放的处理。8.根据权利要求1所述遥感图像云检测方法，其特征在于，所述将所述训练集输入所述云检测网络模型并进行训练，获得数据模型，包括：使用交叉熵损失函数和Dice损失函数对所述云检测网络进行训练，获得所述数据模型。9.根据权利要求6所述遥感图像云检测方法，其特征在于，所述编码模块包括第一阶段编码模块和多个第二阶段编码模块，所述第一阶段编码模块与多个所述第二阶段编码模块顺次连接，其中，所述第一阶段编码模块包括所述基础模块和线性嵌入层，所述第二阶段编码模块包括所述基础模块和补...

【专利技术属性】
技术研发人员：陈志豪，李旭涛，叶允明，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：