一种基于扩散模型的光学遥感图像去云雾方法及系统技术方案

本发明专利技术提供一种基于扩散模型的光学遥感图像去云雾方法，将云雾图像输入条件编码器进行条件编码，得到第一隐空间向量；所述条件编码器包括多组图像下采样

【技术实现步骤摘要】
一种基于扩散模型的光学遥感图像去云雾方法及系统


[0001]本专利技术涉及光学遥感图像去雾
，具体涉及一种基于扩散模型的光学遥感图像去云雾方法及系统。

技术介绍

[0002]遥感技术自上个世纪在军事领域发挥了其独特的侦查优势开始，便迎来了这项技术飞速发展的黄金时期。近年来，我国也发射了许多遥感卫星用于资源勘探，城市规划，军事防务以及灾后重建等工作。但在实际应用中，大气中的云层会影响遥感卫星的传感器，使其所捕获到的图像对比度降低，颜色、纹理等特征产生变化，图片质量下降，因而难以获取到光学遥感图像中的有效信息，并影响到地面资源勘测、土地变化检测、目标检测等后续工作的开展。所以，如何有效地对光学遥感图像进行去云雾处理以获得清晰高质量的光学遥感图像这一问题具有极其重要的研究意义。
[0003]虽然传统的光学遥感图像去云雾算法取得了一定成果，但从结果上来看仍旧存在不同程度的云雾残留、细节信息丢失、图像局部颜色失真等问题，且一些基于深度学习的光学遥感图像去云雾方法通常需要大量真实的带标签去云雾数据集，而这样的数据集在实际情况中是很难获得的。

技术实现思路

[0004]本专利技术提出了一种基于扩散模型的光学遥感图像去云雾方法及系统，以解决去云雾任务中所存在的云雾遮挡、细节信息丢失、去云雾图像局部颜色失真的技术问题。
[0005]为解决上述技术问题，本专利技术提供了一种基于扩散模型的光学遥感图像去云雾方法，其特殊之处在于，包括以下步骤：
[0006]步骤S1：将云雾图像输入条件编码器进行条件编码，得到条件变量的第一隐空间向量；所述条件编码器包括多组图像下采样
‑
特征注意力提取结构；
[0007]步骤S2：采用编码器对无关清晰图像进行编码，得到第二隐空间向量；
[0008]步骤S3：通过扩散模型对所述第二隐空间向量进行前向扩散，以逐步加噪，得到加噪向量；
[0009]步骤S4：将所述加噪向量与第一隐空间向量进行拼接，并通过扩散模型进行逆向扩散以去噪，得到第三隐空间向量；
[0010]步骤S5：对所述第三隐空间向量输入解码器进行解码，得到所述云雾图像的去云雾图像。
[0011]优选地，步骤S1中所述条件编码器包括两组图像下采样
‑
特征注意力提取结构。
[0012]优选地，所述条件编码器的预训练过程包括以下步骤：
[0013]步骤S11：构建预训练网络，所述预训练网络包括五个阶段，每个阶段由一个采样模块和一个特征注意力模块组成，其中前三个所述采样模块为下采样，后两个采样模块为上采样；
[0014]步骤S12：将清晰的光学遥感图像输入所述预训练网络，得到预训练隐空间向量；
[0015]步骤S13：将所述预训练隐空间向量进行解码，得到重建图像；
[0016]步骤S14：将所述重建图像与所述光学遥感图像进行比对，当小于设定阈值时训练完成，得到所述条件编码器的参数；否则重复步骤S12至步骤S14，直到训练完成。
[0017]优选地，所述扩散模型的预训练过程包括以下步骤：
[0018]步骤S21：将一张无关的清晰光学遥感图像输入扩散模型得到噪声隐空间向量；
[0019]步骤S22：将有云雾图像输入训练完成的所述条件编码器得到有云雾隐空间向量；
[0020]步骤S23：将所述有云雾隐空间向量与噪声隐空间向量进行拼接并去噪得到结果图像；
[0021]步骤S24：设定损失函数，基于所述结果图像和有云雾图像对应的无云雾图像，通过反向传播算法对所述扩散模型的参数进行更新，以完成所述扩散模型的预训练。
[0022]优选地，步骤S24中所述损失函数L
total
的表达式为：
[0023][0024]式中，θ表示网络参数，ε∈N(0,I)，ε
t
为ε在第t步时的值，λ表示超参数，T表示扩散模型的扩散步数，Z
t
表示经过t步加噪后的隐空间向量，λ＝0.3，O
clear
表示输出的清晰无雾图像，GT为输入有雾图像对应的标签数据GroundTruth。
[0025]优选地，所述一种基于扩散模型的光学遥感图像去云雾方法还包括以下步骤：
[0026]步骤S61：将所述条件编码器设定为三组图像下采样
‑
特征注意力提取结构；
[0027]步骤S62：通过三组图像下采样
‑
特征注意力提取结构依次对所述云雾图像进行特征提取，得到第一特征图F1、第二特征图F2和第三特征图F3；
[0028]步骤S63：将所述第一特征图F1、第二特征图F2和第三特征图F3进行特征融合，得到多尺度特征融合特征图F0；
[0029]步骤S64：将所述融合特征图F0输入密集残差块进行特征提取，得到特征提取图；
[0030]步骤S65：将所述特征提取图输入图像重建模块计算隐空间向量，得到第四隐空间向量；
[0031]步骤S65：将步骤S4中的所述第三隐空间向量与所述第四隐空间向量进行拼接，并输入解码器进行解码，得到所述云雾图像的去云雾图像。
[0032]优选地，步骤S63中进行特征融合的方法包括以下步骤：
[0033]步骤S631：将所述第一特征图F1、第二特征图F2和第三特征图F3缩放为尺寸一致的F
S1
、F
S2
和F
S3
，并进行加权求和得到求和特征图F
g
；
[0034]步骤S632：将所述求和特征图F
g
进行卷积，得到卷积特征图F
r
；
[0035]步骤S633：将所述卷积特征图F
r
与所述第二特征图F2进行加权相加处理，得到融合特征图F
t
；
[0036]步骤S634：将所述融合特征图F
t
进行批归一化和图像下采样计算，得到多尺度特征融合特征图F0。
[0037]优选地，步骤S631中进行加权求和的表达式为：
[0038][0039]式中，τ
i
表示特征图所对应的权重。
[0040]优选地，步骤S633中进行加权相加处理的表达式为：
[0041][0042]式中，F
tj
表示融合特征图F
t
的第j个通道，F
2j
表示第二特征图F2的第j个通道，F
rj
表示卷积特征图F
r
的第j个通道，表示第二特征图F2的第j个通道所对应的权重参数，表示卷积特征图F
r
的第j个通道所对应的那种参数。
[0043]本专利技术还提供了一种基于扩散模型的光学遥感图像去云雾系统，其特征在于：所述系统包括：条件编码模块、无关清晰图像编码模块、扩散模块和解码模块；
[0044]所述条件编码模块，用于对云雾图像进行条件编码，得到第一隐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：包括以下步骤：步骤S1：将云雾图像输入条件编码器进行条件编码，得到条件变量的第一隐空间向量；所述条件编码器包括多组图像下采样
‑
特征注意力提取结构；步骤S2：采用编码器对无关清晰图像进行编码，得到第二隐空间向量；步骤S3：通过扩散模型对所述第二隐空间向量进行前向扩散，以逐步加噪，得到加噪向量；步骤S4：将所述加噪向量与第一隐空间向量进行拼接，并通过扩散模型进行逆向扩散以去噪，得到第三隐空间向量；步骤S5：对所述第三隐空间向量输入解码器进行解码，得到所述云雾图像的去云雾图像。2.根据权利要求1所述的一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：步骤S1中所述条件编码器包括两组图像下采样
‑
特征注意力提取结构。3.根据权利要求2所述的一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：所述条件编码器的预训练过程包括以下步骤：步骤S11：构建预训练网络，所述预训练网络包括五个阶段，每个阶段由一个采样模块和一个特征注意力模块组成，其中前三个所述采样模块为下采样，后两个采样模块为上采样；步骤S12：将清晰的光学遥感图像输入所述预训练网络，得到预训练隐空间向量；步骤S13：将所述预训练隐空间向量进行解码，得到重建图像；步骤S14：将所述重建图像与所述光学遥感图像进行比对，当小于设定阈值时训练完成，得到所述条件编码器的参数；否则重复步骤S12至步骤S14，直到训练完成。4.根据权利要求3所述的一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：所述扩散模型的预训练过程包括以下步骤：步骤S21：将一张无关的清晰光学遥感图像输入扩散模型得到噪声隐空间向量；步骤S22：将有云雾图像输入训练完成的所述条件编码器得到有云雾隐空间向量；步骤S23：将所述有云雾隐空间向量与噪声隐空间向量进行拼接并去噪得到结果图像；步骤S24：设定损失函数，基于所述结果图像和有云雾图像对应的无云雾图像，通过反向传播算法对所述扩散模型的参数进行更新，以完成所述扩散模型的预训练。5.根据权利要求所述4的一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：步骤S24中所述损失函数L
total
的表达式为：式中，θ表示网络参数，ε∈N(0,I)，ε
t
为ε在第t步时的值，λ表示超参数，T表示扩散模型的扩散步数，Z
t
表示经过t步加噪后的隐空间向量，λ＝0.3，O
clear
表示输出的清晰无雾图像，GT为输入有雾图像对应的标签数据GroundTruth。6.根据权利要求1所述的一种基于扩散模型的光学遥感图像去云雾方法，其特征在于：所述一种基于扩散模型的光学遥感图像去云雾方法还包括以下步骤：步骤S61：将所述条件编码器设定为三组图像下采样
‑
特征注意力提取结构；步骤S62：通过三...

【专利技术属性】
技术研发人员：段鹏飞，路艺华，熊盛武，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：