【技术实现步骤摘要】
本专利技术涉及光学遥感图像处理，更确切地说，它涉及联合多时相sar和光学信息的缺失光学图像重建方法。
技术介绍
1、光学遥感图像具有高分辨率、视觉特征明显、可解释性强等优势，已广泛应用于农作物监测，气候变化和环境研究等领域。然而，在光学遥感图像在成像过程中，云雨天气与传感器本身故障等因素都会导致地物信息的缺失，对遥感时序数据的连续性带来挑战。因此，研究缺失光学遥感图像重建方法并建立全面的遥感时序数据，对后续开展长时序遥感应用至关重要。
2、目前，去云的方法和图像翻译的方法是进行缺失的光学遥感图像重建任务的主要方法。然而，许多去云的方法使用光学影像无云区域的光学信息，对于被厚云大面积覆盖的光学遥感图像，重建结果会出现光谱失真和模糊等现象。许多遥感图像翻译的方法通常直接将sar图像翻译成光学遥感图像，忽略了sar图像与光学遥感图像特征的差异，翻译生成的光学遥感图像存在区域地貌变形，光谱失真以及颜色失真等情况，目视效果较差。现有的融合多时相sar与光学信息的图像翻译方法直接将多时相sar-光学数据作为模型输入，忽视了多模态数据间的特征差异，和同模态数据间的时序差异，导致生成的光学遥感图像的细节真实性不高。
技术实现思路
1、本专利技术的目的是针对现有技术的不足，提出了联合多时相sar和光学信息的缺失光学图像重建方法，包括：
2、步骤1、获取研究区内经过预处理的多时相sar-光学数据集；
3、步骤2、提取t时刻与t+1时刻的sar图像中地物变化信息，并将
4、步骤3、将所述地物变化信息与t+1时刻的光学图像信息融合，生成t时刻缺失的光学图像。
5、作为优选，步骤2中，利用mts2onet模型生成器中的change_extractor子网络提取所述地物变化信息，并将其由sar域转换到光学域，数学表达式为：
6、
7、其中，imagesar_t表示t时刻的sar数据，imagesar_t+1表示t+1时刻的sar数据，-表示相减运算，fc_e表示change_extractor子网络，coptical表示光学域的地物变化信息。
8、作为优选，步骤2中，所述change_extractor子网络中的基础残差模块c_resblock设计如下：
9、fr1＝σ(βi(f3(fin)))
10、fr2＝σ(βi(f3(fr1)))
11、fr3＝cbam(fr2)
12、fk＝βi(f1(fin))
13、ffinal＝σ(fr3+fk)
14、其中，fin表示输入特征，fr1，fr2和fr3分别表示基础残差模块c_resblock每层的卷积特征，fk表示跳跃连接层的卷积特征，ffinal表示最终获取的卷积特征，f1()与f3()分别代表步长为1与步长为3的卷积运算，βi()表示实例归一化(instance normalization)，σ()表示mish激活函数，cbam表示卷积注意力机制模块(convolutional block attentionmodule)。
15、作为优选，步骤2中，还对change_extractor子网络添加局部损失函数进行约束，局部损失函数的数学表达式为：
16、
17、其中，α、β、λ、δ为权重系数，表示vgg损失函数，表示光谱角损失函数，表示多尺度结构相似性损失函数。
18、作为优选，步骤3中，利用mts2onet模型生成器中的s2o_translator子网络将change_extractor子网络获取到的地物变化信息与t+1时刻的光学图像信息融合，生成t时刻缺失的光学图像，步骤3的数学表达式为：
19、imageg＝fs2o(cat(imageop_t+1，coptical))
20、其中，imageop_t+1表示t+1时刻的光学图像，cat(·)表示特征叠加运算，fs2o()表示s2o_translator子网络，imageg表示生成的t时刻的光学图像。
21、作为优选，s2o_translator子网络中的基础残差模块s_resblock设计如下：
22、fr1＝σ(βg(f3(fin)))
23、fr2＝σ(βg(f3(fr1)))
24、fr3＝cbam(fr2)
25、fk＝βg(f1(fin))
26、ffinal＝σ(fr3+fk)
27、其中，βg()表示组归一化(group normalization)。
28、作为优选，步骤3中，利用联合损失对mts2onet模型生成器进行约束，联合损失的数学表达式为：
29、
30、
31、其中，表示联合损失，表示图像自身损失，表示最小二乘生成器损失。
32、作为优选，还包括：
33、步骤4、对生成的t时刻光学图像、t时刻的sar与光学图像以及t+1时刻的sar与光学图像进行1/2倍、1/4倍的下采样；
34、步骤5、分别将原始图像、1/2倍下采样后的图像以及1/4倍下采样后的图像输入到mts2onet模型的多尺度鉴别器中；
35、步骤6、对mts2onet模型的多尺度鉴别器添加最小二乘鉴别器损失进行约束，使得生成器与鉴别器进行零和博弈。
36、作为优选，所述多尺度鉴别器由三个不同结构的子鉴别器组成，每个子鉴别器都是由基础残差模块d_resblock组成的常规二元分类器，多尺度鉴别器中的基础残差模块d_resblock设计如下：
37、fr1＝f4(fs(σ(βb(fin))
38、fr2＝f1(fs(σ(βb(fr1))
39、fk＝f4(fs(fin))
40、ffinal＝fr2+fk
41、其中，βb表示批量归一化(batch normalization)，fs表示光谱归一化(spectralnormalization)，f4表示步长为4的卷积运算。
42、第二方面，提供了联合多时相sar和光学信息的缺失光学图像重建系统，用于执行第一方面所述联合多时相sar和光学信息的缺失光学图像重建方法，包括：
43、获取模块，用于获取研究区内经过预处理的多时相sar-光学数据集；
44、提取模块，用于提取t时刻与t+1时刻的sar图像中地物变化信息，并将地物变化信息由sar域转换到光学域；
45、融合模块，用于将所述地物变化信息与t+1时刻的光学图像信息融合，生成t时刻缺失的光学图像。
46、本专利技术的有益效果是：
47、1.本专利技术提出了一种基于多时相遥感影像的图像翻译模型mts2onet，来重建缺失光学图像。该模型通过t+1时刻的光学图像与sar图像以本文档来自技高网...
【技术保护点】
1.联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，包括：
2.根据权利要求1所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，利用MTS2ONet模型生成器中的Change_Extractor子网络提取所述地物变化信息，并将其由SAR域转换到光学域，数学表达式为：
3.根据权利要求2所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，所述Change_Extractor子网络中的基础残差模块C_Resblock设计如下：
4.根据权利要求3所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，还对Change_Extractor子网络添加局部损失函数进行约束，局部损失函数的数学表达式为：
5.根据权利要求4所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤3中，利用MTS2ONet模型生成器中的S2O_Translator子网络将Change_Extractor子网络获取到的地物变化信息与T+1时刻的光学图像信息融合，
6.根据权利要求5所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，S2O_Translator子网络中的基础残差模块S_Resblock设计如下：
7.根据权利要求6所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤3中，利用联合损失对MTS2ONet模型生成器进行约束，联合损失的数学表达式为：
8.根据权利要求1至6任一所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，还包括：
9.根据权利要求8所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，所述多尺度鉴别器由三个不同结构的子鉴别器组成，每个子鉴别器都是由基础残差模块D_ResBlock组成的常规二元分类器，多尺度鉴别器中的基础残差模块D_Resblock设计如下：
10.联合多时相SAR和光学信息的缺失光学图像重建系统，其特征在于，用于执行权利要求1所述联合多时相SAR和光学信息的缺失光学图像重建方法，包括：
...【技术特征摘要】
1.联合多时相sar和光学信息的缺失光学图像重建方法，其特征在于，包括：
2.根据权利要求1所述的联合多时相sar和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，利用mts2onet模型生成器中的change_extractor子网络提取所述地物变化信息，并将其由sar域转换到光学域，数学表达式为：
3.根据权利要求2所述的联合多时相sar和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，所述change_extractor子网络中的基础残差模块c_resblock设计如下：
4.根据权利要求3所述的联合多时相sar和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，还对change_extractor子网络添加局部损失函数进行约束，局部损失函数的数学表达式为：
5.根据权利要求4所述的联合多时相sar和光学信息的缺失光学图像重建方法，其特征在于，步骤3中，利用mts2onet模型生成器中的s2o_translator子网络将change_extractor子网络获取到的地物变化信息与t+1时刻的光学...
【专利技术属性】
技术研发人员：王煜淼，东春宇，杨刚，孙伟伟，陈镔捷，
申请(专利权)人：宁波大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。