【技术实现步骤摘要】
本专利技术属于遥感影像处理，尤其涉及一种基于sar信息增益的光学遥感影像修复系统及方法。
技术介绍
1、光学遥感影像具有空间分辨率高、时间连续性强、涵盖内容丰富的显著优势，因其宏观、快速、准确的对地观测优势使其在地表监测工作中受到了广泛青睐。然而，由于成像机制制约存在易受云层遮挡导致地面部分信息缺失的问题，严重影响了影像的判读与解译工作。合成孔径雷达(synthetic aperture radar，sar)作为一种工作频率为微波波段的主动遥感系统，可以主动发射信号探测陆地目标，因而具有全天时、全天候的工作能力，能够有效避免云污染。因此，借助sar影像进行光学遥感影像云区重建的方法受到广泛关注。
2、根据信息缺失区域重建过程中对sar影像的利用方式不同，现有方法主要包括基于特征融合的方法和基于数据生成的方法两类。基于特征融合的方法主要是对sar影像进行特征提取并补充到光学影像所缺失的部分中，常用方法主要包括小波变换融合、多尺度分解融合以及利用深度卷积神经网络进行特征融合；基于数据生成的方法则是直接利用生成对抗网络(generative adversarial networks，gan)，将sar影像转换为伪光学影像，继而对光学影像云缺失部分进行取代。两类方法均取得了较好的修复结果，但由于光学、sar之间在成像几何、地物辐射响应机制等方面存在广泛差异，重建结果仍存在模糊、伪影、纹理粗糙等问题，难以重建云覆盖下缺失的地物细节。
技术实现思路
1、本专利技术提供一种基于sar
2、本专利技术提供一种基于sar信息增益的光学遥感影像修复系统，包括浅层特征提取模块、深层特征挖掘模块和空谱信息重建模块；
3、浅层特征提取模块为双支并联结构，其中一支用于提取光学遥感影像浅层特征，另外一支用于提取sar影像浅层特征；每一支包括一个步长为2的3×3卷积和两个步长为1的3×3卷积；
4、深层特征挖掘模块为双支并联结构，用于提取浅层特征提取模块输出特征中的局部细节信息和全局语义信息；
5、空谱信息重建模块通过自注意力机制和传统注意力机制相结合，将卷积核分解成3个部分：1个深度卷积、1个深度扩张卷积和1个点态卷积，强化特征空间维度的显著信息，利用多尺度特征的上下文语义信息，重建云覆盖区域。
6、本专利技术还提供一种用于基于sar信息增益的光学遥感影像修复系统的方法，包括以下步骤：
7、步骤1.构建浅层特征提取模块，浅层特征提取模块为双支并联结构，其中一支用于提取光学遥感影像浅层特征，另外一支用于提取sar影像浅层特征，每一支由一个步长为2的3×3卷积和两个步长为1的3×3卷积构成，并将提取的不同模态的影像特征进行融合处理。
8、步骤2.构建深层特征挖掘模块，深层特征挖掘模块为双支并联结构，用于提取经步骤1传递所得的特征中的局部细节信息和全局语义信息，使提取的特征既具有通用性又具有全局性。
9、步骤3.构建空谱信息重建模块，通过增大网络感受野，强化特征空间维度的显著信息，并充分利用多尺度特征的上下文语义信息，来重建云覆盖区域，实现还原光学遥感影像空间纹理细节的同时，有效恢复缺失区域的光谱色调信息。
10、根据本专利技术提供的用于基于sar信息增益的光学遥感影像修复系统的方法，步骤1包括以下具体步骤：
11、步骤1.1.对输入的光学遥感影像进行浅层特征提取，获得光学遥感影像浅层特征提取结果即：
12、
13、步骤1.2.对输入的sar影像进行浅层特征提取，获得sar影像浅层特征提取结果即：
14、
15、步骤1.3.对步骤1.1所获得的光学遥感影像浅层特征提取结果和步骤1.2所获得sar影像浅层特征提取结果进行通道维度上的融合处理，即：
16、
17、式中，concatenate(·)表示特征间的拼接操作。
18、根据本专利技术提供的用于基于sar信息增益的光学遥感影像修复系统的方法，深层特征挖掘模块为双支并联结构，包括局部特征学习分支、全局特征学习分支，具体包括以下几个步骤：
19、步骤2.1.局部特征学习分支设计为类似于densenet(densely connectedconvolutional network)密集连接的网络结构，其中包括4层稠密块。密集连接的主要思想是在每一层都将前面所有层的输出连接到当前层的输入，从而使得局部特征学习分支能够从不同感受野尺度上更好地学习经步骤1传递所得的特征中的局部细节信息。每个稠密块中有l个层，每一层表示为l，其中l的取值范围是从1到l。
20、步骤2.1.1.对于每个稠密块内的第l层进行非线性转换，获得第i个稠密块内第l层的输出即：
21、
22、式中，表示第i个稠密块内第l层的输出，φi,l是非线性激活函数，wi,l是权重矩阵，bi,l是偏置向量。
23、步骤2.1.2.对每个稠密块进行连接操作，共计4个稠密块，分别为稠密块的连接操作表示为：
24、
25、步骤2.1.3.对步骤2.1.2获得的稠密块连接得到的特征进行非线性激活，从而得到局部特征学习分支最终的输出特征即：
26、
27、式中，wout是输出层的权重矩阵，bout是输出层的偏置向量。
28、步骤2.2.全局特征学习分支将跨通道维特征精细表征子模块和前序信息动态强化表达子模块串联使用作为视觉transformer。
29、步骤2.2.1.跨通道维特征精细表征子模块针对视觉transformer中自注意力机制固有的计算作量随着输入的空间分辨率呈二次增长的问题，在跨通道维而非空间维度设计使自注意力机制。具体包括以下步骤：
30、步骤2.2.1.1.给定步骤1浅层特征提取模块最终得到的输出特征其中h、w、c分别代表输入图像的高、宽和通道数。利用层归一化(layernormalization)方式对其进行归一化操作，用于规范神经网络中每个层的输入。其主要思想是对每个样本在每个特征维度上进行归一化，使得每个特征的均值为0，标准差为1，从而提高网络的训练稳定性。首先分别计算均值μ和方差即：
31、
32、
33、其中，h表示空间维度中的高度索引，w表示空间维度中的宽度(width)索引，x为步骤1浅层特征提取模块最终得到的输出特征
34、之后对其进行层归一化操作，即：
35、
36、式中，c表示特征通道维度中的通道(channel)索引。ε为一个极小的常数，通常设置为1×10-5，以防止除数出现为0的情况。
37、最后，对其进行缩放和平移操作，以本文档来自技高网...
【技术保护点】
1.一种基于SAR信息增益的光学遥感影像修复系统，其特征在于，包括浅层特征提取模块、深层特征挖掘模块和空谱信息重建模块；
2.用于基于SAR信息增益的光学遥感影像修复系统的方法，其特征在于，包括以下步骤：
3.根据权利要求2所述用于基于SAR信息增益的光学遥感影像修复系统的方法，其特征在于，提取光学遥感影像浅层特征和SAR影像浅层特征，并将提取的不同模态的影像特征进行融合处理包括以下步骤：
4.根据权利要求2所述用于基于SAR信息增益的光学遥感影像修复系统的方法，其特征在于，对融合处理后特征进行深层特征挖掘，提取局部细节信息和全局语义信息包括：深层特征挖掘模块包括局部特征学习分支、全局特征学习分支；具体步骤如下：
5.根据权利要求2所述用于基于SAR信息增益的光学遥感影像修复系统的方法，其特征在于，还原光学遥感影像空间纹理细节的同时，恢复缺失区域的光谱色调信息包括以下步骤：
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求2至5
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至5任一项所述用于基于SAR信息增益的光学遥感影像修复系统的方法。
8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至5任一项所述用于基于SAR信息增益的光学遥感影像修复系统的方法。
...【技术特征摘要】
1.一种基于sar信息增益的光学遥感影像修复系统，其特征在于，包括浅层特征提取模块、深层特征挖掘模块和空谱信息重建模块；
2.用于基于sar信息增益的光学遥感影像修复系统的方法，其特征在于，包括以下步骤：
3.根据权利要求2所述用于基于sar信息增益的光学遥感影像修复系统的方法，其特征在于，提取光学遥感影像浅层特征和sar影像浅层特征，并将提取的不同模态的影像特征进行融合处理包括以下步骤：
4.根据权利要求2所述用于基于sar信息增益的光学遥感影像修复系统的方法，其特征在于，对融合处理后特征进行深层特征挖掘，提取局部细节信息和全局语义信息包括：深层特征挖掘模块包括局部特征学习分支、全局特征学习分支；具体步骤如下：
5.根据权利要求2所述用于基于sar信息增...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。