一种基于有监督、无监督学习相结合的遥感图像融合方法技术

本发明专利技术提出了一种基于有监督、无监督学习相结合的遥感图像融合方法，来解决遥感图像融合领域中不同卫星下神经网络的弱泛化性导致融合图像不清晰的问题。我们利用Unet网络和Transformer网络相结合构建的有监督学习模型来学习全色、多光谱图像之间的先验映射关系。然后在切换卫星场景下，通过加载有监督学习中的模型参数得到初步融合图像，再利用损失函数驱动来对光谱、空间进行调整，克服了在某一颗卫星上训练的神经网络在其他遥感卫星下的弱泛化性。通过有监督、无监督相结合，既能够利用有监督学习全色、多光谱图像的一般先验映射关系，也能够利用无监督学习来自适应调整空间、光谱。因此，自适应调整后的多光谱图像空间细节清晰。节清晰。节清晰。

【技术实现步骤摘要】
一种基于有监督、无监督学习相结合的遥感图像融合方法


[0001]本专利技术属于遥感图像融合领域，涉及一种有监督、无监督相结合的遥感图像融合方法，适用于解决不同卫星下神经网络的弱泛化性导致融合图像不清晰的应用场景。

技术介绍

[0002]遥感图像融合技术，是通过融合高空间分辨率、低光谱分辨率的全色图像和高光谱分辨率、低空间分辨率的多光谱图像，来得到高空间分辨率的多光谱图像。通过结合全色、多光谱图像的互补信息，获得更高质量的遥感图像，并应用于农业、军事、地理探测等领域。
[0003]现有的遥感图像融合技术可分为：成分替代法(CS)、多分辨率分析法(MRA)、基于模型(model based)的方法和基于深度学习(DL)的方法。成分替代法通过用全色图像替代多光谱图像中的空间分量来得到融合图像。然而，成分替代法往往造成光谱失真。多分辨率分析法只将全色图像的高频域信息注入多光谱图像，他能更好地保存光谱域信息，但是往往造成空间信息的损失。基于模型的方法通过构建空间、光谱约束建立优化模型，但是一般存在较高的计算成本。
[0004]目前，得益于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于，包括如下步骤：步骤1，构建细节差异提取模块，用于提取多光谱、全色图像间的细节差异；步骤2，构建Unetformer模块，通过有监督学习来调整注入细节，并将细节注入多光谱图像；步骤3，构建有监督目标函数训练图像融合模型，学习遥感图像光谱和空间先验知识得到融合图像，所述图像融合模型包括细节差异提取模块、Unetformer模块；步骤4，构建自适应调整网络以得到重建的融合图像，利用空间、光谱损失函数无监督驱动图像进行空间、光谱的调整；步骤5，利用一颗卫星的仿真数据训练上述图像融合模型，并用训练好的图像融合模型在其他卫星上通过自适应调整网络进行图像调整。2.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤1的具体实现方式如下；步骤1.1，将单通道全色图像沿通道方向复制为多通道图像，通道数与多光谱图像相同；步骤1.2，将多光谱图像上采样，以匹配全色图像的尺寸；步骤1.3，将复制得到的全色图像和上采样的多光谱图像相减，提取到多光谱、全色图像间的细节差异。3.如权利要求1所述的一种基于有监督、无监督学习相结合的遥感图像融合方法，其特征在于：步骤2中所述Unetformer模块包括编码器、Transformer块和解码器，其输入为步骤1中的细节差异，具体实现方式如下；步骤2.1，编码器采用4层卷积层，卷积核数量逐层增大，以提取多维度特征，前3层卷积层后面跟着一个平均池化操作，使得图像尺寸减小，卷积核的感受野就能覆盖到特征图的更多部分，来增加感受野的大小，最终编码器输出Z∈R
C,H,W
，C表示通道数；步骤2.2，Transformer块中的块嵌入模块将特征图像Z切分成n个图像块，并且将其展平成图像块序列：X＝[x1,x2,
…
,x
n
]其中，X∈R
n,E
，E＝h
×
w
×
C，E是特征通道数量，H、W是图像的图像大小，h、w是图像块大小；步骤2.3，使用三个矩阵W
Q
、W
K
、W
V
与图像块序列X相乘，映射得到查询向量Q、键向量K、值向量V，Q/K/V∈R
n，E
，将Q、K、V中的特征通道数量E拆分到多个注意力头中：Q＝[Q1，Q2，
…
，Q
h
]K＝[K1，K2，
…
，K
h
]V＝[V1，V2，
…
，V
n
]Q
i
/K
i
/V
i
∈R
n，d
，其中E＝h
×
d，h是注意力头的数量，d是每个注意力头的特征通道数量，W
Q
、W
K
、W
V
这三个矩阵是可学习的参数，初始化是随机产生；步骤2.4，对每个注意力头，计算Q
i
和K
i
在d个特征通道上的特征相似度：
其中，S
i
∈R
n，n
，S
i
表示第i个注意力头上图像块序列内的两两图像块之间的自相似度；步骤2.5，将步骤2.4得到的图像块序列间的相关性通过softmax函数进行归一化：g
i
＝softmax(S
...

【专利技术属性】
技术研发人员：柯成杰，田昕，孙硕，
申请(专利权)人：武汉大学，
类型：发明
国别省市：