基于多尺度双域信息融合技术的遥感图像全色锐化方法技术

本发明专利技术涉及基于多尺度双域信息融合技术的遥感图像全色锐化方法，与现有技术相比解决了融合图像易产生伪影、颜色失真、泛化性差的缺陷。本发明专利技术包括以下步骤：遥感图像的获取与预处理；构建全色锐化模型；全色锐化模型的训练；待锐化遥感图像的获取；遥感图像全色锐化结果的获得。本发明专利技术与使用空间域特征进行全色锐化方法相比，提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法，产生的图像质量更高。的图像质量更高。的图像质量更高。

【技术实现步骤摘要】
基于多尺度双域信息融合技术的遥感图像全色锐化方法


[0001]本专利技术涉及遥感图像处理
，具体来说是基于多尺度双域信息融合技术的遥感图像全色锐化方法。

技术介绍

[0002]在当前的遥感系统中，由于卫星传感器的限制，单个传感器很难获得高分辨率的多光谱图像。因此，卫星通常携带两种传感器以分别获得全色(panchromatic，PAN)和多光谱(multispectral，MS)图像。
[0003]多光谱图像包含着丰富的光谱信息，但分辨率比较低，全色图像有着精细的图像纹理信息，但却只有单个通道的光谱信息。为了获得高分辨率的多光谱图像图像，通常的方法是将MS图像和PAN图像进行融合，这种方法也被称为全色锐化。由于这一方法是很多下游任务，如遥感图像分割、目标检测等任务的基础，这一方法受到了很多的关注。
[0004]目前使用的方法主要可以分为两类，基于人工设计特征的传统方法和基于深度学习的方法。传统方法包含成分替换、多分辨率分析、变分优化等方法。人工设计特征没法充分利用图像的信息，因此目前基于深度学习占据主流。
[0005]但这些方法的输出也存在着伪影、颜色失真等问题，原因在于这些方法在单一尺度特征上进行融合，对于尺寸变化较大的遥感地物来说无法充分提取到特征，同时，这些方法侧重于在空间域处理信息，忽略了频率域隐含的信息。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中融合图像易产生伪影、颜色失真、泛化性差的缺陷，提供一种基于多尺度双域信息融合技术的遥感图像全色锐化方法来解决上述问题。
[0007]为了实现上述目的，本专利技术的技术方案如下：
[0008]一种基于多尺度双域信息融合技术的遥感图像全色锐化方法，包括以下步骤：
[0009]11)遥感图像的获取与预处理：获取全色图像和多光谱图像，并按照设定大小进行裁剪处理，将裁剪后的全色图像、多光谱图像进行4倍下采样，生成样本对<MS、PAN、G>，其中，MS、PAN为下采样后的多光谱、全色图像，G为下采样前的多光谱图像；
[0010]12)构建全色锐化模型：基于空域信息融合子网络、频域信息融合子网络进行多尺度双域信息融合，构建出全色锐化模型；
[0011]13)全色锐化模型的训练：将预处理后的全色图像和多光谱图像输入全色锐化模型进行训练；
[0012]14)待锐化遥感图像的获取：获取待锐化处理的全色图像和多光谱图像并进行预处理；
[0013]15)遥感图像全色锐化结果的获得：将预处理后的全色图像和多光谱图像输入训练后的全色锐化模型，获得遥感图像全色锐化结果。
[0014]所述的构建全色锐化模型包括以下步骤：
[0015]21)基于U
‑
Net构造一个多尺度网络，其包含两个子网络，为空域信息融合子网络和频域信息融合子网络；
[0016]设定U
‑
Net包括收缩子网络和扩张子网络，在收缩子网络中通过卷积和下采样操作提取图像的多尺度特征信息，在扩张子网络中通过上采样、特征拼接技术进行特征重建；设定收缩子网络为空域信息融合子网络、扩张子网络为频域信息融合子网络；
[0017]22)构建空域信息融合子网络，包括：卷积投影模块1、卷积投影模块2、卷积特征提取模块1、卷积特征提取模块2、卷积下采样模块1、卷积下采样模块2、卷积下采样模块3、卷积下采样模块4、空域信息融合模块1、空域信息融合模块2、空域信息融合模块3；其中，卷积投影模块将输入的图像投影到特征空间，卷积特征提取模块用于提取图像特征，卷积下采样模块用于提取多尺度的空域特征信息，空域信息融合模块对同一尺度的全色图像特征图和多光谱图像特征图进行融合；
[0018]23)构建频域信息融合子网络，其包括上采样模块1、上采样模块2、频域信息融合模块1、频域信息融合模块2、频域信息融合模块3、通道变换模块；其中，上采样模块将前一子网络的输出进行上采样，并将上采样后的结果传入频域信息融合模块；上采样模块为双三次插值操作，将输入的特征图尺寸进行两倍的放大，通道变换模块将特征图从特征空间映射到输出图像。
[0019]所述全色锐化模型的训练包括以下步骤：
[0020]31)设定建立空域损失函数
[0021][0022]频域损失函数和
[0023][0024][0025]整体损失函数
[0026][0027]其中，A、P分别傅里叶变换后的振幅、相位分量，Y和G对应着网络输出和真实图像，λ为超参数；
[0028]32)将预处理后的多光谱图像和全色图像输入网络，特征在空域融合子网络和频域融合子网络分别融合，最终得到的结果加上输入的多光谱图像，得到最后结果：即将LRMS和PAN通过网络，得到融合结果F
ms7
，将F
ms7
与LRMS相加，得到重构后的输出图像；
[0029]321)读取训练集图片对<ms，pan，G>，分别对应低分辨率高光谱图象、全色图像和高分辨率多光谱图像；
[0030]322)将ms和pan输入全色锐化模型，得到输出的结果Y；
[0031]323)根据空域损失函数和频域损失函数，计算Y和G的损失函数；
[0032]324)根据训练集的损失函数，根据梯度下降算法优化网络权重，直到达到设定的
总迭代次数为止。
[0033]所述构建空域信息融合子网络包括以下步骤：
[0034]41)设定卷积投影模块1由3x3卷积构成，设定stride＝1，其输入是多光谱图像，输出为对应的特征F
ms
；设定卷积投影模块2由3x3卷积构成，设定stride＝1，其输入是全色图像，输出为对应的特征F
pan
；
[0035]42)设定空域信息融合模块1包含两个分支，两个分支通过特征提取单元进行交互；其中特征提取单元由HIN模块组成，输入MS和PAN图像的特征F
ms
和F
pan
，经过两个分支处理，最后由1x1卷积进行融合，产生融合结果F
ms1
；其表达式如下：
[0036]给定输入F
ms
和F
pan
，空域信息融合模块的公式定义如下
[0037]F
g
＝HIN(F
pan
)
[0038]F
ms
＝Fms
×
Fg
[0039]F
ms
＝F
ms
+F
g
[0040]F
l
＝HIN(Fms)
[0041]F
pan
＝F
pan
×
F
l
[0042]F
pan
＝F
pan
+F
l
[0043]F
ms1...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，包括以下步骤：11)遥感图像的获取与预处理：获取全色图像和多光谱图像，并按照设定大小进行裁剪处理，将裁剪后的全色图像、多光谱图像进行4倍下采样，生成样本对<MS、PAN、G>,其中，MS、PAN为下采样后的多光谱、全色图像，G为下采样前的多光谱图像；12)构建全色锐化模型：基于空域信息融合子网络、频域信息融合子网络进行多尺度双域信息融合，构建出全色锐化模型；13)全色锐化模型的训练：将预处理后的全色图像和多光谱图像输入全色锐化模型进行训练；14)待锐化遥感图像的获取：获取待锐化处理的全色图像和多光谱图像并进行预处理；15)遥感图像全色锐化结果的获得：将预处理后的全色图像和多光谱图像输入训练后的全色锐化模型，获得遥感图像全色锐化结果。2.根据权利要求1所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述的构建全色锐化模型包括以下步骤：21)基于U
‑
Net构造一个多尺度网络，其包含两个子网络，为空域信息融合子网络和频域信息融合子网络；设定U
‑
Net包括收缩子网络和扩张子网络，在收缩子网络中通过卷积和下采样操作提取图像的多尺度特征信息，在扩张子网络中通过上采样、特征拼接技术进行特征重建；设定收缩子网络为空域信息融合子网络、扩张子网络为频域信息融合子网络；22)构建空域信息融合子网络，包括：卷积投影模块1、卷积投影模块2、卷积特征提取模块1、卷积特征提取模块2、卷积下采样模块1、卷积下采样模块2、卷积下采样模块3、卷积下采样模块4、空域信息融合模块1、空域信息融合模块2、空域信息融合模块3；其中，卷积投影模块将输入的图像投影到特征空间，卷积特征提取模块用于提取图像特征，卷积下采样模块用于提取多尺度的空域特征信息，空域信息融合模块对同一尺度的全色图像特征图和多光谱图像特征图进行融合；23)构建频域信息融合子网络，其包括上采样模块1、上采样模块2、频域信息融合模块1、频域信息融合模块2、频域信息融合模块3、通道变换模块；其中，上采样模块将前一子网络的输出进行上采样，并将上采样后的结果传入频域信息融合模块；上采样模块为双三次插值操作，将输入的特征图尺寸进行两倍的放大，通道变换模块将特征图从特征空间映射到输出图像。3.根据权利要求1所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述全色锐化模型的训练包括以下步骤：31)设定建立空域损失函数31)设定建立空域损失函数频域损失函数和和
整体损失函数整体损失函数其中，A、P分别傅里叶变换后的振幅、相位分量，Y和G对应着网络输出和真实图像，λ为超参数；32)将预处理后的多光谱图像和全色图像输入网络，特征在空域融合子网络和频域融合子网络分别融合，最终得到的结果加上输入的多光谱图像，得到最后结果：即将LRMS和PAN通过网络，得到融合结果F
ms7
，将F
ms7
与LRMS相加，得到重构后的输出图像；321)读取训练集图片对<ms,pan,G>，分别对应低分辨率高光谱图象、全色图像和高分辨率多光谱图像；322)将ms和pan输入全色锐化模型，得到输出的结果Y；323)根据空域损失函数和频域损失函数，计算Y和G的损失函数；324)根据训练集的损失函数，根据梯度下降算法优化网络权重，直到达到设定的总迭代次数为止。4.根据权利要求2所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述构建空域信息融合子网络包括以下步骤：41)设定卷积投影模块1由3x3卷积构成，设定stride＝1，其输入是多光谱图像，输出为对应的特征F
ms
；设定卷积投影模块2由3x3卷积构成，设定stride＝1，其输入是全色图像，输出为对应的特征F
pan
；42)设定空域信息融合模块1包含两个分支，两个分支通过特征提取单元进行交互；其中特征提取单元由HIN模块组成，输入MS和PAN图像的特征F
ms
和F
pan
，经过两个分支处理，最后由1x1卷积进行融合，产生融合结果F
ms1
；其表达式如下：给定输入F
ms
和F
pan
，空域信息融合模块的公式定义如下F
g
＝HIN(F
pan
)F
ms
＝Fms
×
FgF
ms
＝F
ms
+F
g
F
l
＝HIN(Fms)F
pan
＝F
pan
×
F
l
F
pan
＝F
pan
+F
l
F
ms1
＝Conv1×1(Concat(F
pan
，F
ms
))，公式中，Conv1×1对应着尺寸为1的卷积操作，Concat对应着通道维度的拼接，HIN为特征提取单元；当输入F
pan
和F
ms
时，首先将F
pan
通过HIN模块，得到提取后的特征F
g
，将F
ms
与F
g
相乘，并加上F
g
，得到新的F
ms
特征；将新得到的F
ms
特征通过HIN模块，得到提取后的特征F
l
，将F
l
与F
pan
相乘，并加上F
l
，得到新的F
pan
特征；将变换后的F
ms
与F
pan
进行通道维度的拼接，并通过1x1卷积，得到融合后的特征F
ms1
；在空域信息融合模块中给定输入F
pan
，其中HIN模块的公式定义如下：F
mid
＝Conv3×3(F
pan
)
F
res
＝Conv3×3(R
out
)F
g
＝F
res
+F
pan
公式中，ChannelSplit为沿通道维度的复制并均分，Concat为通道维度的拼接，In为Instance Normalization，Conv3×3对应着卷积核大小为3x3的卷积操作；当输入F
pan
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行Instance Normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征F
g
，F
g
即为空域信息融合模块中F
pan
经过HIN模块提取的特征；在空域信息融合模块中给定输入F
ms
，其中HIN模块的公式定义如...

【专利技术属性】
技术研发人员：张洁，何炫华，颜科宇，谢成军，李瑞，张辉，杜健铭，陈红波，金洲，孙友强，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：