一种基于互补融合网络的全色锐化方法技术

本发明专利技术公开了一种基于互补融合网络的全色锐化方法，通过构建互补融合网络模型处理全色锐化问题，该模型包含局部、全局两分支以及融合增强、重构两模块；其中局部分支主要由卷积层组成以充分利用其局部感受野提取局部信息；全局分支在空谱结合的小波域内使用可变形交叉注意力进行全局范围的引导融合；经过两个分支可得到三种初始融合特征，融合增强模块则将其作为输入，通过空间和通道注意力增强其中互补的部分并削弱冗余的部分，整合结果后形成最终的融合特征；最后经过重构模块得到全色锐化结果图像。本发明专利技术能够充分利用多光谱图和全色图中蕴含的丰富互补与冗余信息，从而在增强空间细节信息的同时减少光谱失真。空间细节信息的同时减少光谱失真。空间细节信息的同时减少光谱失真。

【技术实现步骤摘要】
一种基于互补融合网络的全色锐化方法


[0001]本专利技术属于图像处理
，具体涉及一种全色锐化方法法。

技术介绍

[0002]目前多数光学地球观测卫星，如GaoFen
‑
2、QuickBird、WorldView
‑
2等，可通过两种传感器同时捕获具有不同特点的遥感图像，即高光谱分辨率、低空间分辨率的多光谱(MS)图像和高空间分辨率、低光谱分辨率的全色(PAN)图像，为全色锐化技术提供了充分的数据来源。全色锐化(Pansharpening)是融合多光谱和全色图像的技术，其本质是使用全色图像中精细的空间细节信息锐化多光谱图像，从而获得高空间分辨率的多光谱图像。该技术具有广泛的应用，如可用于变化检测、目标检测、土地分类等任务，且软件ENVI中利用该技术实现图像增强以提高图像可读性，因此它不仅吸引了科学界的大量关注，而且受到了商业界的追捧，在现实生活中具有重要作用。
[0003]经过四十多年的发展，全色锐化方法的性能不断提高，尤其是基于深度学习的方法相比于传统方法表现更加优异。其中，基于卷积神经网络的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于互补融合网络的全色锐化方法，其特征在于，包括以下步骤：步骤1：数据集准备；对成对、配准的大幅遥感图像MS图像和PAN图像按照从左到右、从上到下的顺序截取图像块，并将这些图像块分为训练集、验证集和测试集；先对训练集、验证集和测试集进行归一化处理；再对训练集、验证集和测试集中的图像块按照Wald协议进行处理，然后将处理过的图像块作为模型的输入；未经Wald协议处理的原始MS图像块作为参考图像；步骤2：互补融合网络模型构建；所述互补融合网络模型包括四个部分：局部分支、全局分支、融合增强模块和重构模块；具体各个部分的构建过程如下：步骤2
‑
1：构建局部分支；所述局部分支由卷积层、跳连接与融合模块组成；所述卷积层窗口尺寸为3
×
3，填充为1，步长为1；由卷积层和其它层组成CB1卷积块和CB2卷积块；所述CB1卷积块为卷积层、批量归一化BN层、LReLU激活函数、卷积层、BN层、LReLU激活函数顺序级联的结构；所述CB2卷积块指在CB1卷积块的结构上将CB1卷积块最初的输入与第二个BN层的输出相加送入最后一个LReLU激活函数的残差结构；所述跳连接指相邻两模块的输出同时输入到另一模块的连接操作；所述融合模块包含将输入按照通道维拼接的操作与1
×
1的卷积层；全色图像P与上采样的多光谱图像在通道维拼接后作为局部分支的输入，输入先经过一个3
×
3的卷积层，得到初步的浅层特征F1，再经过3个级联的CB2卷积块，分别得到F2、F3和F4三个从浅到深的特征；接下来将得到的特征送入3个跳连接融合模块中，F1与F2送入一个融合模块得到F
r1
，F3与F4送入一个融合模块得到F
r2
，所得F
r1
与F
r2
送入一个融合模块得到最终的输出F
local
；步骤2
‑
2：构建全局分支网络；所述全局分支包含两个分支，即MS分支与PAN分支，其输入分别为与P；所述MS分支与PAN分支结构相同，都包含各自的一个频率感知块FAB以及共享的一个引导融合模块GFM；所述频率感知块由一个DWT层与并行的两条卷积支路耦合而成；所述卷积支路由一个CB1卷积块与一个CB2卷积块级联而成；所述引导融合模块由两个可变形交叉注意力DCA模块与两个相应的IDWT层组成；与P经过各自的频率感知块，分别得到各自的高低频感知特征与接着分别将与经过变换得到Q1、V1与Q2、V2；所述变换指将四阶张量特征的最后两个维度合并为一个维度，并与原本的第二维度相交换的操作，特别地还先通过一个1
×
1卷积层处理，使其通道维数与保持一致；将所得Q1、V2与Q2、V1分别送入一个可变形交叉注意力模块中，分别得到所需的光谱特征F
spec
与所需的空间特征F
spat
；最后，将与F
spec
送入一个IDWT层得到融合特征F
global1
，与通过1
×
1卷积层的F
spat
送入另一个IDWT层得到融合特征F
global2
；步骤2
‑
3：融合增强模块；所述融合增强模块包括三个通道空间注意力CSA模块与一个融合模块；
所述通道空间注意力模块包含级联的一个通道注意力模块与一个空间注意力模块；所述通道注意力模块指将输入分别经过通道平均池化、通道最大池化后分别经过CB3卷积块处理，所得结果矩阵相加后经过sigmo...

【专利技术属性】
技术研发人员：邢颖慧，张妍，瞿立涛，张艳宁，张秀伟，尹翰林，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：