基于改进WGAN-GP的多波段图像同步融合与增强方法技术

本发明专利技术涉及多波段图像同步融合与增强方法，即同步实现多波段图像融合和图像超分辨率，具体为基于改进WGAN‑GP的多波段图像同步融合与增强方法,本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的特征提取（编码）网络、特征组合网络和解码网络三部分组成，通过生成器和判别器的动态平衡训练得到一个生成模型并得到融合增强结果。本发明专利技术实现了多波段图像端到端同步融合与增强的神经网络，使得低分辨率源图像融合出高质量融合结果。

【技术实现步骤摘要】
基于改进WGAN-GP的多波段图像同步融合与增强方法
本专利技术涉及多波段图像同步融合与增强方法，即用一个网络模型同时实现多波段图像融合和图像超分辨率，具体为基于改进WGAN-GP的多波段图像同步融合与增强方法。
技术介绍
多波段图像融合旨在通过提取同一场景不同波段图像中的互补信息组合成一幅信息更丰富、更全面的图像，用于后续目标提取和决策制定。近年来，图像融合技术发展迅速，许多有效的融合方法相继提出，但由于成像传感器和信号传输宽带的限制，大多数源图像的分辨率受到限制，导致采集得到的红外和可见光图像很大一部分并不是高分辨率的。对低分辨率源图像，现有图像融合方法尽管可以综合各波段信息但得到的融合图像仍然是低分辨率的，所以，不利于后续目标识别。目前，对低分辨率图像往往通过超分辨率(SuperResolution，SR)重建来提升像质。图像融合领域主要通过先对低分辨率源图像SR再对其融合或者先融合低分辨率源图像再对融合结果SR两种方式改善像质。研究表明这两种方式会丢失细节信息或引入噪声。为此，需要有一种新方法来同步实现图像融合和图像超分辨率。
技术实现思路
本专利技术为了提升低分辨率源图像的融合结果，提出一种基于具有梯度惩罚的Wasserstein生成对抗网络(WassersteinGenerativeAdversarialNetworkwithGradientPenalty，WGAN-GP)的多波段图像同步融合与增强的新方法。本专利技术是采用如下技术方案实现的：基于改进WGAN-GP的多波段图像同步融合与增强方法，包括以下步骤：设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取子网络、特征组合子网络和解码子网络三部分，其中特征提取子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像特征在高层特征空间中组合，解码子网络将组合的特征图转为融合图像；利用该生成对抗网络首先将多波段低分辨率源图像分别输入特征提取子网络，随后将提取的多波段图像特征在高层特征空间中组合，然后通过解码子网络重构融合图像；将重构的融合图像和多波段低分辨率源图像对应的标签图像分别送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和标签图像不断趋于相似，判别器无法区分融合图像和标签图像，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步融合增强网络模型，应用该生成器模型融合多波段低分辨率源图像。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和感知损失Lper；其中对抗损失式中G表示生成器，D表示判别器，E表示期望,x表示生成器样本输入(此处即为低分辨率源图像),ILR表示输入生成器的低分辨率源图像；内容损失其中，||·||表示F范数,y表示真实样本输入(此处即为标签图像)，IHRF表示标签图像，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；综上所述，最终的复合损失函数为：其中，θG表示生成器的训练参数，λ1、λ2分别表示内容损失Lcon和感知损失Lper的权重；判别器损失函数为：其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，λ＝5，λ1＝1，λ2＝0.1，λ3＝10时能够平衡各个损失函数，网络训练效果达到较好效果。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，输入生成器的多波段低分辨率源图像由如下过程得来：多波段图像通过滑动窗口进行分块，分块后的图像通过旋转、镜像操作进行扩充，然后通过Resize操作将长和宽各缩小为原图像的四分之一，作为低分辨率图像，低分辨率图像通过双三次插值方法放大至目标尺寸，得到输入生成器的多波段低分辨率源图像。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，标签图像采用如下步骤得到：将多波段图像通过滑动窗口进行分块，分块结果作为高分辨率源图像，并分别输入多种融合算法进行融合，然后将融合结果利用多个客观指标：信息熵、标准差、互信息、平均梯度、空间频率、对比度、峰值信噪比、相关系数、结构相似性、视觉信息保真度和边缘信息保留值进行评价，选择指标最优个数最多的融合算法的融合结果作为标签图像。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，特征提取子网络由8个连续的卷积层构成，每个卷积层后面跟随修正线性单元；特征组合子网络由1个合并连接层组成；解码子网络由8个连续的卷积层构成，且在前7个卷积层后跟随修正线性单元；判别器包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随LeakyReLU激活函数。上述的基于改进WGAN-GP的多波段图像同步融合与增强方法，为了提升输入多波段低分辨率源图像和输出融合图像之间的相似性，保存更多源图像中的信息，在特征提取子网络和解码子网络之间有三个跳连接。本专利技术为了解决低分辨率源图像融合结果像质不佳的问题，建立了一个端到端的网络模型，能同步进行图像融合和图像超分辨率，使得低分辨率源图像融合出高质量融合结果。本专利技术避免了将图像融合和图像超分辨率分步进行，融合结果清晰度高，边缘明显，更符合人眼视觉特性。附图说明图1为本专利技术的整体流程图。图2为生成模型架构。图3为判别网络结构。图4为高分辨率红外长波图像。图5为低分辨率红外长波图像。图6为高分辨率近红外图像。图7为低分辨率近红外图像。图8为高分辨率可见光图像。图9为低分辨率可见光图像。图10为本专利技术的融合图像。具体实施方式基于改进WGAN-GP的多波段图像同步融合与增强方法，包括以下步骤：第一步设计并构建生成对抗网络：设计并构建生成对抗网络结构，生成对抗网络分为生成器和判别器两个模型。生成器网络结构由特征提取(编码)子网络、特征组合子网络和解码子网络三部分组成，其中特征提取(编码)子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像的特征在高层特征空间组合，解码子网络将特征组合子网络组合得到的特征图转换为最终的融合图像，具体如下：特征提取(编码)子网络由8个连续的卷积层构成，每个卷积层后面跟随修正线性单元(ReLU)，这些卷积滤波器的数量分别为32、32、64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为0；特征组合子网络由1个合并连接层(Concatenate)组成，旨在将所提取的不同波段信息在高层特征空间中组合；解码子网络同样由8个连续的卷积层构成，与特征提取(编码)网络不同，这些卷积滤波器的数量分别为256、128、128、64、6本文档来自技高网...

【技术保护点】
1.基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于包括以下步骤：/n设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取子网络、特征组合子网络和解码子网络三部分，其中特征提取子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像特征在高层特征空间中组合，解码子网络将组合的特征图转为融合图像；/n利用该生成对抗网络首先将多波段低分辨率源图像分别输入特征提取网络，随后将提取的多波段图像特征在高层特征空间中组合，然后通过解码子网络重构融合图像；/n将重构的融合图像和多波段低分辨率源图像对应的标签图像分别送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和判别器输出的的标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步融合增强网络模型，应用该生成器模型融合多波段低分辨率源图像。/n

【技术特征摘要】
1.基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于包括以下步骤：
设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取子网络、特征组合子网络和解码子网络三部分，其中特征提取子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像特征在高层特征空间中组合，解码子网络将组合的特征图转为融合图像；
利用该生成对抗网络首先将多波段低分辨率源图像分别输入特征提取网络，随后将提取的多波段图像特征在高层特征空间中组合，然后通过解码子网络重构融合图像；
将重构的融合图像和多波段低分辨率源图像对应的标签图像分别送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和判别器输出的的标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步融合增强网络模型，应用该生成器模型融合多波段低分辨率源图像。


2.根据权利要求1所述的基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和感知损失Lper；其中对抗损失式中G表示生成器，D表示判别器，E表示期望,x表示生成器样本输入,ILR表示输入生成器的低分辨率源图像；内容损失其中，||·||表示F范数,y表示真实样本输入，IHRF表示标签图像，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；综上所述，最终的复合损失函数为：其中，θG表示生成器的训练参数，λ1、λ2分别表示内容损失Lcon和感知损失Lper的权重；
判别器损失函数为：

其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。

【专利技术属性】
技术研发人员：李大威，田嵩旺，蔺素珍，杨博，张海松，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14