基于改进WGAN-GP的多波段图像同步融合与增强方法技术

本发明专利技术涉及多波段图像同步融合与增强方法，即同步实现多波段图像融合和图像超分辨率，具体为基于改进WGAN‑GP的多波段图像同步融合与增强方法,本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的特征提取（编码）网络、特征组合网络和解码网络三部分组成，通过生成器和判别器的动态平衡训练得到一个生成模型并得到融合增强结果。本发明专利技术实现了多波段图像端到端同步融合与增强的神经网络，使得低分辨率源图像融合出高质量融合结果。

【技术实现步骤摘要】
基于改进WGAN-GP的多波段图像同步融合与增强方法
本专利技术涉及多波段图像同步融合与增强方法，即用一个网络模型同时实现多波段图像融合和图像超分辨率，具体为基于改进WGAN-GP的多波段图像同步融合与增强方法。
技术介绍
多波段图像融合旨在通过提取同一场景不同波段图像中的互补信息组合成一幅信息更丰富、更全面的图像，用于后续目标提取和决策制定。近年来，图像融合技术发展迅速，许多有效的融合方法相继提出，但由于成像传感器和信号传输宽带的限制，大多数源图像的分辨率受到限制，导致采集得到的红外和可见光图像很大一部分并不是高分辨率的。对低分辨率源图像，现有图像融合方法尽管可以综合各波段信息但得到的融合图像仍然是低分辨率的，所以，不利于后续目标识别。目前，对低分辨率图像往往通过超分辨率(SuperResolution，SR)重建来提升像质。图像融合领域主要通过先对低分辨率源图像SR再对其融合或者先融合低分辨率源图像再对融合结果SR两种方式改善像质。研究表明这两种方式会丢失细节信息或引入噪声。为此，需要有一种新方法来同步实现图像融合和图像超分辨率。<本文档来自技高网...

【技术保护点】
1.基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于包括以下步骤：/n设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取子网络、特征组合子网络和解码子网络三部分，其中特征提取子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像特征在高层特征空间中组合，解码子网络将组合的特征图转为融合图像；/n利用该生成对抗网络首先将多波段低分辨率源图像分别输入特征提取网络，随后将提取的多波段图像特征在高层特征空间中组合，然后通过解码子网络重构融合图像；/n将重构的融合图像和多波段低分辨率源图像对应的标签图像分别送入判别器进行...

【技术特征摘要】
1.基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于包括以下步骤：
设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取子网络、特征组合子网络和解码子网络三部分，其中特征提取子网络用来提取不同波段源图像的特征，特征组合子网络用来将特征提取子网络提取的不同波段源图像特征在高层特征空间中组合，解码子网络将组合的特征图转为融合图像；
利用该生成对抗网络首先将多波段低分辨率源图像分别输入特征提取网络，随后将提取的多波段图像特征在高层特征空间中组合，然后通过解码子网络重构融合图像；
将重构的融合图像和多波段低分辨率源图像对应的标签图像分别送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和判别器输出的的标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步融合增强网络模型，应用该生成器模型融合多波段低分辨率源图像。


2.根据权利要求1所述的基于改进WGAN-GP的多波段图像同步融合与增强方法，其特征在于生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和感知损失Lper；其中对抗损失式中G表示生成器，D表示判别器，E表示期望,x表示生成器样本输入,ILR表示输入生成器的低分辨率源图像；内容损失其中，||·||表示F范数,y表示真实样本输入，IHRF表示标签图像，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；综上所述，最终的复合损失函数为：其中，θG表示生成器的训练参数，λ1、λ2分别表示内容损失Lcon和感知损失Lper的权重；
判别器损失函数为：

其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。

【专利技术属性】
技术研发人员：李大威，田嵩旺，蔺素珍，杨博，张海松，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14