基于多阶段生成对抗网络的红外与可见光图像融合方法技术

本发明专利技术属于图像处理领域，公开了一种基于多阶段生成对抗网络的红外与可见光图像融合方法，包括：步骤1，构造训练数据集，并对其进行预处理操作；步骤2，将经过预处理的红外与可见光图像在通道维度上拼接并传递给生成器，即构建的多阶段网络，生成融合图像；步骤3，将融合图像与源图像即红外图像与可见光图像传递给判别器，判别输入图像是融合图像还是源图像；步骤4，构建损失函数，训练网络；步骤5，选取多种数据集，评估网络性能。实验证明，本发明专利技术能显著提升融合图像的质量，为后续的图像分类、分割、识别与跟踪等高级图像处理任务提供更准确和可靠的数据。和可靠的数据。和可靠的数据。

【技术实现步骤摘要】
基于多阶段生成对抗网络的红外与可见光图像融合方法


[0001]本专利技术涉及图像处理
，具体的涉及一种基于多阶段生成对抗网络的红外与可见光图像融合方法。

技术介绍

[0002]图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。由于成像设备硬件限制，单一类型或单一设置下的传感器通常无法全面地表征成像场景,红外传感器通过捕获物体的热辐射信息成像，即使在极端的条件、恶劣的天气以及部分遮挡的情况下也能够有效地突出显著目标，但是红外图像无法提供足够的环境信息，如纹理细节、环境照明等,与之相反，可见光传感器通过收集物体表面的反射光成像，因此可见光图像包含丰富的纹理细节信息并更加符合人类的视觉感知。红外和可见光图像融合旨在整合互补信息，使融合图像具有热辐射特性和结构纹理信息，有利于观察和后续图像处理。目前，红外与可见光图像融合不但广泛应用于遥感探测、医疗诊断、智能驾驶、安全监控等方面，而且在公安敏感目标跟踪识别、周界防护、事故鉴定取证等方面也发挥着重要的作用。
[0003]根据采用的网络框架不同，红外与可见光图像融合方法可以划分为三类：基于自编码器(Auto
‑
Encoder,AE)的图像融合框架、基于卷积神经网络(Convolutional Neural Network,CNN)的图像融合框架和基于生成对抗网络(Generative Adversarial Network,GAN)的图像融合框架。基于AE的方法首先需要在大规模自然图像数据集上训练一个自编码器,然后，预训练的编码器和解码器分别用于实现特征提取与图像重建,最后一般使用手工设计的融合策略融合编码网络提取的深度特征来实现图像融合。基于CNN的端到端图像融合框架是一种避免手动设计融合规则带来的弊端的技术路线,这类方法通常依靠精心设计的网络结构和损失函数来隐式地实现特征提取、特征融合和图像重建。基于GAN的图像融合框架，生成对抗网络即使在没有监督信息的情形下也能够有效地建模数据分布，这样的特性非常符合红外和可见光图像融合的需求。
[0004]尽管现有的红外与可见光图像融合方法取得了一定进展，但是仍然存在一些缺陷，其中主要问题是融合图像难以充分利用红外图像的热辐射特性和可见光图像的纹理细节信息，从而导致融合图像的质量不如预期。

技术实现思路

[0005]为了解决上述技术问题，本专利技术采用基于生成对抗网络的图像融合框架，为了在融合图像中更好地融合红外图像的热辐射特性和可见光图像的纹理细节信息，本专利技术还在生成器中设计了一个多阶段网络结构。
[0006]为了达到上述目的，本专利技术是通过以下技术方案实现的：
[0007]本专利技术是一种基于多阶段生成对抗网络的红外与可见光图像融合方法，包括以下步骤：
[0008]步骤1，构造训练数据集，并对其进行预处理操作；
[0009]步骤2，将经过预处理的红外与可见光图像在通道维度上拼接并传递给生成器，生成融合图像；
[0010]步骤3，将融合图像与源图像即红外图像与可见光图像传递给判别器，判别输入图像是融合图像还是源图像；
[0011]步骤4，构建损失函数，训练网络；
[0012]步骤5，选取多种数据集，测试网络性能。
[0013]其中，步骤1的具体操作为：
[0014]步骤1.1，使用来自TNO数据集的39对红外和可见光图像，采用传统图像融合方法GFF的融合结果作为预融合图像，在本专利技术的步骤4中，预融合图像作为标签用于构建损失函数。
[0015]步骤1.2，将39对红外和可见光图像以及预融合图像裁剪为大小为120
×
120的图像块,得到36357对红外可见光图像和预融合图像，用作训练集。
[0016]其中，步骤2的具体操作为：
[0017]生成器是一个三阶段网络，每个阶段均采用U型网络，包括编码器和解码器。在编码器中，特征图经过三次相同的操作，每次操作包括两个卷积层(3
×
3卷积、BN层和ReLU激活函数)和一个下采样层(2
×
2最大池化层)。在解码器中,特征图同样经过三次相同的操作，每次操作包括一个上采样层(双线性插值)、特征图拼接层和两个卷积层(3
×
3卷积、BN层和ReLU激活函数)。阶段之间通过跨阶段通道注意力特征融合模块(CSCAFF)以及通道注意力模块(CAM)形成关联。最后，最终输出结果由三个阶段的结果经过自适应权重模块(AWM)得到。
[0018]步骤2中，CSCAFF具体操作如下：
[0019]C＝ωZ+(1
‑
ω)(X+Y)，
[0020]ω＝Sigmoid[MaxPool(X+Y+Z)+AvgPool(X+Y+Z)][0021]其中，X和Y为n
‑
1阶段的两个特征图，Z为n阶段的特征图，C为融合特征图，ω表示权重。
[0022]步骤2中，CAM具体操作如下：
[0023][0024]其中，为n
‑
1阶段输出部分的特征图，为n阶段输入部分的特征图，为n
‑
1阶段的输出结果，Conv1和Conv2为卷积操作。
[0025]步骤2中，AWM具体操作如下：
[0026][0027][0028]其中，为第k阶段的输出结果，α
i
为归一化权重，∑α
i
＝1，β
i
为初始化权重系数，e为自然常数。
[0029]其中，步骤3中,判别器包括判别器D
ir
和判别器D
vis
：
[0030]判别器D
ir
用来判别输入的图像是融合图像还是红外图像，判别器D
vis
用来判别输入的图像是融合图像还是可见光图像，这两个判别器具有相同的网络结构并共享参数。判别器D
ir
由四个卷积层和一个线性层组成。第一个卷积层由卷积、BN层和ReLU激活函数组成，其余三个卷积层由卷积、BN层和LReLU激活函数组成，卷积核大小均为3
×
3，步长均为2，四个卷积层的输出特征图通道数分别设置为32、64、128和256。最后线性层根据前四个卷积层提取的特征对输入图像进行分类，以判别输入图像是融合图像还是红外图像与可见光图像。
[0031]其中，步骤4的具体操作为：
[0032]步骤4.1，构建损失函数。
[0033]总损失函数如下：
[0034][0035]其中，为判别器损失，为判别器对抗损失，为生成器损失，为生成器对抗损失，为内容损失，为辅助监督损失，λ1、λ2和λ3为正则化参数。
[0036]对抗损失定义如下：
[0037][0038][0039]其中，N为批量大小，D
ir
和D
vis
为判别器，G为生成器，X
...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：红外与可见光图像融合方法包括以下步骤：步骤1、构造训练数据集，并对其进行预处理操作；步骤2、将经过预处理的红外图像与可见光图像在通道维度上拼接并传递给生成器，生成融合图像；步骤3、将融合图像与红外图像和可见光图像传递给判别器，判别输入图像是融合图像还是红外图像和可见光图像；步骤4、构建损失函数，训练网络；步骤5、选取多种数据集，测试网络性能。2.根据权利要求1所述的基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：步骤2中所述生成器为一个三阶段网络，每个阶段均采用U型网络，包括编码器和解码器，在编码器中，特征图经过三次相同的操作，每次操作包括两个卷积层和一个下采样层，在解码器中,特征图经过三次相同的操作，每次操作包括一个上采样层、特征图拼接层和两个卷积层，阶段之间通过跨阶段通道注意力特征融合模块(CSCAFF)以及通道注意力模块(CAM)形成关联，最终结果即融合图像由三个阶段的结果经过自适应权重模块(AWM)得到。3.根据权利要求2所述的基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：所述跨阶段通道注意力特征融合模块(CSCAFF)具体操作如下：C＝ωZ+(1
‑
ω)(X+Y)，ω＝Sigmoid[MaxPool(X+Y+Z)+AvgPool(X+Y+Z)]其中，X和Y为n
‑
1阶段的两个特征图，Z为n阶段的特征图，C为融合特征图，ω表示权重。4.根据权利要求2所述的基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：所述通道注意力模块(CAM)具体操作如下：其中，为n
‑
1阶段输出部分的特征图，为n阶段输入部分的特征图，为n
‑
1阶段的输出结果，Conv1和Conv2为卷积操作。5.根据权利要求2所述的基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：所述自适应权重模块(AWM)具体操作如下：特征在于：所述自适应权重模块(AWM)具体操作如下：其中，为第k阶段的输出结果，α
i
为归一化权重，∑α
i
＝1，β
i
为初始化权重系数，e为自然常数。6.根据权利要求1所述的基于多阶段生成对抗网络的红外与可见光图像融合方法，其特征在于：步骤3中的判别器包括判别器D
ir
和判别器D
vis
，所述判别器D
ir
用来判别输入的图像是融合图像还...

【专利技术属性】
技术研发人员：尹海涛，周昌盛，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：