基于特征空间多分类对抗机制的红外可见光图像融合方法技术

本发明专利技术提出了一种基于特征空间多分类对抗机制的红外可见光图像融合方法。本发明专利技术所提出的方法引入空间注意力机制，同时使用密集连接和残差连接来构建高性能编码器网络实现特征提取；引入通道注意力机制，同时使用多尺度卷积来构建高性能译码器网络实现图像重建。将融合策略网络化，引入多分类生成对抗机制使融合特征同时符合红外与可见光两种模态的概率分布，从而构建高性能的深度融合策略。最终的红外与可见光图像融合网络由训练好的编码器、特征融合网络以及译码器级联而成，生成高质量的融合结果。相较于现存方法，本发明专利技术所提出的方法可解释性好、融合速度快、适用范围广。适用范围广。适用范围广。

【技术实现步骤摘要】
基于特征空间多分类对抗机制的红外可见光图像融合方法


[0001]本专利技术涉及图像增强
，具体地说，本专利技术涉及一种基于特征空间多 分类对抗机制的红外可见光图像融合方法的技术方案。

技术介绍

[0002]近几十年，基于深度学习的融合方法凭借神经网络强大的特征提取和图像重 建能力，获得了远超传统方法的性能。现存的基于深度学习的图像融合方法可以 分为端到端融合方法以及非端到端融合方法。
[0003]端到端融合方法通常直接使用一个整体网络将输入的红外和可见光图像进 行融合。换句话说，融合的各个阶段如特征提取、特征融合以及图像重建都是隐 式的。端到端融合方法可根据所采取的架构分为基于卷积神经网络的融合方法和 基于生成式对抗网络的融合方法。这些方法的共性在于依赖融合图像与源图像绝 对分布之间的距离损失。例如，PMGI在融合图像和两个源图像间建立强度和梯 度距离损失，并通过调节损失项的权重系数来调整信息融合过程中的保留比例， 从而控制融合绝对结果分布的倾向性。U2Fusion则在融合图像和两个源图像间 建立强度和结构相似度损失，并通过度量特征图的信息质量来自适应地调整损失 项系数，从而引导融合图像保留有效信息。不幸的是，这种融合图像与两个源图 像绝对分布之间的距离损失会建立一个博弈，导致最终融合图像是两个源图像原 始属性(如像素强度、梯度等)的折中，不可避免地造成有益信息被削弱。除此 以外，FusionGAN网络的优化不仅依赖图像绝对分布之间的距离损失还依赖模 态概率分布之间的对抗损失。随后，它们引入双鉴别器来平衡红外与可见光信息 以进一步提升融合性能，但是网络优化仍离不开图像绝对分布之间的内容损失， 这意味有益信息的丢失问题仍然存在。
[0004]非端到端融合方法主要是基于自编码架构，其特征提取、特征融合以及图像 重建三个阶段都是非常明确的，由不同的网络或模块来实现。现存非端到端图像 融合方法的融合质量一直受融合策略的性能制约。具体来说，现存的基于自编码 结构的融合方法采用的融合规则都是手工制作的，且不可学习。例如，DenseFuse 采用Addition策略和l1‑
norm策略；SEDRFuse采用最大值策略。这些策略不能 根据输入图像自适应地调整，可能会造成亮度中和或过饱和、信息丢失等问题， 因此研究可学习的融合规则非常有意义。

技术实现思路

[0005]针对现有的技术缺陷，本专利技术提出了一种基于特征空间多分类对抗机制的红 外可见光图像融合网络的技术方案。经本专利技术增强得到的红外图像，可以避免有 效信息被削弱和中和，能自适应地保留显著热目标和丰富纹理结构。。
[0006]本专利技术的技术方案包括以下步骤：
[0007]步骤1，设计一种新的自编码器网络来实现融合过程中的特征提取和图像重 建，来实现特征提取和图像重建，所述的自编码器网络包括编码器和译码器，其 中编码器将图
像映射到高维特征空间，再利用译码器将高维特征重新映射为图 像，设计损失函数对编码器和译码器进行训练；
[0008]步骤2，建立生成式对抗网络并对其进行训练，所述的生成式对抗网络包括 特征融合网络和和多分类鉴别器，使用训练好的编码器从红外和可见光图像中提 取特征，然后通过生成式对抗网络来融合这些特征；
[0009]步骤3，在整个训练结束后，将编码器、生成式对抗网络以及译码器级联组 成完整的图像融合网络，使用训练好的编码器从红外和可见光图像中提取特征， 将生成式对抗网络生成的融合特征经训练好的译码器译码得到高质量的融合图 像。
[0010]进一步的，步骤1中编码器的网络结构如下；
[0011]建立编码器E，所述的编码器E使用跳跃连接和残差连接通过9个卷积层对 原始的红外图像和可见光图像对中提取特征，所述的卷积层的卷积核尺寸均为3
×
3，激活函数均为Leaky ReLU，分别采用空间注意力模块对第4层和第8层卷 积层加权；采用残差连接将第1层与第一个空间注意力模块进行残差连接，残差 连接的结果通过激活函数Leaky ReLU后与第二个空间注意力模块进行残差连 接；采用跳跃连接将第2层、第3层、第6层与第7层进行跳跃连接，最终得到 红外特征Fea
ir
和可见光特征Fea
vis
。
[0012]进一步的，步骤1中译码器的网络结构如下；
[0013]建立译码器D，所述的译码器D使用两个结合通道注意力模块的多尺度卷 积层顺序连接，来处理编码器提取的编码特征，所述的多尺度卷积层由三个具 有不同尺寸卷积核的卷积层组成，卷积核尺寸分别为7
×
7、5
×
5和3
×
3，激活函数 均为Leaky ReLU；在每个多尺度卷积层后连接一个通道注意力模块，在此之后， 使用三个卷积核尺寸为3
×
3的卷积层来重建红外图像和可见光图像，前两个卷积 层使用Leaky ReLU作为激活函数，第三个卷积层使用Tanh作为激活函数。
[0014]进一步的，建立编码器和译码器的损失函数其为在强度域和梯度域构 建重建图像与输入图像的一致性损失，其计算公式如下：
[0015][0016]其中，是强度损失，是梯度损失，β是平衡强度损失项和梯度损失 项的参数；
[0017]强度损失的计算公式如下：
[0018][0019]梯度损失的计算公式如下：
[0020][0021]其中，|
·
|是l1范数，是Sobel梯度算子，其从水平和竖直两个方向来计算 图像的梯度；I
ir
和I
vis
是输入的源红外和可见光图像，和是自编码网络重建 的红外和可见光图像，其可以表示为：
[0022]训练自编码器网络，采用Adam优化器来更新参数，自编码器网络训练好后， 冻结
其参数。
[0023]进一步的，步骤2的具体实现方式如下；
[0024]步骤2.1，建立特征融合网络F，将训练好的编码器E提取的红外特征Fea
ir
和可见光特征Fea
vis
进行融合，生成融合特征Fea
fused
；
[0025]所述的特征融合网络F采用3个卷积核尺寸为3
×
3、激活函数为Leaky Relu 的卷积层来处理编码器E提取的红外特征Fea
ir
与可见光特征Fea
vis
；在此之后级 联三个并列的两层卷积层分支，分别是2个融合权重预测分支和一个偏差预测分 支，预测融合权重ω
ir
、ω
vis
以及偏差项ε；所述的融合权重预测分支包含两个卷 积层，其卷积尺寸均为3
×
3，两个卷积层分别使用Leaky Relu和Sigmoid作为激 活函数；在偏差预测分支，也包含两个卷积层，其卷积尺寸均为3
×
3，两个卷积 层的激活函数均为Leaky Relu。融合特征可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征空间多分类对抗机制的红外可见光图像融合方法，其特征在于，包括如下步骤：步骤1，设计一种新的自编码器网络来实现融合过程中的特征提取和图像重建，所述的自编码器网络包括编码器和译码器，其中编码器将图像映射到高维特征空间，再利用译码器将高维特征重新映射为图像，设计损失函数对编码器和译码器进行训练；步骤2，建立生成式对抗网络并对其进行训练，所述的生成式对抗网络包括特征融合网络和和多分类鉴别器，使用训练好的编码器从红外和可见光图像中提取特征，然后通过生成式对抗网络来融合这些特征；步骤3，在整个训练结束后，将编码器、生成式对抗网络以及译码器级联组成完整的图像融合网络，使用训练好的编码器从红外和可见光图像中提取特征，将生成式对抗网络生成的融合特征经训练好的译码器译码得到高质量的融合图像。2.如权利要求1所述的基于特征空间多分类对抗机制的红外可见光图像融合方法，其特征在于：步骤1中编码器的网络结构如下；建立编码器E，所述的编码器E使用跳跃连接和残差连接通过9个卷积层对原始的红外图像和可见光图像对中提取特征，所述的卷积层的卷积核尺寸均为3
×
3，激活函数均为Leaky ReLU，分别采用空间注意力模块对第4层和第8层卷积层加权；采用残差连接将第1层与第一个空间注意力模块进行残差连接，残差连接的结果通过激活函数Leaky ReLU后与第二个空间注意力模块进行残差连接；采用跳跃连接将第2层、第3层、第6层与第7层进行跳跃连接，最终得到红外特征Fea
ir
和可见光特征Fea
vis
。3.如权利要求1所述的基于特征空间多分类对抗机制的红外可见光图像融合方法，其特征在于：步骤1中译码器的网络结构如下；建立译码器D，所述的译码器D使用两个结合通道注意力模块的多尺度卷积层顺序连接，来处理编码器提取的编码特征，所述的多尺度卷积层由三个具有不同尺寸卷积核的卷积层组成，卷积核尺寸分别为7
×
7、5
×
5和3
×
3，激活函数均为Leaky ReLU；在每个多尺度卷积层后连接一个通道注意力模块，在此之后，使用三个卷积核尺寸为3
×
3的卷积层来重建红外图像和可见光图像，前两个卷积层使用Leaky ReLU作为激活函数，第三个卷积层使用Tanh作为激活函数。4.如权利要求1所述的基于特征空间多分类对抗机制的红外可见光图像融合方法，其特征在于：建立编码器和译码器的损失函数其为在强度域和梯度域构建重建图像与输入图像的一致性损失，其计算公式如下：其中，是强度损失，是梯度损失，β是平衡强度损失项和梯度损失项的参数；强度损失的计算公式如下：梯度损失的计算公式如下：
其中，|
·
|是范数，是Sobel梯度算子，其从水平和竖直两个方向来计算图像的梯度；I
ir
和I
vis
是输入的源红外和可见光图像，和是自编码网络重建的红外和可见光图像，其可以表示为：训练编码器和译码器，采用Adam优化器来更新参数，训练好后，冻结其参数。5.如权利要求1所述的基于特征空间多分类对抗机制的红外可见光图像融合方法，其特征在于：步骤2的具体实现方式如下；步骤2.1，建立特征融合网络F，将训练好的编码器E提取的红外特征Fea
ir
和可见光特征Fea
vis
进行融合，生成融合特征Fea
fused
；所述的特征融合网络F采用3个卷积核尺寸为3
×
3、激活函数为Leaky Relu的卷积层来处理编码器E提取的红外特征Fea
ir
与可见光特征Fea
vis
；在此之后级联三个并列的两层卷积层分支，分别是2个融合权重预测分支和一个偏差预测分支，预测融合权重ω
ir
、ω
vis
以及偏差项ε；所述的融合权重预测分支包含两个卷积层，其卷积尺寸均为3
×
3，两个卷积层分别使用Leaky Relu和Sigmoid作为激活函数；在偏差预测分支，也包含两个卷积层，其卷积尺寸均为3
×
3，两个卷积层的激活函数均为Leaky Relu；融合特征可以被表示为：Fea
fused
＝F(Fea
ir
，Fea
vis
)＝ω
ir
·
Fea
ir
+ω
vis
...

【专利技术属性】
技术研发人员：马泳，黄珺，马佳义，张灿，
申请(专利权)人：武汉大学，
类型：发明
国别省市：