一种无监督红外图像和可见光图像的融合方法技术

本发明专利技术公开一种无监督红外图像和可见光图像的融合方法，基于图像融合模型，图像融合模型包括多尺度特征提取模块和特征重建模块，具体包括：(1)将红外图像和可见光图像输入到特征提取模块进行多尺度特征提取；所述特征提取模块内包括红外图像和可见光图像两条特征提取路径，每条路径又包括三条平行的分支；红外图像和可见光图像输入到各自对应的特征提取路径；(2)将特征提取模块内两条特征提取路径提取的特征沿通道维度进行串联，然后输入到特征重建模块得到融合图像；(3)所提出的模型在损失函数的指导下不断进行优化，最终得到理想的融合图像。想的融合图像。想的融合图像。

【技术实现步骤摘要】
International Conference on Multimedia and Expo(ICME).IEEE,2021:1
‑
6.
[0009][3]李扬,杨海涛,孔卓,张长弓,王晋宇.像素级红外与可见光图像融合方法综述[J/OL].计算机工程与应用:1
‑
12.
[0010][4]Ma J,Ma Y,Li C.Infrared and visible image fusion methods and applications:A survey[J].Information Fusion,2019,45:153
‑
178.
[0011][5]Huang J,Le Z,Ma Y,et al.Mgmdcgan:Medical image fusion using multi
‑
generator multi
‑
discriminator conditional generative adversarial network[J].IEEE Access,2020,8:55145
‑
55157.
[0012][6]Zhang Y,Liu Y,Sun P,et al.IFCNN:A general image fusion framework based on convolutional neural network[J].Information Fusion,2020,54:99
‑
118.
[0013][7]Liu Y,Chen X,Cheng J,et al.A medical image fusion method based on convolutional neural networks[C]//201720th international conference on information fusion(Fusion).IEEE,2017:1
‑
7.
[0014][8]Ma J,Yu W,Liang P,et al.FusionGAN:A generative adversarial network for infrared and visible image fusion[J].Information fusion,2019,48:11
‑
26.
[0015][9]Ma J,Liang P,Yu W,et al.Infrared and visible image fusion via detail preserving adversarial learning[J].Information Fusion,2020,54:85
‑
98.
[0016][10]Ma J,Xu H,Jiang J,et al.DDcGAN:A dual
‑
discriminator conditional generative adversarial network for multi
‑
resolution image fusion[J].IEEE Transactions on Image Processing,2020,29:4980
‑
4995.

技术实现思路

[0017]本专利技术的目的是为了克服现有技术中的不足，提供一种基于多尺度特征提取的无监督红外图像和可见光图像融合方法。该方法可以提取不同尺度的特征，使源图像中的信息得到更大程度的保留，而且克服了基于GAN的融合方法中所存在训练平衡问题。
[0018]本专利技术的目的是通过以下技术方案实现的：
[0019]一种无监督红外图像和可见光图像的融合方法，基于图像融合模型，图像融合模型包括多尺度特征提取模块和特征重建模块，融合方法包括：
[0020](1)将红外图像和可见光图像输入到多尺度特征提取模块进行多尺度特征提取；所述多尺度特征提取模块内包括红外图像和可见光图像两条特征提取路径，每条路径又包括三条平行的分支；红外图像和可见光图像输入到各自对应的特征提取路径；
[0021](2)将多尺度特征提取模块内两条特征提取路径提取的特征沿通道维度进行串联，然后输入到特征重建模块得到融合图像；
[0022](3)使图像融合模型在损失函数的指导下不断进行优化，最终得到理想的融合图像。
[0023]进一步的，步骤(1)中将红外图像和可见光图像输入到多尺度特征提取模块内各自对应的特征提取路径，将通过图像融合模型的第一层卷积获得的结果分别输入到每条特征提取路径对应的三条平行分支以提取不同尺度的特征；其中，每条路径中的三条平行分支所使用的卷积核的大小分别为1
×
1、3
×
3和5
×
5；将每条路径的三条平行分支的输出沿
通道维度串联并输入到1
×
1卷积层A；1
×
1卷积层A的输出和图像融合模型的第一层卷积串联后输入到一个3
×
3的卷积层。
[0024]进一步的，特征重建模块由两个平行分支组成，两个分支采用的卷积核大小分别为1
×
1、3
×
3，以最大程度地利用所提取到的信息。
[0025]进一步的，步骤(3)中损失函数L
T
由内容损失L
con
和结构相似性损失L
ssim
组成，定义如下：
[0026]L
T
＝L
con
+αL
ssim
[0027]其中，α是平衡内容损失和结构相似性损失的权重参数，α＝100；
[0028]结构相似性损失用于测量两幅图像之间的相似性，定义如下：
[0029][0030]其中，I
ir
，I
vi
，和I
f
分别表示红外图像、可见光图像和融合图像；结构相似性指标SSIM的计算公式如下：
[0031][0032]其中，I1和I2分别表示要计算的两幅图像，μ表示平均值，σ表示标准偏差，C1和C2是稳定系数，是I1和I2之间的互相关；
[0033]内容损失L
con
包括梯度损失L
gra
和强度损失L
int
部分，定义如下：
[0034]L
con
＝L
int
+βL
gra
[0035]其中，β是一个权重参数，β设置为10；梯度损失L
gra
和强度损失L
int
的定义如下：
[0036][0037][0038]H和W分别表示输入图像的宽和高；‖
·
‖
F
表示矩阵F
‑
范数，表示梯度操作；η、ξ、η1和ξ1是权重参数，分别被设置为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督红外图像和可见光图像的融合方法，基于图像融合模型，图像融合模型包括多尺度特征提取模块和特征重建模块，其特征在于，融合方法包括：(1)将红外图像和可见光图像输入到多尺度特征提取模块进行多尺度特征提取；所述多尺度特征提取模块内包括红外图像和可见光图像两条特征提取路径，每条路径又包括三条平行的分支；红外图像和可见光图像输入到各自对应的特征提取路径；(2)将多尺度特征提取模块内两条特征提取路径提取的特征沿通道维度进行串联，然后输入到特征重建模块得到融合图像；(3)使图像融合模型在损失函数的指导下不断进行优化，最终得到理想的融合图像。2.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法，其特征在于，步骤(1)中将红外图像和可见光图像输入到多尺度特征提取模块内各自对应的特征提取路径，将通过图像融合模型的第一层卷积获得的结果分别输入到每条特征提取路径对应的三条平行分支以提取不同尺度的特征；其中，每条路径中的三条平行分支所使用的卷积核的大小分别为1
×
1、3
×
3和5
×
5；将每条路径的三条平行分支的输出沿通道维度串联并输入到1
×
1卷积层A；1
×
1卷积层A的输出和图像融合模型的第一层卷积串联后输入到一个3
×
3的卷积层。3.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法，其特征在于，特征重建模块由两个平行分支组成，两个分支采用的卷积核大小分别为1
×
1、3
×
3，以最大程度地利用所提取到的信息。4.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法，其特征在于，步骤(3)中损失函数L
T
由内容损失L
con
...

【专利技术属性】
技术研发人员：刘世光，高雪艳，
申请(专利权)人：天津大学，
类型：发明
国别省市：