基于分离表征的红外可见光图像融合方法技术

本发明专利技术提出了一种基于分离表征的红外可见光图像融合方法。本发明专利技术设计了基于神经网络的分离表征以将源图像客观地分解为共有信息和特有信息，对分解出的两部分分别使用特定的融合策略；设计了权重编码器以分解出特有信息为输入，以融合图像的客观定量指标为损失函数优化编码器的参数，依据特有信息自适应地生成对应的通道权级。本发明专利技术提出的方法域领先水平的红外与可见光算法相比，具有更丰富的场景信息、更强的对比度，视觉效果也更好。视觉效果也更好。视觉效果也更好。

【技术实现步骤摘要】
基于分离表征的红外可见光图像融合方法


[0001]本专利技术涉及图像增强
，具体地说，本专利技术涉及一种基于分离表征的红外可见光图像融合算法的技术方案。

技术介绍

[0002]为实现红外与可见光图像融合，业界提出了多种融合算法，根据原理及算法类型，这些融合算法可以分为传统算法和基于深度学习的算法。传统融合算法主要包括基于多尺度变换的融合算法、基于稀疏表达的融合算法、基于子空间的融合算法、混合融合方法以及其他的融合算法，这些算法都旨在将源图像分解为多维特征或将源图像映射到其他空间，然后在分解结果上运用融合策略进行融合。但对多模图像采用相同的分解方式是不恰当的，人工设计的分解方式导致了融合效率的减退；基于深度学习的融合算法缺乏真值融合图像，算法往往依赖自监督对网络进行训练。通过人为观察来定义源图像中的特有属性，让融合图像尽可能保留源图像的人为定义的属性，以此作为约束来训练融合网络。例如FusionGAN、ResNetFusion、DDcGAN和AttentionFGAN以像素强度作为红外图像的特有属性并以梯度作为可见光图像的特有属性。然而对于红外图像中热辐射属性多变(纹理丰富)而可见光图像中平滑的区域，此类约束会导致融合图像中场景信息的丢失。在另一些方法中，损失函数约束融合图像与源图像保留更高的结构相似性，或者约束融合图像保留源图像中更高频率的信息。然而，以结构或者高频信息作为源图像的特征信息会降低融合图像中目标的显著性，不利于人眼对目标的快速定位于捕捉。此外，在传统融合算法或者非端到端的深度学习融合算法中分解结果的多样性和特征的难解释性，导致目前融合策略仍停留于平均、相加、最大值等几种简单的方法，融合策略的局限性也限制了融合性能的提升。

技术实现思路

[0003]针对现有的技术缺陷，本专利技术提出了一种基于分离表征红外与可见光图像融合的技术方案。经本专利技术增强得到的红外图像，可以在更低的自由度上实现更多的信息保留及呈现较高的对比度及视觉效果。
[0004]本专利技术的技术方案包括以下步骤：
[0005]步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；
[0006]首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；
[0007]步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光
图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。
[0008]进一步的，所述信息编码器包括红外图像域R的共有信息编码器可见光图像域V的共有信息编码器红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器信息编码器的具体处理过程如下；
[0009]步骤a1.1，建立红外图像域R的共有信息编码器和可见光图像域V的共有信息编码器所述的共有信息编码器和为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器和的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；和共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；
[0010]通过共有信息编码器和从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息c
r
和c
v
，c
r
和c
v
属于共有信息域C，其数学表达式如下：
[0011][0012]其中，i
r
为红外图像域R中对应的图像，i
v
为可见光图像域V中对应的图像；
[0013]步骤a1.2，建立红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器所述的特有信息编码器和为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器和的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；
[0014]通过红外特有信息编码器和可见光特有信息编码器从红外图像域R和可见光图像域V中提取红外特有信息u
r
和可见光特有信息u
v
，u
r
属于红外特有信息域U
r
，u
v
属于可见光特有信息域U
v
，其数学表达式如下：
[0015][0016]进一步的，所述分离表征子模型中生成器的具体处理过程如下；
[0017]将经过信息融合子模型处理后的红外共有信息c
r
、可见光共有信息c
v
、红外特有信息u
r
和可见光特有信息u
v
通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。
[0018]进一步的，步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；
[0019]设计重建损失函数L
recon
：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像和重建的可见光图像重建的红外图像和重建的可见光图像的数学表达式如下：
[0020][0021]重建损失L
recon
的数学表达如下：
[0022][0023]其中，||
·
||
F
表示Frobenius范数；
[0024]设计转换损失函数L
trans
：为使场景空间提取源图像对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分离表征的红外可见光图像融合方法，其特征在于，包括如下步骤：步骤1，建立红外和可见光图像的分离表征网络模型，所述分离表征网络模型包括分离表征子模型和信息融合子模型，其中分离表征子模型包括信息编码器和生成器；首先，红外和可见光图像通过分离表征子模型中的信息编码器分解为红外图像共有信息、可见光图像共有信息、红外与图像特有信息及可见光图像特有信息；其次，通过信息融合子模型将红外与可见光图像的共有信息生成融合后的共有信息，将红外与图像特有信息和可见光图像特有信息生成融合后的特有信息；最后，将融合后的共有信息和融合后的特有信息输入分离表征子模型的生成器，得到融合图像；步骤2，分别对分离表征子模型和信息融合子模型建立损失函数，训练分离表征网络模型，得到优化后的分离表征子模型和信息融合子模型；最后将待融合的红外和可见光图像输入到优化后的分离表征子模型和信息融合子模型中得到最终的融合图像。2.如权利要求1所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述信息编码器包括红外图像域R的共有信息编码器可见光图像域V的共有信息编码器红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器信息编码器的具体处理过程如下；步骤a1.1，建立红外图像域R的共有信息编码器和可见光图像域V的共有信息编码器所述的共有信息编码器和为伪孪生网络，均使用5层卷积层和2个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成k个通道的共有信息特征图；共有信息编码器和的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；和共享最后一层的参数，使用tanh作为激活函数，将红外图像域R和可见光图像域V的共有信息嵌入到同一空间，残差模块在第3层和第5层后；通过共有信息编码器和从红外图像域R和可见光图像域V中提取红外和可见光图像的共有信息c
r
和c
v
，c
r
和c
v
属于共有信息域C，其数学表达式如下：其中，i
r
为红外图像域R中对应的图像，i
v
为可见光图像域V中对应的图像；步骤a1.2，建立红外图像域R的红外特有信息编码器和可见光图像域V的可见光特有信息编码器所述的特有信息编码器和为伪孪生网络，均使用5层卷积层和1个残差模块从红外图像域R和可见光图像域V中提取特征，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成k个通道的特有信息特征图，特有信息编码器和的第1层使用LReLU作为激活函数；第2到4层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数；其中残差模块在第3层卷积层后；通过红外特有信息编码器和可见光特有信息编码器从红外图像域R和可见光图像域V中提取红外特有信息u
r
和可见光特有信息u
v
，u
r
属于红外特有信息域U
r
，u
v
属于可见光
特有信息域U
v
，其数学表达式如下：3.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：所述分离表征子模型中生成器的具体处理过程如下；将经过信息融合子模型处理后的红外共有信息c
r
、可见光共有信息c
v
、红外特有信息u
r
和可见光特有信息u
v
通过生成器G处理，映射回图像域；所述的生成器G首先沿着通道维度将共有信息特征图和特有信息特征图串联，再使用6层卷积层融合图像，卷积层的输出特征图的通道数为k，卷积核尺寸均为3
×
3，stride均设为1，最终生成融合图像；生成器G的卷积层的第1层使用LReLU作为激活函数；第2到5层使用批归一化的LReLU作为激活函数；最后一层使用tanh作为激活函数。4.如权利要求2所述的基于分离表征的红外可见光图像融合方法，其特征在于：步骤2中建立分离表征子模型的损失函数，所述的损失函数由源图像的重建损失、虚假图像的转换损失和特有信息损失组成；设计重建损失函数L
recon
：为了分离表征子模型具备重建源图像的能力，重建的源图像应与原始源图像保持尽可能高的相似性；当输入生成器G的共有及特有特征图来自同一源图像时，生成器输出重建的红外图像和重建的可见光图像重建的红外图像和重建的可见光图像的数学表达式如下：重建损失L
reco...

【专利技术属性】
技术研发人员：马佳义，马泳，梅晓光，张灿，
申请(专利权)人：武汉大学，
类型：发明
国别省市：