基于红外补偿器和生成对抗网络的红外与可见光融合方法技术

本发明专利技术涉及一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，该方法包括：S1改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；S2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；S3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构，得到最终的融合图像。与现有技术相比，本发明专利技术能够兼顾两幅源图像中的目标特征信息和纹理细节信息的问题，使最终融合图像不仅含有丰富的纹理细节而且具有明显的红外目标特征。有明显的红外目标特征。有明显的红外目标特征。

【技术实现步骤摘要】
基于红外补偿器和生成对抗网络的红外与可见光融合方法


[0001]本专利技术涉及图像融合
，尤其是涉及一种基于红外补偿器和生成对抗网络的红外与可见光融合方法。

技术介绍

[0002]由于成像传感器本身的限制，很难获得满足人们需求的高质量图像。图像融合在这方面起到了很重要的作用，图像融合的目标便是将两幅图像或多幅图像进行融合并在融合图像中保留源图像中丰富的有效信息。这种对图像信息的重建可以广泛的应用于许多的计算机视觉领域，如目标识别、目标跟踪、自动驾驶等。而红外与可见光图像的融合一直都是多源传感器图像融合的热点领域之一，红外图像是热成像仪所形成的图像，所以目标图像可以通过热辐射的差异较为容易的识别出来，但由于纹理轮廓几乎不会影响物体的辐射热量，因此红外图像无法保留场景中的细节信息。而可见光图像是通过捕捉反射光形成的，所以包含了很多纹理信息。正由于这两种源图像的强互补性，因此融合出的结果很有可能呈现出图像所有不同的特性。
[0003]近年来，人们提出了许多不同的融合方法，总体大致分为传统方法和基于深度学习的融合方法。然而大多数的传统方法中的活动级别度量和融合规则都是以手动方式设计的，随着方法性能的提升这些都变得越来越复杂，因此存在实现难度和计算成本问题。深度学习的火热也为图像融合领域提供一种全新的思路。目前深度学习在图像融合中应用主要是卷积神经网络和生成对抗网络，经过检索中国专利CN112750095A公开了一种红外与可见光融合方法、交通监控装置及存储介质，通过将可见光图像和红外图像进行高斯金字塔和拉普拉斯金字塔构建，实现二者的融合，此专利解决了红外图像与可见光图像的融合，但计算过程较复杂。基于生成对抗神经网络的方法可以产生具有良好视觉效果的融合图像，然而它们缺乏突出源图像中存在的典型区域的能力，使得红外图像中的目标对比度较低，忽略了可见光图像中存在的一些细节信息。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，方法解决了现有基于生成对抗网络的图像融合技术中不能兼顾两幅源图像中目标特征信息和纹理细节信息等问题，可用于目标检测跟踪等电力系统领域。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，包括以下步骤：
[0007]S1采用改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；
[0008]S2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；
[0009]S3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像
信息进行信息重构，得到最终的融合图像。
[0010]进一步地，所述步骤S1中的生成对抗网络通过带有梯度惩罚的Wasserstein距离来设计生成器和判别器的网络结构以及损失函数，解决了传统生成对抗网络的生成图像质量问题。
[0011]进一步地，所述的生成对抗网络通过控制比例因子使网络专注于学习一个部分来择取强度信息和梯度信息。
[0012]进一步地，所述的生成器模型的损失函数表示为：
[0013]L＝Ladvers(G)+γL
content
[0014][0015][0016]其中，L
advers
(G)为生成器和判别器之间的对抗性损失，E
z
表示生成器生成的数据分布，z表示生成器生成的数据，P
g
表示生成器生成数据的集合，L
content
是内容损失，H和W是输入图像的长度和宽度，||
·
||表示矩阵的范数，I
f
为融合图像的像素强度值，I
r
为红外图像的像素强度值，I
v
表示可见光图像的梯度值，是梯度运算符，D(z)为通过判别器生成的数据，调节机制是指控制比例因子使网络专注于学习一个某部分，τ是比例因子。
[0017]进一步地，所述的判别器模型的损失函数表示为：
[0018][0019]其中前两项为Wasserstein距离估计，后一项是梯度惩罚表达式，E
x
为可见光图像的数据分布，P
vis
是可见光图像的集合，P
g
是生成器生成的数据分布，是沿连接生成数据和真实数据的直线均匀采样的样本，μ是惩罚因子，D(x)是可见光图像输入判别器后生成的数据。
[0020]进一步地，所述的最终的融合图像通过红外补偿器提取到的显著目标图像和生成对抗网络的预融合图像进行线性叠加得到，表示为：
[0021]I
FFL
＝σ0I
FIBF
+σ1I
FL
[0022]其中，I
FFL
是最终融合图像，I
FIBF
是由红外补偿器生成的红外明亮特征图，I
FL
是生成对抗网络生成的预融合图像，σ0和σ1是权重参数。
[0023]进一步地，所述步骤S2中对红外图像特征的提取包括：
[0024]S21首先对红外背景进行预重构，然后使用滤波器对出现的块状伪影进行平滑处理，得到最终的红外背景图，其过程表达式为：
[0025]Q(u，v)＝UMPM
T
V
T
[0026]I
FIBG
＝I
IBG
×
g(s，σ)
[0027]其中(u，v)表示的是插值点，其位置由0和1之间的插值比表示，U和V矩阵代表了与(u，v)相关的插值系数，M为指定常量插值系矩阵，P表示由16个控制点组成的4
×
4矩阵，通过结合Q(u，v)来获得初步的红外背景I
IBG
，(s，σ)表示的是高斯滤波器的大小及其参数，I
FIBG
代表最终的红外背景图；
[0028]S22红外图像减去红外背景图可以得到初始明亮红外特征BF，其表达式为：
[0029]BF＝max(I
IR
‑
I
FIBG
，0)
[0030]S23为避免之前操作造成的冗余，通过将红外图像的正部分与求和图像I
sum
相乘来计算冗余背景信息抑制比，初始明亮红外特征减去I
RBG
得到最终的明亮红外特征图，其过程表达式为：
[0031]I
RBG
＝α
×
max(I
sum
‑
I
IR
，0)
[0032]BF
final
＝BF
‑
I
RBG
[0033]其中，α是冗余背景信息抑制比，BF
final
代表最终的明亮红外特征图，I
...

【技术保护点】

【技术特征摘要】
1.一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，包括以下步骤：S1采用改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；S2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；S3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构，得到最终的融合图像。2.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤S1中生成对抗网络通过带有梯度惩罚的Wasserstein距离来设计生成器和判别器的网络结构以及损失函数，以解决传统生成对抗网络的生成图像质量问题。3.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤S1中生成对抗网络通过控制比例因子使网络专注于学习一个部分来择取强度信息和梯度信息。4.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的生成器模型的损失函数表示为：L＝L
advers
(G)+γL
contentcontent
其中，L
advers
(G)为生成器和判别器之间的对抗性损失，E
z
表示生成器生成的数据分布，z表示生成器生成的数据，P
g
表示生成器生成数据的集合，L
content
是内容损失，H和W是输入图像的长度和宽度，||
·
||表示矩阵的范数，I
f
为融合图像的像素强度值，I
r
为红外图像的像素强度值，I
v
表示可见光图像的梯度值，是梯度运算符，D(z)为通过判别器生成的数据，调节机制是指控制比例因子使网络专注于学习一个某部分，τ是比例因子。5.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的判别器模型的损失函数表示为：其中前两项为Wasserstein距离估计，后一项是梯度惩罚表达式，E
x
为可见光图像的数据分布，P
vis
是可见光图像的集合，P
g
是生成器生成的数据分布，是沿连接生成数据和真实数据的直线均匀采样的样本，μ是惩罚因子，D(x)是可见光图像输入判别器后生成的数据。6.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的红外补偿器采用基于背景重构和红外的方法对红外图像进行特征提取。7.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤S2中对红外图像特征的提取包括：S21首先对红外背景进行预重构，然后使用滤波器对出现的块状伪影进行平滑处理，得到最终的红外背景图，其过程表达式为：

【专利技术属性】
技术研发人员：刘刚，王肖，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：