一种图像融合方法技术

本发明专利技术提供一种图像融合方法，包括：获取同一采样时刻的电力设备的红外光谱图像和可见光谱图像，并将所述红外光谱图像和所述可见光谱图像输入预先训练好的图像融合模型进行处理得到融合图像；其中，所述图像融合模型包括编码器、融合器和解码器，所述编码器用于提取所述红外光谱图像和所述可见光谱图像的图像特征，所述融合器用于将所述红外光谱图像和所述可见光谱图像的图像特征进行融合，所述解码器用于将融合后的特征进行重建得到融合图像。通过本发明专利技术，能够有效地利用可见光谱图像中的清晰场景特征与红外光谱图像中的区域温度场显著特征，得到具有二者优势信息的融合图像。像。像。

【技术实现步骤摘要】
一种图像融合方法


[0001]本专利技术涉及图像处理
，尤其涉及一种图像融合方法。

技术介绍

[0002]电网中的电力设备多种多样，其故障也时常发生，因此对电力故障设备的准确定位和故障区域识别是非常重要的。在电力设备故障检测中，常用的图像主要为红外光谱与可见光谱图像，其中，可见光谱图像成像清晰、分辨率较高，能较高程度地反映实际区域的明暗变化，符合人眼的视觉特征；红外光谱图像能够反映区域温度场的变化，但无法反映场景的敏感变化，且图像较粗糙，较难反映观测目标的细节信息。为了避免单一光谱图像的信息不足，通常将可见光谱图像与红外光谱图像融合成多光谱图像，以提取各个光谱图像的优势信息，以满足电力设备的故障检测。
[0003]可见光谱图像与红外光谱图像的融合是计算机视觉领域的一个重要研究，它尝试从源图像中提取显著特征，然后通过适当的融合方法将显著特征集成到单个图像中。近年来，出现的融合方法体现了其优异的性能，广泛应用于视频监控与各种军用或民用领域。
[0004]目前图像融合算法基本可分为传统图像融合方法和基于深度学习的图像融合方法两大类；其中，传统的图像融合算法发展较成熟，大致可分为三步：分解源图像；将分解后的源图像根据预设的算法进行分别融合；对分层融合的图像进行分解逆变换得到最终融合图像。随着计算机设备性能的迅速发展，深度学习也逐渐崛起，许多基于深度学习的图像融合方法也被提出，其效果一般比传统图像融合方法更好。卷积神经网络(CNN)用于获取源图像特征并重建融合图像，在卷积神经网络层中仅使用最后一层结果作为图像特征，这会丢失中间层的大量有用信息，并且随着网络层数的加深，这一现象还会更加严重。

技术实现思路

[0005]本专利技术的目的在于提供一种图像融合方法，能够有效地利用可见光谱图像中的清晰场景特征与红外光谱图像中的区域温度场显著特征，得到具有二者优势信息的融合图像。
[0006]为实现上述目的，本专利技术的实施例提出一种图像融合方法，包括：
[0007]获取同一采样时刻的电力设备的红外光谱图像和可见光谱图像，并将所述红外光谱图像和所述可见光谱图像输入预先训练好的图像融合模型进行处理得到融合图像；
[0008]其中，所述图像融合模型包括编码器、融合器和解码器，所述编码器用于提取所述红外光谱图像和所述可见光谱图像的图像特征，所述融合器用于将所述红外光谱图像和所述可见光谱图像的图像特征进行融合，所述解码器用于将融合后的特征进行重建得到融合图像。
[0009]优选地，所述编码器包括第一分支网络和第二分支网络，所述第一分支网络包括第一卷积层和第一稠密块，所述第二分支网络包括第二卷积层和第二稠密块；所述红外光谱图像作为所述第一分支网络的输入，所述可见光谱图像作为所述第二分支网络的输入；
所述第一分支网络和所述第二分支网络的输出作为所述融合器的输入。
[0010]优选地，所述第一稠密块包括第一残差连接模块和级联设置的3个稠密卷积层，该3个稠密卷积层的卷积核大小均为3*3，该3个稠密卷积层对所述第一卷积层的输出进行卷积；所述第一残差连接模块包括第一梯度运算模块和1个残差卷积层，该1个残差卷积层的卷积核大小均为1*1，该第一梯度运算模块采用sobel梯度运算来计算所述稠密块的输入的梯度幅度，该1个残差卷积层用于对该梯度幅度进行卷积；最终该3个稠密卷积层和所述第一残差连接模块的输出相加作为所述第一稠密块的输出；
[0011]所述第二稠密块包括第二残差连接模块和级联设置的3个稠密卷积层，该3个稠密卷积层对第二卷积层的输出进行卷积，该3个稠密卷积层的卷积核大小均为3*3；所述第二残差连接模块包括第二梯度运算模块和1个残差卷积层，该1个残差卷积层的卷积核大小均为1*1，该第二梯度运算模块采用sobel梯度运算来计算所述稠密块的输入的梯度幅度，该1个残差卷积层用于对该梯度幅度进行卷积；最终该3个稠密卷积层和所述第二残差连接模块的输出相加作为所述第二稠密块的输出。
[0012]优选地，所述融合器采用L1规范化与soft
‑
max联合使用的融合策略，具体地：
[0013]设代表编码器从输入图像中获得的特征图，代表活动等级图，由L1范数和基于块的平均算子计算得出，f
m
代表融合后的特征图；
[0014]初始活动等级图C
i
由以下公式计算得出：
[0015][0016]其中，‖‖1表示L1范数，M表示特征图数量，(,y)表示特征图和融合特征图中的对应位置；
[0017]最终的活动等级图由基于块的平均算子计算得出：
[0018][0019]其中，r表示块大小，r为1；
[0020]根据最终的活动等级图计算出各特征图权重，第i个特征图的权重由以下公式计算得出：
[0021][0022]最终得到融合后的特征图：
[0023][0024]优选地，所述解码器包括级联设置的四个卷积层，所述四个卷积层中的前三个卷积层的卷积核大小均为3*3，最后一个卷积层的卷积核大小为1*1。
[0025]优选地，所述图像融合模型在训练过程中的损失函数为像素损失和结构相似性损失的加权组合；
[0026]其中，像素损失的定义如下：
[0027][0028]其中，和表示输出图像与输入图像，‖‖1为L1范数，H和W分别为图像的高和宽；
[0029]其中，结构相似性损失的定义如下：
[0030]L
ssim
＝1
‑
SSIM(O,I)
[0031]其中，()表示结构相似性运算，其表示两个图像结构之间的相似性；
[0032]将结构相似性损失的权重定义为λ，则最终的损失函数定义为：
[0033]L＝λL
ssim
+
p
。
[0034]实施本专利技术的实施例具有如下有益效果：
[0035]与现有的CNN图像融合方法相比，本专利技术的实施例不会丢失中间层的大量有用信息，有利于网络层数的深度拓展，能尽可能保存更多的特征信息，改善网络层中的信息流与梯度流，有利于网络的训练，减少任务的过拟合。能有效地利用可见光谱图像中的清晰场景特征与红外光谱图像中的区域温度场显著特征，得到具有二者优势信息的融合图像。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1是本专利技术实施例中图像融合模型的结构图。
[0038]图2是本专利技术实施例中编码器的结构图。
[0039]图3是本专利技术实施例中稠密块的结构图。
[0040]图4是本专利技术实施例中融合器的原理图。
具体实施方式
[0041]本专利技术的一个实施例提出一种图像融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取同一采样时刻的电力设备的红外光谱图像和可见光谱图像，并将所述红外光谱图像和所述可见光谱图像输入预先训练好的图像融合模型进行处理得到融合图像；其中，所述图像融合模型包括编码器、融合器和解码器，所述编码器用于提取所述红外光谱图像和所述可见光谱图像的图像特征，所述融合器用于将所述红外光谱图像和所述可见光谱图像的图像特征进行融合，所述解码器用于将融合后的特征进行重建得到融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述编码器包括第一分支网络和第二分支网络，所述第一分支网络包括第一卷积层和第一稠密块，所述第二分支网络包括第二卷积层和第二稠密块；所述红外光谱图像作为所述第一分支网络的输入，所述可见光谱图像作为所述第二分支网络的输入；所述第一分支网络和所述第二分支网络的输出作为所述融合器的输入。3.根据权利要求1所述的图像融合方法，其特征在于，所述第一稠密块包括第一残差连接模块和级联设置的3个稠密卷积层，该3个稠密卷积层的卷积核大小均为3*3，该3个稠密卷积层对所述第一卷积层的输出进行卷积；所述第一残差连接模块包括第一梯度运算模块和1个残差卷积层，该1个残差卷积层的卷积核大小均为1*1，该第一梯度运算模块采用sobel梯度运算来计算所述稠密块的输入的梯度幅度，该1个残差卷积层用于对该梯度幅度进行卷积；最终该3个稠密卷积层和所述第一残差连接模块的输出相加作为所述第一稠密块的输出；所述第二稠密块包括第二残差连接模块和级联设置的3个稠密卷积层，该3个稠密卷积层对第二卷积层的输出进行卷积，该3个稠密卷积层的卷积核大小均为3*3；所述第二残差连接模块包括第二梯度运算模块和1个残差卷积层，该1个残差卷积层的卷积核大小均为1*1，该第二梯度运算模块采用sobel梯度运算来计算所...

【专利技术属性】
技术研发人员：李艳，田杰，余鹏，任佳，杜进桥，王颂，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：