基于层分离和重参数的红外和可见光图像融合方法技术

本发明专利技术涉及一种基于层分离和重参数的红外和可见光图像融合方法，包括以下步骤：步骤一、构建重参数融合网络；步骤二、对重参数融合网络进行训练，其中对于重参数融合网络的训练阶段，设置层分离引导网络，层分离引导网络以红外光图像作为输入，通过自编码器分离出红外光图像中的显著特征并生成引导掩码；引导掩码作为后续的引导融合损失中的一部分，指导重参数融合网络的训练；步骤三、部署训练好的重参数网络模型。本发明专利技术有益效果：层分离引导网络生成引导掩码指导重参数融合网络的训练，缓解了融合过程中红外和可见光图像的信息相互影响而导致融合图像的显著特征和纹理细节相较源图像退化的问题，显著提升了融合图像的质量。量。量。

【技术实现步骤摘要】
基于层分离和重参数的红外和可见光图像融合方法


[0001]本专利技术涉及计算机视觉领域，尤其是一种基于层分离和重参数的红外和可见光图像融合方法。

技术介绍

[0002]图像融合作为计算机视觉领域的一项重要的研究，被广泛的应用于遥感、安防和医疗等各个领域。图像融合中尤其以红外和可见光图像融合因其源图像具有跨模态的互补特性而成为一项重要的研究。跨模态的互补特性具体表现为：红外光传感器捕获物体的热辐射信息且不受光照、天气等环境因素的影响，使得图像具有目标显著的优势但存在纹理细节不清晰的问题；与之相反，可见光传感器捕获物体表面的反射光信息，使得图像纹理细节清晰但易受到环境因素的影响而导致目标不显著，不易于检测的问题。目前，红外和可见光图像融合大致可分为传统方法和深度学习方法。传统的方法以多尺度变换和稀疏表示为代表，旨在寻找两种不同模态图像之间的共同特征，然后人为设计相应的融合规则。传统的方法往往需要进行多次耗时的迭代和针对不同的数据集来调整参数。近年来，因深度学习强大的特征表示能力，研究者们成功的将其引入红外和可见光图像融合领域来生成高质量的融合图像。深度学习方法在红外和可见光图像融合领域又可依据是否需要人为设计融合规则分为非端到端模型和端到端模型。非端到端的模型需要人为设计融合规则，而红外和可见光图像之间的融合规则又是一个复杂到人为难以设计的问题。而端到端模型则无需融合规则，通过网络自身的表征能力来融合图像。本专利技术以端到端模型为研究对象，针对红外和可见光图像的信息相互影响而导致的融合图像显著特征和纹理细节相较源图像退化的问题开展研究。
[0003]目前，端到端的红外和可见光图像融合模型主要是通过设计相应的网络结构和最小化融合图像和源图像的结构相似度损失或均方误差损失来实现融合。此类模型的设计能最大化的保留源图像的信息，但是仍然面临着两个问题：(1)如何解决红外和可见光图像的信息相互影响而导致融合图像的显著特征和纹理细节相较源图像退化的问题。(2)如何解决随着网络深度的不断增加导致融合模型部署到终端设备的推理精度和速度难以平衡的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于层分离和重参数的红外和可见光图像融合方法，旨在解决红外和可见光图像的信息相互影响导致融合图像的显著特征和纹理细节相较源图像退化的问题和通过重参数的方式，将多分支的网络结构转换为单分支网络结构实现轻量化部署。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于层分离和重参数的红外和可见光图像融合方法，包括以下步骤：
[0007]步骤一、构建重参数融合网络；
[0008]步骤二、对重参数融合网络进行训练，其中对于重参数融合网络的训练阶段，设置层分离引导网络，层分离引导网络以红外光图像作为输入，通过自编码器分离出红外光图像中的显著特征并生成引导掩码；引导掩码作为后续的引导融合损失中的一部分，指导重参数融合网络的训练；
[0009]步骤三、部署训练好的重参数网络模型；
[0010]采用训练好的重参数网络模型对图像进行融合的方法，包括以下步骤：
[0011]步骤一、读取红外光图像和可见光图像：
[0012]步骤二、重参数融合网络生成灰度融合图像：
[0013]步骤三、灰度融合图像转换为RGB图像。
[0014]作为本专利技术进一步的方案：重参数融合网络经过结构转换，将其多分支结构转换为单分支结构后进行部署。
[0015]作为本专利技术进一步的方案：层分离引导网络中的自编码器包含编码器和解码器两部分；
[0016]层分离引导网络生成引导掩码的方法包括以下步骤：
[0017]步骤1，红外光图像输入到编码器来提取红外光图像的显著特征；
[0018]步骤2，将获取的显著特征输入到解码器来生成一张关注红外光图像显著信息的引导图像；
[0019]步骤3，通过二值化算法将引导图像转换为引导掩码。
[0020]作为本专利技术进一步的方案：层分离引导网络中的自编码器的编码器是基于RepVGG网络结构设计。
[0021]作为本专利技术进一步的方案：层分离引导网络中的自编码器的解码器是由3个网络层所组成，前2层是由核大小为3
×
3的卷积层、批归一化层和激活函数Leaky ReLU所组成，用于解码显著特征为解码后的特征；第3层是由核大小为3
×
3的卷积层、批归一化层和激活函数ReLU所组成，用于将解码后的特征还原为显著信息图像；最后通过图像二值化，生成引导掩码。
[0022]作为本专利技术进一步的方案：层分离引导网络的层分离损失的具体计算方式，包括以下步骤：
[0023]步骤1，计算数据集标签与红外光图像的乘积得到标签显著信息图；
[0024]步骤2，通过阈值分割获取伪显著信息标签并与红外光图像相乘得到伪标签显著信息图；
[0025]步骤3，将标签显著信息图和伪标签显著信息图求并集得到联合标签显著信息图；
[0026]步骤4，通过最小化引导图像和联合标签显著信息图的结构相似度损失、最小化引导图像与红外光图像的梯度的均方误差损失作为层分离损失。
[0027]作为本专利技术进一步的方案：训练阶段，重参数融合网络设计有纹理细节保持编码器，提取可见光图像中的纹理细节特征；在纹理细节保持编码器基础上增加重参数位置注意力模块，作为显著特征保持编码器；显著特征保持编码器用于提取红外光图像中的显著目标特征；将纹理细节特征和显著目标特征拼接，输入特征解码器中生成单通道的融合图像。
[0028]作为本专利技术进一步的方案：重参数融合网络的反向传播训练，通过引导融合损失
进行约束。
[0029]作为本专利技术进一步的方案：重参数位置注意力模块，用于关注红外特征中的显著区域，对输入的红外光图像特征进行编码和解码。
[0030]作为本专利技术进一步的方案：重参数位置注意力模块，计算显著信息的权重，并将权重和红外光图像特征做矩阵乘积得到显著通道特征，最后将显著通道特征和红外光图像特征进行特征拼接后输出。
[0031]作为本专利技术进一步的方案：重参数融合网络中的引导融合损失的函数包括：可见光纹理细节损失函数、红外光显著信息损失函数、隐藏层信息损失函数；
[0032]可见光纹理细节损失函数用于保留可见光图像的纹理细节信息；
[0033]红外光显著信息损失函数用于保留红外光图像中的显著目标信息；
[0034]隐藏层信息损失函数通过约束梯度细节的方式来保留隐藏层的细节信息。
[0035]与现有技术相比，本专利技术的有益效果是：提出了一个基于层分离和重参数的红外和可见光图像融合方法，将红外光图像输入到层分离引导网络中生成引导掩码；将生成的引导掩码加入到重参数融合网络中作为引导融合损失，来引导红外和可见光图像融合；通过重参数的方式，将多分支的网络结构转换为单分支网络结构实现轻量化部署。
[0036]层分离引导网络从红外光图像中分离出显著层并生成引导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层分离和重参数的红外和可见光图像融合方法，其特征在于，包括以下步骤：步骤一、构建重参数融合网络；步骤二、对重参数融合网络进行训练，其中对于重参数融合网络的训练阶段，设置层分离引导网络，层分离引导网络以红外光图像作为输入，通过自编码器分离出红外光图像中的显著特征并生成引导掩码；引导掩码作为后续的引导融合损失中的一部分，指导重参数融合网络的训练；步骤三、部署训练好的重参数网络模型；采用训练好的重参数网络模型对图像进行融合的方法，包括以下步骤：步骤一、读取红外光图像和可见光图像：步骤二、重参数融合网络生成灰度融合图像：步骤三、灰度融合图像转换为RGB图像。2.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法，其特征在于，读取红外光图像和可见光图像的RGB图像，并转换到YCbCr颜色空间，使用其中Y亮度通道用于后续的图像融合，Cb和Cr负责保存可见光图像的色彩信息；将红外光图像和可见光图像带入重参数融合网络生成灰度融合图像：将灰度融合图像属于YCbCr颜色空间的Y亮度通道，通过与Cb和Cr通道的颜色信息融合后，再转换为RGB的融合图像。3.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法，其特征在于，重参数融合网络经过结构转换，将其多分支结构转换为单分支结构后进行部署。4.根据权利要求1所述的基于层分离和重参数的红外和可见光图像融合方法，其特征在于，层分离引导网络中的所述自编码器包含编码器和解码器两部分；层分离引导网络生成引导掩码的方法包括以下步骤：步骤1，红外光图像输入到编码器来提取红外光图像的显著特征；步骤2，将获取的显著特征输入到解码器来生成一张关注红外光图像显著信息的引导图像；步骤3，通过二值化算法将引导图像转换为引导掩码。5.根据权利要求4所述的基于层分离和重参数的红外和可见光图像融合方法，其特征在于，层分离引导网络中的所述自编码器的解码器是由3个网络层所组成，前2层是由核大小为3
×
3的卷积层、批归一化层和激活函数Leaky ReLU所组成，用于解码显著特征为解码后的特征；第3层是由核大小为3

【专利技术属性】
技术研发人员：蒋敏，芦鸣，孔军，陶雪峰，
申请(专利权)人：江南大学，
类型：发明
国别省市：