基于秩一分解网络的红外和可见光图像融合方法及系统技术方案

本发明专利技术提出了一种基于秩一分解网络的红外和可见光图像融合方法及系统，包括：获取红外图像和可见光图像；对红外图像和可见光图像在通道维度上进行堆叠；将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；分别将多级秩一分量以及残差进行融合，得到包含有所有秩一分量信息的融合分量C

【技术实现步骤摘要】
基于秩一分解网络的红外和可见光图像融合方法及系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于秩一分解网络的红外和可见光图像融合方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在信息爆炸的时代，传感器技术正在迅速发展。复杂应用程序的出现需要有关特定场景的全面信息，以增强对各种条件的理解。相同类型的传感器仅从一个方面获取信息，无法提供所有必需的信息，因此图像融合技术在现代应用程序和计算机视觉中起着越来越重要的作用。红外和可见光图像融合是多源图像融合领域的一个重要分支。红外和可见光图像的信号来自不同的模态，从不同的方面提供场景信息。基于反射光成像的原理，可见光图像包含丰富的纹理信息；基于热辐射成像的原理，红外图像包含显著目标。其次，红外和可见图像具有几乎所有物体固有的特征。最终，红外图像和可见图像具有互补的特性，从而产生了健壮且信息丰富的融合图像。可见图像通常具有较高的空间分辨率和相当多的细节和明暗对比。因此，它们适合于人类的视觉感知。但是，这些图像很容易受到恶劣条件的影响，例如恶劣的照明，雾气和恶劣天气的其他影响。同时，描绘物体的热辐射的红外图像可以抵抗这些干扰，但通常分辨率较低且质地较差。
[0004]红外与可见光图像融合旨在通过结合红外图像和可见光图像生成包含显著目标和丰富背景纹理的融合图像。红外和可见光图像融合的方法大致可分为基于多尺度变换的方法、基于稀疏表示的方法、基于子空间聚类的方法和基于深度学习的方法这四种。1)基于变换的图像融合方法通常使用合适的变换规则将源图像投影到变换域，用变换域中不同的系数来表示源图像，接着采取基于活动水平测量的融合策略来合并系数，最后对融合的系数进行逆变换得到融合图像。2)基于稀疏表示法的方法是充分运用图像的稀疏表示，对源图像进行稀疏处理。首先对源图像进行局部化处理，即对源图像采取一定的分块方式进行分块，对分块后的图像在一个过完备字典下结合稀疏分解算法求解稀疏系数，采用图像少量的非零元素进行融合得到融合图像。3)基于空间域的方法直接操作图像的像素值。最简单的融合策略是最大值法和加权平均法，这两个策略计算简单、运算速度快。5)随着近几年来深度学习的发展，利用各种卷积神经网络来进行红外和可见光图像融合的方法层出不穷，并且表现出了优异的性能。卷积神经网络是数据驱动的，可以通过训练数据有效的学习各种图像特征，以此来进行图像的重构，如SDNet、IFCNN和U2Fusion。但是现存的方法仍存在背景纹理信息挖掘不充分的情况，导致融合效果不尽如人意。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种基于秩一分解网络的红外与可见光图像融合方法及系统，来同时获取显著目标和丰富的背景纹理信息。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]本专利技术第一方面提供了一种基于秩一分解网络的红外和可见光图像融合方法，包括：
[0008]获取红外图像和可见光图像；
[0009]对所述红外图像和可见光图像在通道维度上进行堆叠；
[0010]将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；
[0011]分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量C
f
以及包含两个残差信息的融合分量E
f
；
[0012]将融合分量C
f
和E
f
通过元素加法进行相加，得到期望的融合图像I
f
。
[0013]本专利技术第二方面提供了一种基于秩一分解网络的红外和可见光图像融合系统，包括：图像获取模块，被配置为：获取红外图像和可见光图像；
[0014]图像堆叠模块，被配置为：对所述红外图像和可见光图像在通道维度上进行堆叠；
[0015]秩一分解模块，被配置为：将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；
[0016]融合分量生成模块，被配置为：分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量C
f
以及包含两个残差信息的融合分量E
f
；
[0017]融合图像生成模块，被配置为：将融合分量C
f
和E
f
通过元素加法进行相加，得到期望的融合图像I
f
。
[0018]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
[0019]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
[0020]以上一个或多个技术方案存在以下有益效果：
[0021](1)本专利技术将红外图像与可见光图像置于秩一分解网络中进行逐级处理，提取秩一分量和残差，使得本专利技术可以分别对秩一分量进行增强、对残差进行平滑，有利于后期图像处理技术的应用，提高了对图像自相似特征的利用率。
[0022](2)为了将残差更好的进行融合，将残差输入残差融合模块，首先通过空间注意力模块获得注意力图，通过注意力图可以更好的将红外图像中的显著目标和可见光图像中的背景纹理信息融合在一起，使融合图像包含更多细节信息。
[0023]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0024]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0025]图1为第一个实施例的基于秩一分解网络的红外和可见光图像融合方法方法流程图。
[0026]图2为第一个实施例的秩一分解模块结构图。
[0027]图3为第一个实施例的秩一分量融合模块结构图。
[0028]图4(a)为第一个实施例的空间注意力模块结构图。
[0029]图4(b)为第一个实施例的残差融合模块结构图。
[0030]图5(a)、图5(b)、图5(c)分别为第一个实施例的红外图像、可见光图像、以及融合图像。
[0031]图中，Apool(R)表示沿行方向平均池化(Average pooling in the row direction)；
[0032]Apool(C)表示沿列方向平均池化(Average pooling in the column direction)；
[0033]⊙
表示矩阵乘法(Matrix本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，包括：获取红外图像和可见光图像；对所述红外图像和可见光图像在通道维度上进行堆叠；将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量C
f
以及包含两个残差信息的融合分量E
f
；将融合分量C
f
和E
f
通过元素加法进行相加，得到期望的融合图像I
f
。2.如权利要求1所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量，包括：将堆叠后的图像序列Z1输入至第一级秩一分解模块得到秩一分量C1，将红外图像减去秩一分量C1得到A1，将可见光图像减去秩一分量C1得到B1；将A1和B1在通道维度上进行堆叠得到图像序列Z2，将图像序列Z2输入到第二级秩一分解模块得到秩一分量C2，红外图像减去秩一分量C2得到A2，可见光图像减去秩一分量C2得到B2；将得到的A2和B2在通道维度上进行堆叠图像序列得到Z3，重复迭代R次，得到R个秩一分量C1，C2，C3，......C
R
。3.如权利要求2所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，将堆叠后的图像序列输入至秩一分解模块得到秩一分量的具体步骤包括：将堆叠之后的图像序列依次输入到两个卷积层；对两个卷积层的输出进行求和，将求和后的结果与第一个卷积层的输出在通道维度上进行堆叠，将堆叠后的图像序列通过一个卷积层进行特征融合；将特征融合后的图像序列通过两个分支分别获得行向量和列向量；将得到的行向量和列向量相乘得到秩一分量。4.如权利要求2所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述红外图像的残差和可见光图像的残差的计算方法包括：将获取的所述R个秩一分量进行求和得到C
sum
；将红外图像减去R个秩一分量的和C
sum
得到红外图像的残差E1；将可见光图像减去R个秩一分量的和C
sum
得到可见光图像的残差E2。5.如权利要求1所述的一种基于秩一分解网络的红外...

【专利技术属性】
技术研发人员：张凯，孙鲁丹，张风，孙建德，万文博，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：