一种基于SE-Block注意力机制的红外和可见光图像融合方法技术

本发明专利技术公开一种基于SE

【技术实现步骤摘要】
一种基于SE
‑
Block注意力机制的红外和可见光图像融合方法


[0001]本专利技术涉及计算机视觉
，尤其是一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法。

技术介绍

[0002]红外和可见光图像融合是将红外图像和可见光图像融合成一幅图像的过程，以便获得更加清晰、全面和详细的图像信息。近年来，红外图像与可见光图像融合技术备受关注，因为它们有着互补的优点。红外图像可以探测目标的热能辐射，具有穿透能力强、全天候工作、探测隐蔽目标等优点，但其对比度低、边缘细节表现差。可见光图像则利用光谱信息进行成像，有着清晰的场景细节和动态范围大的优点，但在夜间或能见度低的情况下表现较差。因此，将红外热图像与可见光图像融合可以提高成像质量和探测能力。在某些应用中，如军事、监控、环境监测等领域，红外图像和可见光图像都具有独特的优势，因此将它们融合成一幅图像可以更好地满足应用需求。
[0003]常见的红外和可见光图像融合技术包括：(1)基于像素的融合方法：该方法将红外图像和可见光图像像素级别上进行融合，通过权重分配或其他算法将两幅图像的像素进行组合。这种方法简单易行，但在处理细节和边缘处的信息时效果可能不佳。(2)基于特征的融合方法：该方法通过对两幅图像进行特征提取和匹配来实现融合。常用的特征包括纹理、形状和边缘等。这种方法在处理细节和边缘处的信息时有更好的效果，但计算量较大。(3)基于深度学习的融合方法：该方法利用卷积神经网络等深度学习算法来自动学习红外图像和可见光图像之间的关系，并实现图像的融合。这种方法在处理大量数据时表现出色，但需要足够的训练数据和计算资源。(4)多尺度融合方法：该方法通过将红外图像和可见光图像分别进行不同尺度的分解，然后在不同尺度上进行融合。这种方法可以在保留细节信息的同时实现整体信息的融合。
[0004]红外图像和可见光图像的对比度差异较大，基于像素的简单加权平均方法可能会导致融合图像的质量下降。基于特征的融合方法特征提取的准确性和特征选择的有效性对融合结果有很大的影响，如果选用的特征不能准确反映图像的特性或者选择的特征不能有效区分目标和背景，融合后的图像质量会下降特征融合需要对不同特征进行权重分配，但是权重分配的方法不一定合理，容易导致某些特征的信息被过分强调或者忽略，从而影影响融合结果。基于深度学校的融合方法模型的结构和参数选择对融合结果的影响很大，需要针对具体的任务选择合适的模型和参数，但是这个过程比较耗时和困难。而基于尺度的图像融合方法不同尺度的信息融合需要考虑空间关系和尺度间的一致性，但是这个过程比较复杂，需要考虑多个因素的影响，容易出现过拟合或者欠拟合的情况。总的来说目前的大部分的融合技术融合后的图像可能会出现模糊、失真、边缘模糊或者噪声等问题。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术提供一种基于SE
‑
Block注意力机制的红外和可
见光图像融合的方法。其目的在于解决融合的图像出现信息丢失，存在块效应，融合过程中出现噪声等问题，从而提升图像融合质量。
[0006]为了实现上述目的，本专利技术提供了一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，包括以下步骤：
[0007]S1、构建红外和可见光图像融合网络模型；
[0008]S2、将红外和可见光图像分别输入到图像融合网络中，使用四个卷积层分别提取红外和可见光图像特征；
[0009]S3、融合从两条路径中提取到的红外和可见光图像特征；
[0010]S4、通过SE
‑
Block注意力机制，将不同的特征图按照其重要性进行加权融合，得到融合图像；
[0011]S5、将生成的融合图像送入到图像分解网络当中。通过SE
‑
Block注意力机制，提取图像的重要特征；
[0012]S6、图像分解网络中的两个分支对特征图进行分解，生成对应的红外和可见光图像；
[0013]S7、构建原始输入图像、生成的融合图像、可见光和红外图像之间的损失函数，提高融合效果和分解精度。
[0014]本专利技术提供了一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法。与现有技术相比，具备以下有益效果：
[0015]本专利技术从三个角度提升图像融合方法的性能，第一，设计了一种基于密集连接的卷积神经网络来融合红外和可见光图像，该网络将每一层的输出都连接到之前所有层的输入中，实现了信息的跨层传递和共享，通过这种方式，网络可以自动学习到不同层之间的特征和关系，从而提高了特征的重用率和提取效率；第二，将SE
‑
Block模块应用到到红外和可见光图像融合的卷积神经网络中，通过自适应地学习每个通道的权重，实现对图像中不同通道的特征进行自适应加权，从而提高融合图像的质量和保留关键信息。第三，设计一种由像素损失、梯度损失、一致性损失和总变分损失组成的损失函数，可以在保留原始图像特征的同时，避免图像中的信息丢失，从而提高红外和可见光图像融合算法的性能和鲁棒性。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1红外和可见光图像融合的整体结构图。
[0018]图2网络的训练过程图。
[0019]图3SE
‑
Block模块结构图。
[0020]图4在“Meting012
‑
1200”图像的实验结果。
[0021]图5在“Fk_ref_02_005”图像的实验结果。
具体实施方式
[0022]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0023]下面结合说明书附图以及具体的实施方式对本专利技术作详细说明。如图1所示，一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法包括步骤S1～S6：
[0024]S1、构建红外和可见光图像融合网络模型；
[0025]S2、将红外和可见光图像分别输入到图像融合网络中，使用四个卷积层分别提取红外和可见光图像特征；
[0026]S3、融合从两条路径中提取到的红外和可见光图像特征；
[0027]S4、通过SE
‑
Block注意力机制，将不同的特征图按照其重要性进行加权融合，得到融合图像；
[0028]S5、将生成的融合图像送入到图像分解网络当中。通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，所述方法由计算机执行，包括以下步骤：S1、构建红外和可见光图像融合网络模型；S2、将红外和可见光图像分别输入到图像融合网络中，使用四个卷积层分别提取红外和可见光图像特征；S3、融合从两条路径中提取到的红外和可见光图像特征；S4、通过SE
‑
Block注意力机制，将不同的特征图按照其重要性进行加权融合，得到融合图像；S5、将生成的融合图像送入到图像分解网络当中。通过SE
‑
Block注意力机制，提取图像的重要特征；S6、图像分解网络中的两个分支对特征图进行分解，生成对应的红外和可见光图像；S7、构建原始输入图像、生成的融合图像、可见光和红外图像之间的损失函数，提高融合效果和分解精度。2.如权利要求1所述的一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，S1的具体实现过程如下：S101、该网络主要由两个部分组成,分别为图像融合网络、图像分解网络；S102、图像融合网络使用密集连接方式，每一层的输出都与后面所有层的输入直接相连，从而将前面层的信息直接注入到后面层中，增加信息的多样性和丰富性，提高模型的表达能力和泛化性能；S103、图像分解网络包含一个公共卷积层和SE
‑
Block注意力机制，通过两个分支对图像进行分解。3.如权利要求1所述的一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，S2的具体实现过程如下：S201、特征图的获取是在将红外和可见光图像输入图像融合网络的开始阶段，通过一些卷积和激活函数等过滤器的输出激活。4.如权利要求1所述的一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，S3的具体实现过程如下：S301、使用四个卷积层进行特征提取。第一层使用5
×
5卷积核，后三层使用3
×
3卷积核，每个卷积层后均使用Leaky ReLU激活函数；S302、使用级联和卷积策略来融合两条路径中提取到的图像特征，将多个卷积层级联在一起来增加网络的深度和感受野，从而提高网络对图像的理解能力和特征提取能力。5.如权利要求1所述的一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，S4的具体实现如下：S401、自适应地学习每个通道的权重，实现对图像中不同通道的特征进行自适应加权。6.如权利要求1所述的一种基于SE
‑
Block注意力机制的红外和可见光图像融合的方法，其特征在于，S5的具体实现过程如下：S501、通过图像融合网络生成的融合图像经过公共卷积层和SE
...

【专利技术属性】
技术研发人员：李曙炀，张建明，雷纹馨，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：