【技术实现步骤摘要】
本专利技术涉及图像处理与计算机视觉，尤其是一种基于光照适应和注意力引导的红外与可见光图像融合方法。
技术介绍
1、图像融合的目的是通过结合源图像中的重要内容生成信息更加丰富的融合图像，从而弥补单一模态的图像无法完整地表征复杂场景中的所有信息的缺陷。红外与可见光图像融合这一子分支旨在实现多模态图像信息的互补与增强。
2、红外图像和可见光图像由于具有不同的物理特性和成像机制，在同一场景下所保留的内容存在显著差异。可见光图像能够提供目标形态等视觉细节信息，在正常光照条件下能够生动地描绘物体。然而，可见光图像容易受到极端天气等因素的影响，导致关键信息的丢失。在光照强度低或烟雾遮挡等情况下，图像提供的信息的可靠性较低。相比之下，红外图像能有效抵抗极端条件的干扰，捕捉目标的热辐射，在抗干扰和夜间成像方面具有优势。
3、传统方法下红外与可见光图像融合方法是有效的，但需要大量的人工规则设定，且获得的图像质量一般，无法适应多种场景使用。当前深度学习的图像融合算法有效弥补了传统方法存在的缺陷，具有强大的特征提取能力，适用于多种场景下的图像。但当前深度学习的方法仍然存在红外可见光图像特有特征缺失、融合图像亮度不平衡与融合图像边缘轮廓模糊的问题存在。
技术实现思路
1、本专利技术要解决的技术问题是提供一种基于光照适应和注意力引导的红外与可见光图像融合方法，能够解决现有技术的不足，提高了红外可见光融合图像的清晰度和视觉效果。
2、为解决上述技术问题，本专利技术所采取的技术
3、一种基于光照适应和注意力引导的红外与可见光图像融合方法，包括以下步骤：
4、s1、获取目标图像的可见光图像以及相对应的红外图像；
5、s2、对可见光图像与红外图像做分割处理，获得分割后的可见光图像与红外图像，通过设定亮度阈值划分可见光图像；
6、s3、将划分后的可见光图像送入光环境适应网络，训练获取光环境适应权重；
7、s4、对分割后的可见光图像与红外图像一一对应的送入特征提取网络，利用残差网络深度提取可见光图像与红外图像的高频共同特征与独有特征，并通过注意力引导机制对可见光图像与红外图像进行特征信息的互补；
8、s5、将可见光图像与红外图像最终特征送入到特征重构网络，利用步骤s3中获得的光环境适应权重指导可见光图像与红外图像的特征融合过程，为其分配融合比重，利用损失函数约束，生成最终的融合图像。
9、作为优选，步骤s1中目标图像数据集由含有可见光rgb色彩图像的m3fd数据集、roadscene数据集和msrs数据集组成；部分m3fd数据集作为模网络模型的训练集使用，roadscene数据集、msrs数据集和其余部分的m3fd数据集用于测试模型生成的融合图像性能。
10、作为优选，步骤s2中，划分可见光图像包括以下步骤，
11、步骤s21、获取可见光图像与红外图像的高度与宽度；
12、步骤s22、对红外图像与可见光图像进行尺寸上的分割，分割后每张图片尺寸为a像素×a像素，每次分割的步长为b像素，a与b均为常数参数；
13、步骤s23、计算分割后可见光图像的平均亮度，
14、
15、其中l代表平均亮度，w代表图像的宽度，h代表图像的高度，r(x,y)，g(x,y)，b(x,y)分别代表图像在位置(x,y)的rgb分量；设置亮度阈值为γ，γ为常数参数，高于亮度阈值的图像归类为明亮图像，低于亮度阈值的图像归类为黑暗图像；
16、步骤s24、对步骤s23中所述明亮图像再次划分，根据图片环境场景处于白天和夜晚的情况再分类为白天明亮图像与夜晚明亮图像；
17、步骤s25、对步骤s23中所述黑暗图像再次划分，根据图片环境场景处于白天和黑夜的情况再分类为白天黑暗图像与夜晚黑暗图像。
18、作为优选，步骤s3中，光环境适应网络由三个带有注意力机制的卷积块、一个平均池化层和一个全连接层组成；每个卷积块中包含一次二维卷积，一次批量归一化处理，两个注意力引导模块和一个最大池化层。
19、作为优选，光环境适应权重的计算方法为，
20、对图像融合时，可见光图像与红外图像的光环境适应权重分别为，
21、
22、
23、其中，wvis与wir分别代表光环境适应性权重指导可见光图像与红外图像的融合权重；α与β为常量参数；pd与pn分别代表白天场景下图像的数量与夜晚场景下图像的数量，其计算方法为，
24、
25、
26、其中，与分别代表通过光环境适应网络分类后数据集中分类为白天明亮的图像与白天黑暗的图像数量，与分别代表通过光环境适应网络分类后数据集中分类为夜晚明亮的图像与夜晚黑暗的图像数量。
27、作为优选，步骤s4中，特征提取网络包括，
28、特征提取模块，用于提取红外图像与可见光图像各自特征；
29、跨模态差异注意力机制互补模块，用于互通红外图像与可见光图像特征信息，增强共有特征保留各自的独有特征。
30、作为优选，特征提取模块由两个支路组成，分别为红外图像特征提取支路和可见光图像特征提取支路；两个支路的结构相同，由一层1×1的卷积层，与5层包含了全尺度信息聚合机制的残差块构成；跨模态差异注意力机制互补模块位于红外图像特征提取支路与可见光图像特征提取支路中间，首先通过定义的注意力机制来提取两种图像的高频特征，定义算法如下，
31、a＝c2(r(c1(l(x))))s，
32、其中a代表特征提取模块函数，x代表输入的特征图，c1代表将特征图通道数减半的卷积层，c2代表将特征图通道减少到1的卷积层，r代表relu激活函数，s代表sigmoid激活函数，l为拉普拉斯算子；
33、提取特征后，利用sigmoid函数所计算出的注意力权重来进行两种图像的特征信息互补，再将互补特征与原始特征相加得到最终的输出特征，具体定义的算法为，
34、viout＝vi+(ir⊙a(ir))
35、irout＝ir+(vi⊙a(vi))，
36、其中viout与irout代表可见光图像与红外图像经过特征补足后的输出特征图，vi与ir代表原始提取来的可见光特征图与红外特征图，a代表特征提取模块函数，⊙表示逐元素乘法。
37、作为优选，步骤s5中，特征重构网络由5个包含全尺度信息聚合机制的残差块组成；全尺度信息聚合机制的具体算法如下，
38、使用四个自适应平均池化层，分别对应1×1、2×2、3×3和6×6的池化窗口大小，来捕获不同尺度的特征信息，每个自适应平均池化层的输出都通过一个1×1的卷积层进一步减少到原通道的四分之一，并应用批量归一化和prelu激活，随后不同尺度的特征图随后通过双线性上采样操作恢复到原始输入尺寸，之后将其在通道维度上进行合并形成一个具有原通道本文档来自技高网...
【技术保护点】
1.一种基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S1中目标图像数据集由含有可见光RGB色彩图像的M3FD数据集、RoadScene数据集和MSRS数据集组成；部分M3FD数据集作为模网络模型的训练集使用，RoadScene数据集、MSRS数据集和其余部分的M3FD数据集用于测试模型生成的融合图像性能。
3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S2中，划分可见光图像包括以下步骤，
4.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S3中，光环境适应网络由三个带有注意力机制的卷积块、一个平均池化层和一个全连接层组成；每个卷积块中包含一次二维卷积，一次批量归一化处理，两个注意力引导模块和一个最大池化层。
5.根据权利要求4所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：光环境适应权重的计算方法为，
6.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S4中，特征提取网络包括，
7.根据权利要求6所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：特征提取模块由两个支路组成，分别为红外图像特征提取支路和可见光图像特征提取支路；两个支路的结构相同，由一层1×1的卷积层，与5层包含了全尺度信息聚合机制的残差块构成；跨模态差异注意力机制互补模块位于红外图像特征提取支路与可见光图像特征提取支路中间，首先通过定义的注意力机制来提取两种图像的高频特征，定义算法如下，
8.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S5中，特征重构网络由5个包含全尺度信息聚合机制的残差块组成；全尺度信息聚合机制的具体算法如下，
9.根据权利要求8所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤S5中损失函数定义的具体算法为，
10.根据权利要求9所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：红外图像与可见光图像的综合光环境强度损失，光环境辅助强度损失，图像纹理损失的具体算法分别定义为，
...【技术特征摘要】
1.一种基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤s1中目标图像数据集由含有可见光rgb色彩图像的m3fd数据集、roadscene数据集和msrs数据集组成；部分m3fd数据集作为模网络模型的训练集使用，roadscene数据集、msrs数据集和其余部分的m3fd数据集用于测试模型生成的融合图像性能。
3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤s2中，划分可见光图像包括以下步骤，
4.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：步骤s3中，光环境适应网络由三个带有注意力机制的卷积块、一个平均池化层和一个全连接层组成；每个卷积块中包含一次二维卷积，一次批量归一化处理，两个注意力引导模块和一个最大池化层。
5.根据权利要求4所述的基于光照适应和注意力引导的红外与可见光图像融合方法，其特征在于：光环境适应权重的计算方法为，
6.根据权利要求1所述的基于光照...
【专利技术属性】
技术研发人员：陶阳，顾铭冲，张家铬，侍洪波，宋冰，谭帅，陈敏，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。