【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于通道注意力的红外和可见光图像融合方法及系统。
技术介绍
1、近几年来，越来越多的图像融合方法被提出，融合算法主要可以分为传统算法和深度学习算法；传统方法有变换域方法、曲线变换和基于子空间的方法等；传统方法通常以数学运算将图像变换以寻找不同模态图像之间的共同特征，然后手动设计融合规则来实现图像融合，然而针对不同模态图像而产生的不同融合任务，需要对融合规则进行相应的修改，这就使得传统融合方法并不具备很好的泛用性和灵活性。而随着深度学习在计算机视觉任务中的快速发展与广泛应用，图像融合传统方法的一些局限性得以解决，深度学习的融合算法具有特征提取和特征重构方面的天然优势，可以通过强大的数据建模能力，从数据中提取特征信息，把原始数据通过简单非线性模型转换为更高层次的表达。
2、专利技术人发现，由于可见光和红外光的质量参差不齐，目前基于深度学习的融合算法，不能捕获具备更多纹理信息的特征；捕获的红外和可见光的显著目标不显著，导致难以获得较好的融合效果。
技术实现思路
1、本专利技术为了解决上述问题，提出了一种基于通道注意力的红外和可见光图像融合方法及系统，本专利技术通过对通道特征的降维再升维变换，能够捕获具备更多纹理信息的特征进行通道选择，强化了红外和可见光的显著目标，获得了更好的融合的效果。
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：
3、第一方面，本专利技术提供了一种基于通道注意力的红外和可见光图像融
4、获取红外光图像和可见光图像；
5、根据获取的红外光图像和可见光图像，利用预设的图像融合网络模型，得到图像融合结果；
6、其中，图像融合网络模型包括进行多尺度特征提取的编码层，进行特征融合的融合层，以及输出融合图像的解码层；在所述融合层中，将所述编码层输出的两个特征图各自经过一个卷积，通过逐元素相加的融合方式，得到初步融合结果；以初步融合结果为基础，对通道特征的空间尺度进行压缩实现，得到每个通道的信息，然后通过两层的全连接层网络实现先降维再升维操作，先获得一个紧凑的特征向量为红外光和可见光两个分支的自适应选择提供指导，然后通过升维获得两个分支的特征向量。
7、进一步的，对获取的红外光图像和可见光图像预处理，采用双线性插值法训练图像的尺寸，将宽和高都调整为预设数量的像素点；同时，将训练用到的图像全都转化为灰度图。
8、进一步的，所述编码层实现多尺度的特征提取，首先通过一个卷积，再通过一个特征模块，每个特征模块由一个3×3的卷积和一个1×1的卷积组成；接下来通过三个特征模块，每个特征模块后面接一个最大池化层，四个特征模块提取四个尺度的特征；使用通道注意力机制和softmax操作获得图像的注意力图，加权到四个特征模块提取的四个尺度特征上。
9、进一步的，获得两个分支的特征向量后，通过softmax函数对分别对可见光和红外光的特征向量进行映射，将得到的注意力权重与可见光和红外光的特征图进行加权，获得融合特征图；最后通过一个残差分支，对可见光和红外光的输入特征图做通道拼接后，通过3×3卷积降维后与融合特征图作逐元素相加。
10、进一步的，在所述融合层设计了特征损失函数，在所述解码层设计了结构损失函数。
11、进一步的，特征损失函数为，
12、
13、其中，s为特征提取的尺度；f为融合图像；i1和i2分别为红外与可见光的输入源图像；为融合后的特征图；和为源图像的编码特征图；ω1、ωi1和ωi2分别为每个尺度的权重以及对红外光和可见光的权重参数。
14、进一步的，结构损失函数为：
15、lstruct＝1-∏(csi(f，vi)∧ωi*(ssimi(f，vi)∧βi))
16、其中，csi代表第i个尺度下的亮度权重；ssimi代表该尺度下的结构相似性指数；f和vi代表了融合图像与源可见光图像的编码；ωi和βi为权重系数；π代表对所有尺度的进行乘积运算。
17、第二方面，本专利技术还提供了一种基于通道注意力的红外和可见光图像融合系统，包括：
18、数据采集模块，被配置为：获取红外光图像和可见光图像；
19、数据采集模块，被配置为：根据获取的红外光图像和可见光图像，利用预设的图像融合网络模型，得到图像融合结果；
20、其中，图像融合网络模型包括进行多尺度特征提取的编码层，进行特征融合的融合层，以及输出融合图像的解码层；在所述融合层中，将所述编码层输出的两个特征图各自经过一个卷积，通过逐元素相加的融合方式，得到初步融合结果；以初步融合结果为基础，对通道特征的空间尺度进行压缩实现，得到每个通道的信息，然后通过两层的全连接层网络实现先降维再升维操作，先获得一个紧凑的特征向量为红外光和可见光两个分支的自适应选择提供指导，然后通过升维获得两个分支的特征向量。
21、第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于通道注意力的红外和可见光图像融合方法的步骤。
22、第四方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于通道注意力的红外和可见光图像融合方法的步骤。
23、与现有技术相比，本专利技术的有益效果为：
24、本专利技术中的图像融合网络模型包括进行多尺度特征提取的编码层，进行特征融合的融合层，以及输出融合图像的解码层；在融合层中，将编码层输出的两个特征图各自经过一个卷积，通过逐元素相加的融合方式，得到初步融合结果；以初步融合结果为基础，对通道特征的空间尺度进行压缩实现，得到每个通道的信息，然后通过两层的全连接层网络实现先降维再升维操作，先获得一个紧凑的特征向量为红外光和可见光两个分支的自适应选择提供指导，然后通过升维获得两个分支的特征向量，通过对通道特征的降维再升维变换，能够捕获具备更多纹理信息的特征进行通道选择，强化了红外和可见光的显著目标，获得了更好的融合的效果。
本文档来自技高网...【技术保护点】
1.一种基于通道注意力的红外和可见光图像融合方法，其特征在于，包括：
2.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，对获取的红外光图像和可见光图像预处理，采用双线性插值法训练图像的尺寸，将宽和高都调整为预设数量的像素点；同时，将训练用到的图像全都转化为灰度图。
3.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，所述编码层实现多尺度的特征提取，首先通过一个卷积，再通过一个特征模块，每个特征模块由一个3×3的卷积和一个1×1的卷积组成；接下来通过三个特征模块，每个特征模块后面接一个最大池化层，四个特征模块提取四个尺度的特征；使用通道注意力机制和Softmax操作获得图像的注意力图，加权到四个特征模块提取的四个尺度特征上。
4.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，获得两个分支的特征向量后，通过softmax函数对分别对可见光和红外光的特征向量进行映射，将得到的注意力权重与可见光和红外光的特征图进行加权，获得融合特征图；最后通过一个残差分支，对可见光
5.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，在所述融合层设计了特征损失函数，在所述解码层设计了结构损失函数。
6.如权利要求5所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，特征损失函数为，
7.如权利要求5所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，结构损失函数为：
8.一种基于通道注意力的红外和可见光图像融合系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于通道注意力的红外和可见光图像融合方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于通道注意力的红外和可见光图像融合方法的步骤。
...【技术特征摘要】
1.一种基于通道注意力的红外和可见光图像融合方法，其特征在于，包括：
2.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，对获取的红外光图像和可见光图像预处理，采用双线性插值法训练图像的尺寸，将宽和高都调整为预设数量的像素点；同时，将训练用到的图像全都转化为灰度图。
3.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，所述编码层实现多尺度的特征提取，首先通过一个卷积，再通过一个特征模块，每个特征模块由一个3×3的卷积和一个1×1的卷积组成；接下来通过三个特征模块，每个特征模块后面接一个最大池化层，四个特征模块提取四个尺度的特征；使用通道注意力机制和softmax操作获得图像的注意力图，加权到四个特征模块提取的四个尺度特征上。
4.如权利要求1所述的一种基于通道注意力的红外和可见光图像融合方法，其特征在于，获得两个分支的特征向量后，通过softmax函数对分别对可见光和红外光的特征向量进行映射，将得到的注意力权重与可见光和红外光的特征图进行加权，获得融合特征图；最...
【专利技术属性】
技术研发人员：于明鑫，缪旭帆，尤睿，孙一宸，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。