本发明专利技术公开了一种基于特征分解强化和梯度补充的图像融合方法，涉及新一代信息技术领域。本发明专利技术包括以下步骤：S1：获取训练集和测试集；S2：构建特征分解强化网络，训练特征分解强化网络；S3：构建图像融合网络，训练图像融合网络；S4：将红外图像和可见光图像的Y通道图像输入至训练好的特征分解强化网络模型前向传播一次，并将输出的场景细节特征图和重建红外图像特征图传输至图像融合网络模型前向传播一次，再将输出的Y通道融合图像与可见光图像的Cb和Cr通道图像在特征维度拼接，并转换为RGB格式，得到彩色融合图像。本发明专利技术更适于低光场景下的红外图像与可见光图像进行融合。
【技术实现步骤摘要】
本专利技术属于新一代信息，特别涉及一种基于特征分解强化和梯度补充的图像融合方法。
技术介绍
1、由于红外图像能够描绘热辐射数据，使其能够在不同的天气条件下突出显著目标，不过红外图像的缺点是揭示纹理信息的能力有限；而可见光图像通过光的反射来捕捉场景的丰富细节，与人类视觉感知紧密结合，能够提供高分辨率的场景信息，但是可见光图像的缺点是缺乏热辐射信息。因此，将红外图像和可见光图像进行融合能够从这两种类型的图像中提取重要的互补特征，从而产生信息丰富的融合图像。
2、目前，红外图像与可见光图像的融合方法主要分为两大类，一是传统图像融合方法，二是基于深度学习的图像融合方法。然而，不管是传统图像融合方法还是现有的基于深度学习的图像融合方法在对低光场景下的红外图像和对低光场景下的可见光图像进行融合时，融合效果均较差，这主要是由于低光场景下的可见光图像中的信息通常被淹没在黑暗中并伴随噪声，很难充分挖掘低光场景中的纹理信息，导致融合图像中纹理信息弱，视觉感知差。为此，本申请提出一种基于特征分解强化和梯度补充的图像融合方法。
>技术实现思路本文档来自技高网...
【技术保护点】
1.一种基于特征分解强化和梯度补充的图像融合方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤S2中，特征分解强化网络包括亮度信息提取分支、场景细节提取分支、红外特征提取分支以及三个解码器；其中，亮度信息提取分支包含四个依次连接的卷积模块Ⅰ，四个卷积模块Ⅰ均包括依次连接的卷积层和Transformer层；其中，场景细节提取分支、红外特征提取分支以及亮度信息提取分支的结构相同，权重参数不同。
3.根据权利要求1所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤S2中，特征分解强化网络的训...
【技术特征摘要】
1.一种基于特征分解强化和梯度补充的图像融合方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤s2中，特征分解强化网络包括亮度信息提取分支、场景细节提取分支、红外特征提取分支以及三个解码器；其中，亮度信息提取分支包含四个依次连接的卷积模块ⅰ，四个卷积模块ⅰ均包括依次连接的卷积层和transformer层；其中，场景细节提取分支、红外特征提取分支以及亮度信息提取分支的结构相同，权重参数不同。
3.根据权利要求1所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤s2中，特征分解强化网络的训练过程，具体包括如下步骤：
4.根据权利要求1所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤s3中，图像融合网络包括依次连接的互补特征自适应融合模块和梯度补充模块；其中，互补特征自适应融合模块用于对输入的场景细节特征图和重建红外图像特征图进行初步融合，得到初步融合特征图，梯度补充模块用于对初步融合特征图进行从浅层到深层的不同层次的全局特征以及边缘纹理信息和梯度信息的提取和增强，从而得到具有不同层次的全局特征以及丰富边缘纹理信息和梯度信息的y通道融合图像。
5.根据权利要求4所述的基于特征分解强化和梯度补充的图像融合方法，其特征在于：步骤s3中，互补特征自适应融合模块包括两个concat层、一个最大池化层、两个卷积模块ⅲ和两个矩阵逐元素相乘操作单元；特征分解强化网络中场景细节提取分支以及红外特征提取分支均与其中一个concat层连接，场景细节提取分支和红外特征提取分支还分别连接两个矩阵逐元素相乘操作单元，连接场景细节提取分支以及红外特征提取分支的concat层还与最大池化层连接，最大池化层分别连接两个卷积模块ⅲ，两个卷积模块ⅲ分别连接两个矩阵逐元素相乘操作单元，两个矩阵逐元素相乘操作单元与另一个concat层连接。
6.根据权利要求4所述的基于特征分解强化和梯...
【专利技术属性】
技术研发人员：吕国华，付新月，宋文廓，司马超群，张曾彬，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。