【技术实现步骤摘要】
本专利技术属于新一代信息，具体涉及一种基于显著特征提取和残差连接的图像融合方法。
技术介绍
1、红外图像和可见光图像融合技术，已经成为图像融合领域研究和应用的热点。目前，红外图像和可见光图像的融合技术已在军事监控、目标识别、夜间车辆导航等多个领域得到广泛应用。
2、根据融合技术的原理，现有的图像融合方法主要分为两大类：一类是传统的图像融合方法，另一类则是基于深度学习的图像融合方法。目前，像基于自动编码器的图像融合方法、基于卷积神经网络的图像融合方法以及基于生成对抗网络的图像融合方法等这些现有的基于深度学习的图像融合方法也可取得较佳的融合效果。不过，这些基于深度学习的图像融合方法仍面临着一些挑战，比如这些现有的深度学习的图像融合方法不能很好地提取特征图中的显著特征，融合效果不理想。为此，本申请提供了一种基于显著特征提取和残差连接的图像融合方法。
技术实现思路
1、本专利技术为了弥补现有技术的不足，提供了一种基于显著特征提取和残差连接的图像融合方法。
2、本专利技术是通...
【技术保护点】
1.一种基于显著特征提取和残差连接的图像融合方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述融合图像生成网络包括依次连接的通道拼接层、前期处理模块、第一个重点特征提取模块、第一个深层特征提取模块、第二个深层特征提取模块、第二个重点特征提取模块以及卷积块；其中，通道拼接层的通道维度为一维，通道拼接层用于在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接，得到信息更加全面的双通道图像；前期处理模块用于对通道拼接层输出的双通道图像中的浅层特征进行提取，得到具有浅层特征的特...
【技术特征摘要】
1.一种基于显著特征提取和残差连接的图像融合方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述融合图像生成网络包括依次连接的通道拼接层、前期处理模块、第一个重点特征提取模块、第一个深层特征提取模块、第二个深层特征提取模块、第二个重点特征提取模块以及卷积块；其中，通道拼接层的通道维度为一维，通道拼接层用于在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接，得到信息更加全面的双通道图像；前期处理模块用于对通道拼接层输出的双通道图像中的浅层特征进行提取，得到具有浅层特征的特征图；第一个重点特征提取模块用于对前期处理模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；第一个深层特征提取模块用于对第一个重点特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个深层特征提取模块用于对第一个深层特征提取模块输出的特征图中的深层特征进行提取，得到具有深层特征的特征图，该深层特征的特征图中包含了丰富的全局信息；第二个重点特征提取模块用于对第二个深层特征提取模块输出的特征图中的显著特征进行提取并突出，得到具有突出显著特征的特征图，该突出显著特征的特征图具有丰富的重点信息；卷积块用于对第二个重点特征提取模块输出的特征图降低维度，输出具有全局信息和重点信息的特征图。
3.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述卷积块包括一个卷积核大小为1×1的卷积层以及与其连接的tanh激活层。
4.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述前期处理模块包括依次连接的卷积核大小为5×5的卷积层、批量归一化层以及relu激活层；该卷积核大小为5×5的卷积层用于对前期处理模块输出的特征图进行卷积操作，输出具有浅层特征的特征图，批量归一化层用于对输入其中的特征图进行批量归一化操作，输出具有浅层特征的特征图，而relu激活层用于对批量归一化层输出的具有浅层特征的特征图进行relu激活操作。
5.根据权利要求2所述的基于显著特征提取和残差连接的图像融合方法，其特征在于：所述重点特征提取模块包括残差块、通道注意力块、空间注意力块、矩阵逐元素相乘操作单元、concat层以及relu激活层；其中，残差块分别连接通道注意力块和空间注意力块，通道注意力块和空间注意力块分别连接矩阵逐元素相乘操作单元，残差块还分别连接两个矩阵逐元素相乘操作单元，两个矩阵逐元素相乘操作单元的输出端以及残差块的输入...
【专利技术属性】
技术研发人员：翟翌，宋宝平，张越，夏振阳，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。