一种基于掩膜的图像融合方法技术

本发明专利技术公开了一种基于掩膜的图像融合方法，涉及新一代信息技术领域。本发明专利技术包括以下步骤：S1：获取训练集和测试集；步骤S2：对目标进行检测并记录坐标，而后构建目标的掩膜；步骤S3：构造图像融合网络；步骤S4：在基于掩膜的自注意力损失函数的引导下，利用训练集训练图像融合网络，得到图像融合网络模型。本申请对可见光图像和红外图像中的语义信息丰富区域进行识别，不仅实现了自动构建掩膜，并且使用基于掩膜的自注意力损失函数为图像融合网络提供空间指导和显著目标的权重指导，以改善图像融合效果，本申请得到的融合图像能够更好的适应后续目标检测任务。适应后续目标检测任务。适应后续目标检测任务。

【技术实现步骤摘要】
一种基于掩膜的图像融合方法


[0001]本专利技术属于新一代信息
，特别涉及一种基于掩膜的图像融合方法。

技术介绍

[0002]图像融合技术在遥感探测、医学图像分析、环境保护、交通监测、清晰图像重建以及计算机视觉等领域都有着重大的应用价值。目前，应用较多且相对成熟的是红外和可见光图像的融合，而红外和可见光图像的图像融合方法主要包括传统的图像融合方法和基于深度学习的图像融合方法。传统的红外和可见光图像的图像融合方法，比如基于多尺度变换的图像融合方法、基于显著性的图像融合方法和基于优化的图像融合方法，这些传统的红外图像和可见光图像的图像融合方法主要关注特征提取和融合规则的设计，而较少考虑到融合图像后续进行目标检测这样的高级任务的需求，并且也没有明确定义和处理重要的语义目标区域。而现有的基于深度学习的图像融合方法在将红外图像和可见光图像进行融合时，也是主要关注整体图像的融合，较少关注融合图像后续进行目标检测这样的高级任务，而且也缺乏对红外图像和可见光图像中具有丰富语义内容的显著目标的重点增强。为此，本申请提出了一种基于掩膜的图像融合方法。...

【技术保护点】

【技术特征摘要】
1.一种基于掩膜的图像融合方法，其特征在于：包括以下步骤：步骤S1：获取包含红外图像和可见光图像的训练集和测试集；步骤S2：对训练集中的红外图像和可见光图像中的目标进行检测并记录目标检测框的坐标，而后利用掩膜生成方法分别构建红外图像中目标的掩膜以及可见光图像中目标的掩膜；步骤S3：构造图像融合网络，所述图像融合网络包括特征提取网络、Concat层Ⅰ和图像重建网络IRM；所述特征提取网络用于对红外图像和可见光图像的Y通道图像进行特征提取；Concat层Ⅰ用于对特征提取网络提取的红外图像的特征和Y通道图像的特征进行拼接，得到拼接特征；所述特征重建网络用于对拼接特征进行融合，得到融合图像；步骤S4：在基于掩膜的自注意力损失函数的引导下，利用训练集训练图像融合网络，得到图像融合网络模型。2.根据权利要求1所述的一种基于掩膜的图像融合方法，其特征在于：步骤S3中，所述特征提取网络为双分支结构，分支A和分支B都是由一个卷积核大小为1
×
1的卷积层、一个密集连接模块Dense和纹理增强模块TEM组成。3.根据权利要求2所述的一种基于掩膜的图像融合方法，其特征在于：步骤S3中，所述密集连接模块Dense包括依次连接的三个卷积模块Ⅰ，每个卷积模块Ⅰ均是由一个卷积核大小为3
×
3的卷积层和一个LReLU激活层组成；密集连接模块Dense中三个卷积模块Ⅰ采用密集连接的方式进行连接。4.根据权利要求2所述的一种基于掩膜的图像融合方法，其特征在于：步骤S3中，所述纹理增强模块TEM包括第一分支、第二分支、第三分支、第四分支以及一个Concat层Ⅱ；其中，第一分支包括三个卷积模块Ⅱ，前两个卷积模块Ⅱ均是由一个卷积核大小为3
×
3的卷积层和一个LReLU激活层组成，第三个卷积模块Ⅱ由一个卷积核大小为1
×
1的卷积层和一个LReLU激活层组成；第二分支包括依次连接的一个拉普拉斯边缘检测模块、一个Add层和三个卷积模块Ⅲ组成，其中，前两个卷积模块Ⅲ均由卷积核大小为3
×
3的卷积层和一个LReL...

【专利技术属性】
技术研发人员：吕国华，司马超群，高翔，王西艳，张曾彬，宋文廓，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：