一种多场景双波段图像融合方法、装置和可存储介质制造方法及图纸

本发明专利技术属于图像融合技术领域，尤其为一种图像融合方法、装置、可存储介质。本发明专利技术包括：准备数据集，获取红外图像和可见光图像；将获取的红外图像和可见光图像进行去噪、增强和操作；将预处理好的可见光图像和红外图像进行图像送入场景识别网络，得出图像的场景，然后再将红外图像和可见光图像送入图像融合网络，根据不同场景进行不同的特征提取，特征融合，特征重建后，得到融合图像。本发明专利技术可以通过判断图像场景来选择的融合策略，使融合图像包含更多的信息，更符合人眼视觉效果。

【技术实现步骤摘要】

本专利技术涉及图像融合，具体为一种多场景双波段图像融合方法、装置和可存储介质。

技术介绍

1、图像融合是一种将来自不同传感器或不同模态的图像信息合并以获得更全面的图像信息的技术，在各种领域，如医学成像、安全监控和自动驾驶等，图像融合技术已经变得至关重要，红外图像主要捕获目标物体的热辐射，因此它们可以用于检测物体的温度差异，并且不受光照影响，低光或完全黑暗的条件下仍能捕获图像，而且红外辐射可以透过某些物质，如烟雾、雾霾和一些材料，因此在恶劣天气下也可以提供有用的信息，可见光图像的颜色和明暗与人眼感知一致，在医学诊断和安全监控中具有广泛的应用，但其图像的质量受到光照条件的影响，弱光照条件下可能会捕获较少的细节，因此我们提出了一种多场景双波段图像融合方法来解决上述问题。

2、中国专利公开号为“cn116051442a”，名称为“基于三分支自编码器网络的可见光和红外图像融合方法”，该方法首先输入预处理好的待融合的红外图像与可见光图像；接着通过三分支自编码器网络提取输入图像的特征；然后通过解码器将融合的红外与可见光特征进行解码，得到融合后的图像，该方法得本文档来自技高网...

【技术保护点】

1.一种多场景双波段图像融合方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种多场景双波段图像融合方法，其特征在于：所述步骤1，场景识别网络的训练使用Places2数据集，使用不同场景的图像数据，对每个图像的场景进行标注，红外图像与可见光图像融合使用TNO数据集。

3.根据权利要求1所述的一种多场景双波段图像融合方法，其特征在于：所述步骤2包含场景识别网络和图像融合网络；其中，所述场景识别网络包含预训练好的卷积神经网络，图神经网络，全连接层和Softmax层；所述卷积神经网络用于提取图像全局特征，所述图神经网络用于增强全局特征，所述全连接层和So...

【技术特征摘要】

1.一种多场景双波段图像融合方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种多场景双波段图像融合方法，其特征在于：所述步骤1，场景识别网络的训练使用places2数据集，使用不同场景的图像数据，对每个图像的场景进行标注，红外图像与可见光图像融合使用tno数据集。

3.根据权利要求1所述的一种多场景双波段图像融合方法，其特征在于：所述步骤2包含场景识别网络和图像融合网络；其中，所述场景识别网络包含预训练好的卷积神经网络，图神经网络，全连接层和softmax层；所述卷积神经网络用于提取图像全局特征，所述图神经网络用于增强全局特征，所述全连接层和softmax层用于将特征进行分类得到场景得分。

4.根据权利要求3所述的一种多场景双波段图像融合方法，其特征在于：所述卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块六、卷积块七、卷积块八，均包含卷积层，卷积核大小均为3×3，步长和填充均为1，激活函数为r型...

【专利技术属性】
技术研发人员：詹伟达，隋议萱，于永吉，葛微，郭金鑫，张悦，范晶晶，
申请(专利权)人：长春理工大学重庆研究院，
类型：发明
国别省市：