一种图像融合模型的训练方法、图像融合方法及装置制造方法及图纸

本发明专利技术公开了一种图像融合模型的训练方法、图像融合方法及装置，涉及图像融合领域，所述图像融合模型的训练方法，其步骤主要包括：图像预处理、特征提取、特征融合、图像重建、损失计算及迭代训练、分割测试及再训练，最终得到训练好的图像融合模型。实施本发明专利技术提供的图像融合模型的训练方法、图像融合方法及装置，能有效捕获图像的全局信息、适应多样化图像特性，提高融合图像在高级视觉任务中的表现。

【技术实现步骤摘要】

本专利技术涉及计算机视觉图像处理，更具体地说，涉及红外和可见光图像融合技术，提出了一种图像融合模型的训练方法、图像融合方法及装置。

技术介绍

1、图像融合是计算机视觉领域中一个关键的研究领域，旨在通过综合两张或多张不同图像的信息来生成一张新图像，从而提供更丰富的信息和更好的视觉表现。随着深度学习技术的迅猛发展，基于深度学习的图像融合方法已成为研究的热点，这些方法利用其强大的特征提取和泛化能力，极大地推动了图像融合技术的进步。

2、然而，传统的基于深度学习的图像融合方法，如基于卷积神经网络(convolutional neural network，cnn)、自编码器(auto encoder，ae)或生成对抗网络(generative adversarial network，gan)的方法，尽管在图像融合质量上取得了显著进步，但仍存在一些局限性。例如，cnn方法通常难以捕获图像的全局信息，而ae和gan方法在训练和特征融合策略上也存在挑战。这些限制影响了图像融合算法的性能，尤其是在涉及全局上下文和长距离依赖的高级视觉任务中。</p>

3、此外本文档来自技高网...

【技术保护点】

1.一种图像融合模型的训练方法，其特征在于，所述图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；所述图像获取模块，用于获取和预处理红外图像和可见光图像；所述对比残差模块，用于提取红外输出特征；所述纹理增强模块，用于提取可见光输出特征；所述交叉特征注意力模块，用于得到融合特征；所述图像重建模块，用于生成融合图像；所述训练方法，包括以下步骤：

2.根据权利要求1所述的图像融合模型的训练方法，其特征在于，步骤S2包括以下步骤：

3.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述对比残差模块包括第一3×3卷积层、第...

【技术特征摘要】

1.一种图像融合模型的训练方法，其特征在于，所述图像融合模型包括图像获取模块、对比残差模块、纹理增强模块、交叉特征注意力模块和图像重建模块；所述图像获取模块，用于获取和预处理红外图像和可见光图像；所述对比残差模块，用于提取红外输出特征；所述纹理增强模块，用于提取可见光输出特征；所述交叉特征注意力模块，用于得到融合特征；所述图像重建模块，用于生成融合图像；所述训练方法，包括以下步骤：

2.根据权利要求1所述的图像融合模型的训练方法，其特征在于，步骤s2包括以下步骤：

3.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述对比残差模块包括第一3×3卷积层、第二3×3卷积层、激活函数、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一3×3卷积层的输入端与所述1×1卷积层的输入端连接，所述第一3×3卷积层的输出端与所述求和器的第一输入端连接，所述1×1卷积层的输出端与所述求和器的第二输入端连接；所述第一和第二3×3卷积层用于提取3×3图像特征，所述激活函数用于激活第一3×3卷积层，所述1×1卷积层用于提取1×1图像特征，所述求和器用于逐元素求和操作。

4.根据权利要求2所述的图像融合模型的训练方法，其特征在于，所述纹理增强模块包括第一3×3卷积层、第二3×3卷积层、激活函数、拉普拉斯算子、1×1卷积层及求和器；所述第一3×3卷积层、所述激活函数和所述第二3×3卷积层依次串联，所述第一...

【专利技术属性】
技术研发人员：陈珺，丁剑锋，马佳义，王中元，罗林波，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：