基于任务驱动的等变一致性图像融合方法及系统技术方案

技术编号:45869234 阅读:12 留言:0更新日期:2025-07-19 11:25
本发明专利技术为基于任务驱动的等变一致性图像融合方法及系统,对输入的红外和可见光图像进行特征分解得到各自的基础特征和细节特征,在后续融合处理中施加满足等变一致性约束的几何变换操作以保证特征的变换稳定性,并利用语义分割模型的语义分割任务的监督信息对融合模型进行语义约束。本发明专利技术通过损失函数部分协同优化等变一致性约束和语义损失,能够在保持对几何变换鲁棒性的同时,有效兼顾局部细节的保留与全局语义信息的增强,生成高质量的融合图像,并改善下游高级视觉任务的性能。

【技术实现步骤摘要】

本专利技术涉及红外和可见光融合,特别是一种基于任务驱动的等变一致性图像融合方法及系统,用于红外与可见光图像的融合,旨在通过融合两种模态的图像来提高图像质量和语义信息,以支持高级视觉任务。


技术介绍

1、红外与可见光图像融合技术致力于整合不同传感器捕捉的信息,生成单一的、包含更全面场景信息的图像,这对于提高在复杂环境(如低光照、烟雾)下的态势感知能力至关重要。通过融合,可以利用红外图像在恶劣条件下探测目标的能力,同时结合可见光图像提供丰富纹理和颜色细节的优势。当前,利用深度神经网络模型处理图像融合任务已成为研究热点。

2、如申请号为202411048544.5的中国专利公开一种可见光成像与红外成像融合方法、装置、电子设备及存储介质,该方法直接对可见光成像中的语义信息进行提取,并预设任务信息通过大语言模型获得任务提示词,再以任务提示词为输入预测红外图像,再利用当前帧可见光图像与预测红外图像融合得到目标融合图像。但该任务引导方法仅关注全局语义信息,缺乏对局部结构和细节的精细建模,导致融合图像在提升下游任务性能的同时,往往牺牲了部分原始图像的细节和结构本文档来自技高网...

【技术保护点】

1.一种基于任务驱动的等变一致性图像融合方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述融合损失包括结构相似性损失、特征分解损失、强度损失和梯度损失。

3.根据权利要求2所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述结构相似性损失为变换后的基础特征与重构后的基础特征之间的相似性、变换后的细节特征与重构后的细节特征之间的相似性和重构前后的融合图像之间的相似性的加权和;

4.根据权利要求1所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述语义损失为交叉熵损失。<...

【技术特征摘要】

1.一种基于任务驱动的等变一致性图像融合方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述融合损失包括结构相似性损失、特征分解损失、强度损失和梯度损失。

3.根据权利要求2所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述结构相似性损失为变换后的基础特征与重构后的基础特征之间的相似性、变换后的细节特征与重构后的细节特征之间的相似性和重构前后的融合图像之间的相似性的加权和;

4.根据权利要求1所述的基于任务驱动的等变一致性图像融合方法,其特征在于,所述语义损...

【专利技术属性】
技术研发人员:王振崔新语李英双齐巧玲董永峰
申请(专利权)人:河北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1