一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型及融合方法技术

本发明专利技术公开了一种基于双分支自注意力‑生成对抗网络的多光谱图像融合模型及其融合方法，所述模型依次包含：输入预处理模块，用于对可见光与红外原始图像进行同幅映射、归一化及重叠块嵌入，生成待融合特征块；双分支编码器模块，通过多头深度卷积转置注意力(MDTA)和门控深度卷积前馈网络(GDFN)捕获跨模态长距离依赖与整体亮度结构，并利用可逆残差门控层及细节DetailNode迭代提炼高频纹理与边缘信息；融合解码器模块，对两路特征在通道维度拼接后进行多层级自注意力‑卷积重建，输出单帧高分辨率融合图像；双域判别器模块，含可见光域判别器与红外域判别器，分别对融合图像与对应模态真值图像进行对抗评估，以提升融合结果的细节真实性与热目标对比度。本发明专利技术解决了现有红外‑可见光图像融合方法在细节保留不足、亮度对比度失衡及无监督训练稳定性差等技术问题，可在夜间监控、无人驾驶、边缘安防等需实时、多模态信息增强的嵌入式平台上部署，实现高对比度、高信息量的融合成像。

【技术实现步骤摘要】

本专利技术属于多模态图像处理与计算机视觉，提出一种基于双分支自注意力-生成对抗网络的可见光-红外图像实时融合模型及其融合方法。

技术介绍

1、图像融合旨在将来自不同传感器或来源的多源图像数据进行融合，以在单一输出图像中同时保留更多的目标信息、纹理细节或光谱特征。以可见光与红外图像融合为例，融合后的图像在安防监控、目标检测、医学成像和遥感监测等领域具有重要应用价值。传统的图像融合方法主要依赖于规则算法或变换域处理，如多尺度分解方法、稀疏表示方法等。这类方法具有一定的可解释性，但对噪声干扰敏感，且在遇到复杂场景(强光照、部分遮挡等)时难以保持稳定的融合效果。随着深度学习的发展，研究者开始引入卷积神经网络(cnn)、生成对抗网络(gan)和transformer等模型用于图像融合任务。这些数据驱动的方法能够自动学习融合策略，在一定程度上突破了传统方法的局限，提升融合图像的质量和细节保真度。

2、现有基于cnn的融合方法通过多层卷积提取多尺度特征，简化了人工设计规则的流程，生成的融合图像通常较少伪影且细节保留较好。然而，纯cnn方法存在解释性不足、模型本文档来自技高网...

【技术保护点】

1.一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，包括：

2.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述输入预处理模块依次包括：尺寸统一单元，对可见光与红外图作配准-重采样至同分辨率；归一化单元，对各通道实施零均值-单位方差标准化；重叠块嵌入单元，采用3×3、步幅1卷积将拼接图映射为具局部重叠感受野的高维特征块，作为编码器输入。

3.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述双分支编码器包括全局结构分支与细尺度增强分支两条平行通路；...

【技术特征摘要】

1.一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，包括：

2.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述输入预处理模块依次包括：尺寸统一单元，对可见光与红外图作配准-重采样至同分辨率；归一化单元，对各通道实施零均值-单位方差标准化；重叠块嵌入单元，采用3×3、步幅1卷积将拼接图映射为具局部重叠感受野的高维特征块，作为编码器输入。

3.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述双分支编码器包括全局结构分支与细尺度增强分支两条平行通路；

4.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述融合解码器模块依次包括通道压缩单元、层次化重建栈与输出卷积单元；

5.根据权利要求1所述的一种基于双分支自注意力-生成对抗网络的多光谱图像融合模型，其特征在于，所述双域判别器模块由可见光判别器与红外判别器并列组成，两者结构相同、参数独立；每个判别器依次包含四...

【专利技术属性】
技术研发人员：贾晓芬，许可祥，赵佰亭，梁镇洹，胡锐，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：