一种基于循环生成对抗网络的可见光图像与红外图像的转换方法技术

本发明专利技术公开了一种基于循环生成对抗网络的可见光图像与红外图像的转换方法，基于循环生成对抗网络的框架，通过对抗性学习目标将单步扩散模型适应到可见光图像到红外图像转换，将潜扩散模型中的各种模块整合为一个具有小可训练权重的端到端生成网络，增强了其在保留输入图像结构的同时减少过拟合的能力。训练所得可见光图像转红外图像模型可用于遥感场景红外图像获取，也可用于作为其它场景红外图像生成的解决方案，在实际军事或商业应用中具有更广阔的前景。同时，本发明专利技术创新性的设计了一个一步推理的可见光图像到红外图像的转换网络，该网络将原始潜扩散模型中的各种模块整合为一个具有少量训练权重的端到端生成网络，不依赖成对的可见光图像和红外图像数据，推理速度快并能够保持输入图像的高频信息。

【技术实现步骤摘要】

本专利技术属于可见光图像与红外图像转换，更为具体地讲，涉及一种基于循环生成对抗网络的可见光图像与红外图像的转换方法。

技术介绍

1、在当前的研究背景下，深度学习技术在图像识别和处理方面取得了显著进展，但其性能很大程度上依赖于大量的训练数据。对于红外图像处理，尤其是军事应用中的精确制导武器系统，因为红外成像设备的高昂成本和实验条件的限制，获取足够的训练样本是一个挑战。此外，为了确保系统的鲁棒性，需要在各种自然和人为干扰环境下对模型进行大规模测试和评估，这进一步增加了对多样化红外图像样本的需求。

2、在遥感
，可见光图像与红外图像的转换对于多种应用至关重要，包括军事侦察、环境监测、灾害评估等。现有的面向遥感场景下的可见光图像到红外图像的迁移方法主要基于生成式对抗网络来构建。

3、ma等人基于条件对抗网络提出了一种可见光图像到红外图像的迁移方法，其构建一个梯度向量损失来提升红外图像的边缘细节，使用多尺度的patchgan来丰富图像不同尺度的细节信息。

4、moradi等人面向自然场景下远红外图像难以获取的问题，提出了一种本文档来自技高网...

【技术保护点】

1.一种基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，从标准高斯分布中生成噪音Z，使用Stable Diffusion v2.1模型作为扩散模型。

3.根据权利要求1所述的基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，两个判别器都使用预训练的CLIP图像编码器作为主干网络。

【技术特征摘要】

1.一种基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于循环生成对抗网络的可见光图像与红外图像的转换方法，其特征在于，从标准高斯分布中生成噪音z，使...

【专利技术属性】
技术研发人员：王国庆，李美璇，张睿，张维畅，李维，刘勋，王玉庆，杨阳，
申请(专利权)人：徐州新川智能科技有限公司，
类型：发明
国别省市：