基于渐进式多感受野生成对抗网络的红外图像生成方法及系统技术方案

本发明专利技术提供一种基于渐进式多感受野生成对抗网络的红外图像生成方法及系统，获得配对的原始可见光图像与红外图像，对原始可见光图像与红外图像进行数据预处理，获得可见光图像和真实红外图像，得到数据集；构建渐进式多感受野生成对抗网络模型，渐进式多感受野生成对抗网络模型包括语义分割模块、一级生成对抗网络和二级生成对抗网络；对渐进式多感受野生成对抗网络模型进行训练，获得训练后的渐进式多感受野生成对抗网络模型；对输入的图像，通过训练后的渐进式多感受野生成对抗网络模型，生成红外图像；本发明专利技术能够实现生成逼真的红外图像，具备泛化能力强，能够在短时间内生成大量高质量红外图像数据的优势。高质量红外图像数据的优势。高质量红外图像数据的优势。

【技术实现步骤摘要】
基于渐进式多感受野生成对抗网络的红外图像生成方法及系统


[0001]本专利技术涉及一种基于渐进式多感受野生成对抗网络的红外图像生成方法及系统，属于图像处理


技术介绍

[0002]红外成像技术是一种利用探测仪测得物体与环境间的红外线差从而得到由不同的热红外线形成红外图像的高新技术。不论是在民用领域还是军事领域，都得到了广泛的应用，如红外夜视、红外遥感、红外目标跟踪等。然而在绝大多数场景中，采用户外实拍的方式获取红外图像难度十分巨大，需要耗费大量的人力、物力、财力。如果想要同时采集各种材质在不同背景，不同时段的红外图像更是不现实的。因此，研究一种基于可见光图像生成红外图像的生成方法是十分有意义的。
[0003]目前主流的红外图像仿真方式是采用红外图像仿真软件进行场景红外仿真，常见的如SE
‑
Workbench、MTE
‑
IRSimulator等。针对特定场景的红外图像仿真通常要经历以下几个步骤：对目标场景进行分析建模从而得到场景的3D模型；通过红外辐射理论计算目标环境中的不同材质对应的红外辐射分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：包括以下步骤，S1、获得配对的原始可见光图像与红外图像，对原始可见光图像与红外图像进行数据预处理，获得可见光图像I
rgb
和真实红外图像I
true
，得到数据集；S2、构建渐进式多感受野生成对抗网络模型，渐进式多感受野生成对抗网络模型包括语义分割模块、一级生成对抗网络和二级生成对抗网络，语义分割模块用于获取可见光图像I
rgb
的语义分割图I
seg
，一级生成对抗网络包括一级生成器和一级判别器，其中，一级生成器用于根据输入的可见光图像I
rgb
获得具备红外图像灰度和纹理信息的一级生成图像I
fake
，一级判别器用于鉴别[I
fake
,I
true
]，其中，I
true
为真实红外图像；二级生成对抗网络包括二级生成器和二级判别器，其中，二级生成器用于根据语义分割图I
seg
和一级生成图像I
fake
输出二级生成图像I
tar
，二级判别器用于鉴别[I
tar
,I
true
]，其中，I
true
为真实红外图像；S3、使用步骤S1得到的数据集，对渐进式多感受野生成对抗网络模型进行训练，获得训练后的渐进式多感受野生成对抗网络模型；S4、对输入的图像，通过训练后的渐进式多感受野生成对抗网络模型，生成红外图像。2.如权利要求1所述的基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：步骤S1中，对原始可见光图像与红外图像进行数据预处理，具体为，在训练前需要对对原始可见光图像与红外图像分别进行仿射变换后，进行归一化、通道数调整，再对成对图像进行拼接，分别获得可见光图像I
rgb
和真实红外图像I
true
。3.如权利要求1所述的基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：步骤S2中，语义分割模块用于获取可见光图像I
rgb
的语义分割图I
seg
，具体为，采用Deeplabv3+的语义分割模型获取可见光图像I
rgb
的全局特征，Deeplabv3+的语义分割模型中，首先将可见光图像I
rgb
通过深度卷积神经网络，得到浅层特征和深层特征；之后将深层特征输入到空洞空间卷积池化金字塔模块获得加强特征，将加强特征与浅层特征进行特征融合，上采样得到可见光图像I
rgb
的语义分割图I
seg
，作为全局特征。4.如权利要求1
‑
3任一项所述的基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：步骤S2中，一级生成器包括一级特征提取模块和一级特征融合模块，一级特征提取模块：采用Unet++作为特征提取网络，提取可见光图像I
rgb
的多感受野特征，生成四个一级有效特征层；一级特征融合模块：采用多个注意力融合结构自适应的学习图像对于各个不同的感受野特征的一级权重，由得到的一级权重，融合两个感受野差异较小的一级有效特征层，再分别与较大的两个一级有效特征层进行融合，生成具备红外图像灰度和纹理信息的一级生成图像I
fake
。5.如权利要求1
‑
3任一项所述的基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：步骤S2中，一级判别器与二级判别器均采用块生成对抗网络PatchGAN。6.如权利要求1
‑
3任一项所述的基于渐进式多感受野生成对抗网络的红外图像生成方法，其特征在于：步骤S2中，二级生成器包括特征拼接模块、二级特征提取模块和二级特征融合模块，特征拼接模块：将输入的语义分割图I
fake
和一级生成I
seg
图像I
fake
进行特征...

【专利技术属性】
技术研发人员：邓丽珍，王宁，朱虎，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：