【技术实现步骤摘要】
本专利技术属于计算机视觉领域，特别涉及红外图像的生成方法。
技术介绍
1、红外图像因其具有抗干扰能力强，空间适应性好，目标对比度高等方面的优点，在民用和军事领域都有重要应用，是当前各类精确制导武器的重要制导方式，对强调精确打击和发现即摧毁的现代战争具有非常重要的意义。
2、然而相比于可视传感设备，红外拍摄器材往往价格过高，而且由于环境、搭载设备等诸多约束，导致红外图像的获取容易受到成本和性能等因素的限制，不能满足实际应用需求；另外，受限于高昂的时间、人力、财力成本，外场实验次数有限且不全面。例如：1)在性能测试阶段，通常需要通过外场试验来对其目标跟踪能力、抗干扰能力和虚警率等性能指标进行测试与评估，但红外成像系统受试验环境和气象条件等因素的影响较大，依据单次外场试验的结果，难以对装备在不同作战环境和气象条件下的性能指标，作出客观精确的测试和评估，需要采用红外图像仿真技术来模拟战场环境和军事目标，进行多次可重复的测试试验；而为了保证红外装备能在战时发挥最大的作战效能，也需要生成大量军事目标，利用不同作战环境和气象条件下的红外仿真图像，对作战人员进行模拟训练；2)在红外相关设备的研制过程中，需要大量多种条件下的红外图像作为验证测试数据。而外场试验实拍红外图像需要耗费巨大的人力、物力，同时很难获得全时段红外图像。因此研究红外图像生成技术从而扩充红外数据具有重要的实际意义。
3、目前红外图像生成方法大致分为两大类：基于仿真模型的红外图像生成方法，以及基于深度学习的红外图像生成方法。
4、1、基于仿真模
5、红外图像仿真方式是采用红外仿真软件平台进行场景红外仿真，通过对目标场景进行分析，建模得到场景三维模型，然后根据红外辐射理论，计算场景不同材质的红外辐射分布，之后利用大气传输模型计算红外辐射到探测器的辐射衰减，最后模拟成像器成像特性，为红外辐射添加传感器成像效应后，进行灰度化，得到红外仿真图像。早在20世纪70年代，国外就通过外场试验结合理论建模对红外图像仿真技术展开了研究，先后研发出vegaprime、se workbench等较为完善的红外视景仿真软件，但存在逼真度差、普适性不好的问题。国内红外视景仿真软件发展缓慢，主要以自建模型和依托仿真软件包建模渲染为主。21世纪，出现了许多成熟的红外仿真平台，极大的简化了红外图像仿真的过程，缩短了仿真周期。相比采用外场实拍红外图像的方式，红外仿真软件大大减少了实测成本，同时通过调整红外辐射分布模型参数、传感器参数，能够实现不同时段和不同波段的红外图像仿真。但是该方法存在着诸如目标温度模型仿真程度低、中间参数庞大、各系统耦合度高、处理过程繁琐等问题，不适用于快速生成大量红外图像。
6、2、基于深度学习的红外图像生成方法
7、近年来，深度学习技术异军突起，涌现出许多基于神经网络的仿真图像生成技术，gan在图像到图像的翻译中取得了令人印象深刻的结果。到目前为止，生成图像保持着低质量和低分辨率的情况随着pix2pix的出现发生了改变，掀起了图像翻译领域的一次彻底革命。2016年，isola等人提出了一种新的图像生成网络框架pix2pix，通过采用生成器和判别器的对抗损失和l1损失实现了成对可见光图像间的图像转换问题。之后，针对可见光图像生成对应的语义分割图，wang等人提出了pix2pixhd网络，通过设计多级生成器和多尺度判别器，在高分辨率图像翻译任务上取得了较好的结果。针对非配对图像域间的图像翻译问题，2017年，zhu等人提出了cyclegan网络，通过采用对偶式的生成器网络和循环一致损失，实现了非配对图像域间的相互转换。同年，kim等人提出的discoganbo和yi等人提出的dualganb1采用了与cyclegan相似的网络结构，在图片上色和人脸内容编辑等方面得到了较好的结果。2018年，liu等人提出了unit网络，将变分自动编码器与生成器结合，每个图像域都有各自的编码网络和生成器网络，并假定两个图像域编码网络的输出服从相同分布，以学习跨域图像的联合分布。2019年，huang等人基于特征解耦的思想提出munit网络，将图像编码为两部分，分别是与图像域无关的内容编码，以及图像域特征编码，通过将图像内容编码与不同的域特征编码组合，生成不同域图像。
8、然而，利用现有深度学习的方法生成的红外图像，在不同程度上存在纹理不清晰、结构缺失的问题。
技术实现思路
1、有鉴于此，本专利技术提出了一种基于改进的生成对抗网络的红外图像生成方法，本专利技术采用改进的cyclegan网络模型实现异源图像迁移，不但解决了红外设备使用成本高，难以获得全时段红外图像的问题，还解决了现有方法生成的红外图像存在纹理不清晰、结构缺失的问题。
2、具体技术方案如下：
3、基于改进的生成对抗网络的红外图像生成方法采用cyclegan网络结构，cyclegan由两个生成器g、f和两个判别器dx、dy构成，生成器g用于将可见光图像转换为红外图像，生成器f用于将生成器g输出的红外图像转换为可见光图像，判别器dx用于判断f的生成图像是否属于源域x；判别器dy用于判断g的生成图像是否属于目标域y；生成器g包括编码器和解码器；本专利技术对生成器g中的编码器进行了改进，在原有基础增加了cbam注意力模块，在保证下采样和上采样后图像大小一致的条件下，改进后的编码器结构依次为多个由下采样模块和cbam模块构成的基本单元，以及多个残差模块。
4、此外，对cyclegan网络的整体损失函数进行了改进，增加了边缘损失和图像亮度损失，其中，边缘损失基于hog特征，用于衡量合成的红外图像和真实的红外图像在结构形状上的距离，图像颜色损是用于提高生成图像与对应可见光图像之间温度相关性。
5、其中，边缘损失函数如下：
6、
7、其中，gra表示基于图像hog特征向量得到的图像边缘特征向量，e表示数学期望，pdata为真实图像数据分布，g(x)为生成器g根据可见光图像x生成的红外仿真图像，y表示红外数据集y中的图像样本，且x和y中包含相同类型的对象。
8、所述的图像亮度损失用于提高生成的红外图像与对应可见光图像之间，以及生成的可见光图像与对应红外图像之间的温度相关性，图像亮度损失函数如下，
9、
10、其中，s表示红外强度。
11、进一步的，
12、s＝r*0.299+g*0.587+b*0.114
13、其中，r表示r通道的图像像素的亮度，g表示g通道的图像像素的亮度，b表示b通道的图像像素的亮度。
14、有益效果
15、1、本专利技术在编码器中增加了cbam注意力模块，cbam混合注意力机制是一种能对特征图像的重要局部特征进行聚焦的模块，核心思想是通过分配权重的方式模拟人类在视觉上选择性注意的行为。它通过自适应学习的方式在空间和通道上对特征图像进行权重分配，促使输出的特征图更倾向于重点关注本文档来自技高网...
【技术保护点】
1.基于改进的生成对抗网络的红外图像生成方法，基于CycleGAN网络，其包括两个生成器G、F，生成器G用于将可见光图像转换为红外图像，生成器F用于将生成器G输出的红外图像转换为可见光图像，生成器G包括编码器和解码器，其特征在于：利用改进后的CycleGAN网络，由可见光图像生成红外图像，改进之处包括两点：在所述编码器中增加了CBAM注意力模块，编码器的下采样阶段采用了以卷积块和CBAM注意力模块为基本单元的级联设计模式；将可见光图像对红外图像进行生成时，增加了融合边缘损失和图像亮度损失，使得生成的红外图像更接近于真实红外图像。
2.根据权利要求1所述的基于改进的生成对抗网络的红外图像生成方法，其特征在于：在保证下采样和上采样后图像大小一致的条件下，改进后的编码器依次包括多个由下采样模块和CBAM模块构成的基本单元，以及多个残差模块。
3.根据权利要求1或2所述的基于改进的生成对抗网络的红外图像生成方法，其特征在于：所述的边缘损失基于HOG特征，用于衡量合成的红外图像和真实的红外图像及合成的可见光图像与真实的可见光图像在结构形状上的距离，边缘损失函数如下：
4.根据权利要求1或2或3所述的基于改进的生成对抗网络的红外图像生成方法，其特征在于：所述的图像亮度损失用于提高生成的红外图像与真实的红外图像之间，以及生成的可见光图像与真实的可见光图像之间的温度相关性，图像亮度损失函数如下，
5.根据权利要求4所述的基于改进的生成对抗网络的红外图像生成方法，其特征在于：
...【技术特征摘要】
1.基于改进的生成对抗网络的红外图像生成方法，基于cyclegan网络，其包括两个生成器g、f，生成器g用于将可见光图像转换为红外图像，生成器f用于将生成器g输出的红外图像转换为可见光图像，生成器g包括编码器和解码器，其特征在于：利用改进后的cyclegan网络，由可见光图像生成红外图像，改进之处包括两点：在所述编码器中增加了cbam注意力模块，编码器的下采样阶段采用了以卷积块和cbam注意力模块为基本单元的级联设计模式；将可见光图像对红外图像进行生成时，增加了融合边缘损失和图像亮度损失，使得生成的红外图像更接近于真实红外图像。
2.根据权利要求1所述的基于改进的生成对抗网络的红外图像生成方法，其特征在于：在保证下采样和上采样后图像大小一致的条...
【专利技术属性】
技术研发人员：郝肖冉，井世丽，成妍妍，张辉，曹璨，卜瑞波，
申请(专利权)人：河北汉光重工有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。