【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种图像转换方法，具体涉及一种一种可见光-红外图像转换方法。
技术介绍
1、近年来，随着科学技术的快速进步，各种电子对抗技术也在迅猛发展。由于红外探测技术具有较好的隐蔽性和抗干扰能力，因此复杂环境下高可信红外弱小目标检测技术增强了对目标的识别能力，成为很多场景检测的有效补充和替代。目前国内外在红外弱小目标检测领域的研究已经取得了一定的进展，但依然存在着一些问题。大规模的数据是深度学习算法研究的基础，有助于研究者开发更高级的模型来不断提升算法的精度和可靠性。目前公开的红外弱小目标数据集数量极少，存在数据容量有限、目标与背景拼接合成痕迹明显、标注精度差等问题，无法为复杂环境下高可信红外目标检测模型提供充足的训练数据，阻碍了深度学习技术在红外弱小目标检测领域的发展。如何构建更大规模、更多样化、更贴合实用需求的红外弱小目标数据集是本项目需要解决的一个关键问题。现有开源红外弱小目标数据集较少，传统的检测方法大多是在其内部数据集上进行评估。现有最大规模的开源红外弱小目标数据集包括10000张训练图像和100张测试图像，但其中很多目标不符合国际红外工程学会spie对于红外弱小目标局部信噪比小于5db的标准，且标注精度差、目标与背景拼接合成痕迹明显。使用高质量的真实图像构建的基准红外弱小目标数据集sirst，图像数量为427幅，其中训练256幅，不能很好地覆盖红外小目标检测中复杂的环境变化，且这些真实的红外数据都是人工标注的，具有标注像素点不准确的问题。虽然这些开源的数据集促进了红外弱小目标检测的发展，但符合spie
2、红外图像可以通过相机捕捉，使用数字相机或摄像机通过逐行或逐帧扫描的方式捕捉图像；通过红外/热红外捕捉，使用红外传感器或热红外相机来捕捉人眼无法看到的红外或热红外图像；通过红外摄影。使用红外滤光片进行摄影，需要长时间曝光，但能捕捉到独特的红外图像；通过图像转换生成，将一种模态图像转换成红外图像的方法。
3、图像转换是数据生成等多个深度学习领域的热门研究课题。它可从有限的数据集中转换出更多数据，并保留原始数据集的相似特征。因此，图像转换方法可为解决公开的高质量红外弱小目标数据量少的问题提供解决思路。异质图像转换算法是实现数据扩充的有效途径，然而红外与可见光图像间存在显著信息差异，如何挖掘它们之间的潜在相似信息，转换出结构信息高保真的红外图像是实现数据扩充的关键问题。
4、华中科技大学在其申请的专利文献“一种可见光图像转红外图像的转换方法”(专利申请号：cn202211377615.7，申请公布号：cn115713456a)中，公开了一种可见光图像转红外图像的转换方法。该方法通过配对数据集进行有监督训练基础上，提取像中的材质特征和热数据特征，并将提取到的材质特征和热数据特征逐步嵌入到热量中，渐进式地生成热量图，整个过程均是面向图像中的目标个体进行特征层面的操作，相较于传统的整张图像的生成方法，能够降低目标特征间的耦合关系，达到更好的生成效果，保证了陌生场景的同类型目标发现能力，达到了平衡源域到目标域的映射准确性和陌生场景的泛化能力的目的。该专利技术采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，降低了人工标注的成本，同时一定程度上缓解了热数据无法直接获得的问题。但其没有针对可见光图像与红外图像间大域差问题进行处理，导致转换后的红外图像仍旧存在纹理细节模糊、结构失真的问题。纹理细节模糊、结构失真问题。
技术实现思路
1、本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种可见光到红外图像的转换方法，用于解决现有技术存在的因可见光图像与红外图像间的域差导致的转换后的红外图像纹理细节模糊、结构失真较大的技术问题。
2、为实现上述目的，本专利技术包括如下步骤：
3、(1)获取训练样本集和测试样本集：
4、获取m个不相同场景的m幅可见光图像和其中n个场景的n幅红外图像，并将n幅可见光图像及其对应的n幅红外图像分别组成第一训练样本集和第二训练样本集，将剩余的q＝m-n幅可见光图像组成测试样本集，其中m＞n＞800；
5、(2)构建可见光-红外图像转换网络模型o：
6、构建包括并行排布且结构相同的两个分支网络的可见光-红外图像转换网络模型o；第一分支网络和第二分支网络分别包括级联的第一生成网络g1和第一鉴别网络d1，以及第二生成网络g2和第二鉴别网络d2，且g1、g2的输出端还与g2、g1连接；g1和g2均包括级联的编码器和解码器，以及加载在编码器与解码器之间并行排布的微分tfd特征提取网络和一阶热力学flt引导网络，tfd特征提取网络包括k个级联的微分残差模块，且每个微分残差模块的输出端与flt引导网络相连，其中，k>3；
7、(3)定义可见光-红外图像转换网络模型o的损失函数l：
8、l＝lgan+α1lcyc+α2lpix+α3ltd
9、
10、其中lgan、lcyc、lpix、ltd分别表示对抗损失函数、循环一致性损失函数、像素损失函数和td损失函数；α1、α2和α3表示lcyc、lpix和ltd的权重参数；xn和yn分别表示第n幅可见光图像及其对应的红外图像，gtfd(·)、gfld(·)分别表示微分tfd特征提取网络和一阶热力学flt引导网络的输出，表示求期望值，φ(·)表示flt引导网络的内部函数；
11、(4)对可见光-红外图像转换网络模型进行迭代训练：
12、将第一训练样本集分别作为第一生成网络g1和第二鉴别网络d2的输入，同时将第二训练样本集分别作为第二生成网络g2和第一鉴别网络d1的输入，对可见光-红外图像转换网络模型o进行迭代训练，得到训练好的可见光-红外图像转换网络模型
13、(5)获取转换结果：
14、将测试样本集作为训练好的可见光-红外图像转换网络模型中第一生成网络g1的输入进行前向传播，得到转换后的q幅红外图像。
15、本专利技术与现有技术相比，具有以下优点：
16、(1)本专利技术在对可见光-红外图像转换网络模型o进行训练以及获取转换结果的过程中，微分tfd特征提取网络可以在进行图像转换训练过程中，使网络中的每一层都能接收到更多层的信息，在特征提取过程中减少了图像信息的损失，从而有效地提取域间不变特征，促进非线性平移映射的学习，有效缓解了可见光图像与红外图像间大域差带来的纹理细节模糊、结构失真问题。
17、(2)本专利技术在对可见光-红外图像转换网络模型o进行训练以及获取转换结果的过程中，一阶热力学flt引导网络可以促进特征值从不稳定的扩散状态向稳定的扩散状态过渡，可以很好地在可见光-红外图像转换过程中规范特征扩散并保留图像结构，减少因转换过程中错误信息的出现导致的纹理细节模糊、结构失真问题。
本文档来自技高网...【技术保护点】
1.一种可见光-红外图像转换方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的第一分支网络中第一生成网络和第二分支网络，其所包含的编码器、微分TFD特征提取网络、一阶热力学FLT引导网络、解码器和鉴别网络的结构相同，其中：
3.根据权利要求2所述的方法，其特征在于，步骤(3)中所述的对抗损失函数LGAN、循环一致性损失函数Lcyc和像素损失函数Lpix，其表达式分别为：
4.根据权利要求2所述的方法，其特征在于，步骤(4)中所述的对可见光-红外图像转换网络模型O进行迭代训练，实现步骤为：
5.根据权利要求4所述的方法，其特征在于，步骤(4e)中所述的对ws、bs进行更新，更新公式为：
【技术特征摘要】
1.一种可见光-红外图像转换方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的第一分支网络中第一生成网络和第二分支网络，其所包含的编码器、微分tfd特征提取网络、一阶热力学flt引导网络、解码器和鉴别网络的结构相同，其中：
3.根据权利要求2所述的方法，其特征在于，步骤(3...
【专利技术属性】
技术研发人员：张铭津，许嘉敏，张鹏，李云松，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。