多目标红外图像的生成方法及装置制造方法及图纸

本发明专利技术公开了一种多目标红外图像的生成方法及装置，涉及图像处理技术领域，解决了现有技术中红外图像仿真方法建模过程复杂，仿真结果易受到外部参数的影响产生误差，不能保证红外图像的真实性的问题，该方法包括：获取待处理的可见光图像；将待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；将前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；实现了无需场景匹配、灵活性高、且成本低，效率高能够保证仿真图像的真实性。实性。实性。

【技术实现步骤摘要】
多目标红外图像的生成方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种多目标红外图像的生成方法及装置。

技术介绍

[0002]随着对红外辐射和红外光学的深入研究，红外成像技术发展迅速，在民用和军事领域均有广泛的应用。目前，获取红外图像的途径主要分为两种：一种是通过红外相机进行实地拍摄收集实测数据，可以获得目标真实准确的红外图像，另一种则是通过仿真的方法获取目标红外图像，这种仿真方法又可以分为三类：一类是对目标及背景进行建模，根据实验需求构建场景，计算温度场分布，辐射值分布和大气传输效应，模拟红外成像过程，以此获得符合物理规律的红外图像，这类方法可以依据特定的要求进行设定得到符合要求的红外图像；一类则是采取图像到图像的方法，运用可见光图像或其他实测图像进行图像特征分析生成所需的红外仿真图像，一方面源图像选用实测图像保证了图像的真实性，另一方面运用多源图像转换也能有效节省人力物力；还有一类则是采用智能算法，通过训练网络生成仿真红外图像，充分利用现有红外图像特征，以低成本的方法可以获取大量红外数据达到扩充数据的目的，同时这些红外图像具有较高逼真度，基于智能算法的红外仿真方法具有良好的仿真效果。
[0003]但在实际中，通过对目标及场景建模计算红外辐射的红外图像仿真方法，不仅其建模过程复杂，而且含有大量的外部参数，从而导致仿真结果易受影响产生误差，难以保证红外图像的真实性。

技术实现思路

[0004]本专利技术通过提供一种多目标红外图像生成方法及装置，解决了现有技术中红外图像仿真方法建模过程复杂，且仿真结果易受到外部参数的影响产生误差，不能保证红外图像的真实性的问题，实现了无需场景匹配、灵活性高、能够保证仿真图像的真实性。
[0005]第一方面，本专利技术提供了一种多目标红外图像的生成方法，该方法包括：
[0006]获取待处理的可见光图像；
[0007]将所述待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，所述循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当所述可见光样本图像经所述循环生成对抗网络生成的第一可见光图像F(G(x))与该可见光样本图像属于同一场景的目标图像，当所述可见光样本图像经所述循环生成对抗网络生成的第一红外图像G(x)与所述红外样本图像具有相同的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二红外图像G(F(y))与该红外样本图像属于同一场景的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二可见光图像F(y)与所述可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；
[0008]将所述前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，并且使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小。
[0009]结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络包括生成器G、生成器F、判别器D
X
以及判别器D
Y
，所述生成器G与所述判别器D
X
、以及所述生成器F连接，所述生成器F与所述判别器D
Y
、以及所述生成器G连接；
[0010]所述循环生成对抗网络的训练方法包括：
[0011]将可见光样本图像x输入至所述循环生成对抗网络的生成器G中，生成第一红外图像G(x)；将所述第一红外图像G(x)输入至所述循环生成对抗网络的所述生成器F中，输出第一可见光图像F(G(x))；
[0012]所述判别器D
X
对所述第一可见光图像F(G(x))与所述可见光样本图像x是否为同一场景下的图像进行打分判别，输出第一判别结果D
X
(F(G(x)))；
[0013]所述判别器D
Y
对所述第一红外图像G(x)与红外样本图像y是否为具有相同的目标图像进行打分判别，确定第二判别结果D
Y
(G(x))；
[0014]将红外样本图像y输入至所述循环生成对抗网络的所述生成器F中，生成第二可见光图像F(y)；将所述第二可见光图像F(y)输入至所述循环生成对抗网络的所述生成器G中，输出第二红外图像G(F(y))；
[0015]所述判别器D
X
对所述第二红外图像G(F(y))与所述可见光样本图像x是否具有相同的目标图像进行打分判别，输出第三判别结果D
X
(G(F(y)))；
[0016]所述判别器D
Y
对所述第二可见光图像F(y)与所述红外样本图像y是否为同一场景下的图像进行打分判别，确定第四判别结果D
Y
(F(y))；
[0017]若所述第一判别结果D
X
(F(G(x)))、所述第二判别结果D
Y
(G(x))、所述第三判别结果D
X
(G(F(y)))以及所述第四判别结果D
Y
(F(y))都均大于预设阈值，则训练结束，否则则继续进行训练。
[0018]结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络的目标函数表示为：
[0019][0020]其中，L
GAN
表示对抗损失函数，L
cyc
表示循环一致性损失函数，λ表示循环损失函数的权重系数；
[0021]所述对抗损失函数表示为：
[0022][0023][0024]所述循环一致性损失函数表示为：
[0025][0026]其中，||
·
||1表示1
‑
范数，x～p
data
(x)表示x取自真实分布的数据，y～p
data
(y)表示y取自真实分布的数据，D
Y
(y)表示所述判别器D
Y
对所述红外样本图像y的判别结果，D
X
(x)表示所述判别器D
X
对所述可见光样本图像x的判别结果，D
X
(F(y))表示所述判别器D
X
对所述
第二可见光图像F(y)的判别结果。
[0027]结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络中的所述生成器G对所述判别器D
Y
的训练方法包括：
[0028]获取初始化的所述生成器G的参数以及所述判别器D
Y
的参数；
[0029]获取m个红外样本图像y作为判别器的输入、m个可见光样本图像x作为生成器的输入，输出m个生成图像；
[0030]固定所述生成器G，更新所述判别器D
Y
的参数，使判别器目标函数最小；
[0031]循环更新k次判别器D
Y
参数后，更新1次生成器G参数，使判别器D
Y
...

【技术保护点】

【技术特征摘要】
1.一种多目标红外图像的生成方法，其特征在于，包括：获取待处理的可见光图像；将所述待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，所述循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当所述可见光样本图像经所述循环生成对抗网络生成的第一可见光图像F(G(x))与该可见光样本图像属于同一场景的目标图像，当所述可见光样本图像经所述循环生成对抗网络生成的第一红外图像G(x)与所述红外样本图像具有相同的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二红外图像G(F(y))与该红外样本图像属于同一场景的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二可见光图像F(y)与所述可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；将所述前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，并且使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小。2.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络包括生成器G、生成器F、判别器D
X
以及判别器D
Y
，所述生成器G与所述判别器D
X
、以及所述生成器F连接，所述生成器F与所述判别器D
Y
、以及所述生成器G连接；所述循环生成对抗网络的训练方法包括：将可见光样本图像x输入至所述循环生成对抗网络的生成器G中，生成第一红外图像G(x)；将所述第一红外图像G(x)输入至所述循环生成对抗网络的所述生成器F中，输出第一可见光图像F(G(x))；所述判别器D
X
对所述第一可见光图像F(G(x))与所述可见光样本图像x是否为同一场景下的图像进行打分判别，输出第一判别结果D
X
(F(G(x)))；所述判别器D
Y
对所述第一红外图像G(x)与红外样本图像y是否为具有相同的目标图像进行打分判别，确定第二判别结果D
Y
(G(x))；将红外样本图像y输入至所述循环生成对抗网络的所述生成器F中，生成第二可见光图像F(y)；将所述第二可见光图像F(y)输入至所述循环生成对抗网络的所述生成器G中，输出第二红外图像G(F(y))；所述判别器D
X
对所述第二红外图像G(F(y))与所述可见光样本图像x是否具有相同的目标图像进行打分判别，输出第三判别结果D
X
(G(F(y)))；所述判别器D
Y
对所述第二可见光图像F(y)与所述红外样本图像y是否为同一场景下的图像进行打分判别，确定第四判别结果D
Y
(F(y))；若所述第一判别结果D
X
(F(G(x)))、所述第二判别结果D
Y
(G(x))、所述第三判别结果D
X
(G(F(y)))以及所述第四判别结果D
Y
(F(y))都均大于预设阈值，则训练结束，否则则继续进行训练。3.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络的目标函数表示为：
其中，L
GAN
表示对抗损失函数，L
cyc
表示循环一致性损失函数，λ表示循环损失函数的权重系数；所述对抗损失函数表示为：所述对抗损失函数表示为：所述循环一致性损失函数表示为：其中，||
·
||1表示1
‑
范数，x～p
data
(x)表示x取自真实分布的数据，y～p
data
(y)表示y取自真实分布的数据，D
Y
(y)表示所述判别器D
Y
对所述红外样本图像y的判别结果，D
X
(x)表示所述判别器D
X
对所述可见光样本图像x的判别结果，D
X
(F(y))表示所述判别器D
X
对所述第二可见光图像F(y)的判别结果。4.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络中的所述生成器G对所述判别器D<...

【专利技术属性】
技术研发人员：冯伟，杨莉荷，全英汇，宋怡佳，邹欣杉，谢志伟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：