一种烟火图像生成方法及系统技术方案

本发明专利技术涉及烟火图像技术领域，公开了一种烟火图像生成方法及系统，该方法，基于真实图像和掩膜，构建并训练生成对抗网络，在训练生成对抗网络过程中设置损失作为烟火生成的约束，从而生成烟火图像；其中，烟火生成的约束包括对生成的烟火位置、烟火形状、烟火大小之中的一种或多种的约束。本发明专利技术解决了现有技术存在的以下问题：生成图像整体的真实程度较低，难以进行可控制位置、形状、大小的烟火目标生成等。成等。成等。

【技术实现步骤摘要】
一种烟火图像生成方法及系统


[0001]本专利技术涉及烟火图像
，具体是一种烟火图像生成方法及系统。

技术介绍

[0002]在传统的烟火生成方法中，需要基于火焰模型进行仿真迭代，计算费用十分昂贵；
[0003]在基于生成对抗网络的烟火生成方法中，仅存在单一的烟火目标生成任务，没有结合交通场景特点来进行烟火图像生成研究；
[0004]现有的基于深度学习的图像生成方法，如StyleGAN系列，关注的是图像整体，没有引入用以描述烟火前景与交通背景的额外位置信息，因而在模型的训练阶段，模型没有接收到区分烟火前景与交通背景的这一任务，不会对不同类别进行不同约束的特征学习，因此，无法实现在交通图像中指定的局部区域进行烟火前景的生成；
[0005]现有的图像转换方法，如Pix2Pix、CycleGAN，通过重建损失可以实现交通背景区域的重建并且效果较好，然而，这类方法没有引入额外的随机噪声，导致这类方法的生成能力较弱，对训练样本的数据分布依赖较强，一旦将模型迁移至其它数据集上，转换的效果将大打折扣；
[0006]现有的图像合成方法，如SPADE，在合成过程中利用了前景和背景作为不同类别的边界位置关系，然而，这类方法只用到了前层次的语义分割信息，并没有利用好真实样本在图像空间下的交通场景信息，导致合成的过程过于自由。
[0007]现有技术主要存在以下问题：
[0008]1.实际交通场景下的公开烟火数据较为缺乏，大部分公开的烟火数据集画面与监控视角下相差较大，且当前相关的参考资料较少，这使得在交通场景下可控式地生成烟火图像时不能直接使用已有的数据集，需要结合交通场景与监控视角特点，构建一个交通场景下的烟火数据集；
[0009]2.大部分现有的图像生成方法，关注对象是整张图像，或者几乎覆盖整张图像信息的目标，无法达到实现目标，即合理地控制烟火目标的生成形状和在画面中的位置；
[0010]3.现有的烟火数据生成方法，仅考虑如何优化烟火目标在细节上的特征，而忽略了烟火目标作为前景对象，与背景区域在光照、遮挡等方面的相互影响关系。因此，需要研究如何利用背景信息以及背景与烟火前景的特征关联，以加强烟火前景与背景区域在边缘处的一致性，从而提升生成图像整体的真实程度。

技术实现思路

[0011]为克服现有技术的不足，本专利技术提供了一种烟火图像生成方法及系统，解决现有技术存在的以下问题：生成图像整体的真实程度较低，难以进行可控制位置、形状、大小的烟火目标生成等。
[0012]本专利技术解决上述问题所采用的技术方案是：
[0013]一种烟火图像生成方法，基于真实图像和掩膜，构建并训练生成对抗网络，在训练
生成对抗网络过程中设置损失作为烟火生成的约束，从而生成烟火图像；其中，烟火生成的约束包括对生成的烟火位置、烟火形状、烟火大小之中的一种或多种的约束。
[0014]作为一种优选的技术方案，包括以下步骤：
[0015]S1，预处理：将真实图像I
R
和掩膜M做覆盖计算，得到仅携带设定背景信息的被掩码图像I
M
；
[0016]S2，训练生成：基于I
M
训练生成对抗网络的生成器，生成训练生成图像I
G
；
[0017]S3，训练判别：生成对抗网络的判别器将I
R
编码成预测结果P
R
以及将I
G
编码成预测结果P
G
，然后基于P
R
、P
G
设置损失训练生成器和判别器；
[0018]S4，推理：利用训练好的生成器，将真实图像I
R
和掩膜M作为输入，得到推理生成图像I
F
。
[0019]作为一种优选的技术方案，步骤S2包括以下步骤：
[0020]S21，将I
M
做固定尺寸的下采样；
[0021]S22，将下采样后的图像样本与随机噪声高斯融合；
[0022]S23，将高斯融合后的数据通过全连接层转换为高维通道的隐空间向量，作为生成器的初始输入训练生成器，然后生成训练生成图像I
G
。
[0023]作为一种优选的技术方案，步骤S3中，将P
R
和P
G
作为输入，计算P
R
、P
G
的重建类损失。
[0024]作为一种优选的技术方案，计算P
R
、P
G
的重建类损失的公式为：
[0025][0026]其中，φ表示用于特征提取的特征提取神经网络，j表示特征提取神经网络的层编号，表示参与损失计算的生成图像，y表示参与损失计算的真实图像，表示生成图像与真实图像在特征提取神经网络中第j层所对应两个特征图的损失计算值，C
j
表示特征提取神经网络在第j层的特征图通道长度，H
j
表示特征提取神经网络在第j层的特征图高度，W
j
表示特征提取神经网络在第j层的特征图宽度，表示生成图像在特征提取神经网络中第j层所对应特征图的特征值，φ
j
(y)表示真实图像在特征提取神经网络中第j层所对应特征图的特征值，表示生成图像和真实图像在特征提取神经网络中第j层所对应两个特征图的特征值的欧氏距离。
[0027]作为一种优选的技术方案，步骤S3中，将P
R
、P
G
、True、False作为输入，计算对抗类损失中的D类损失；其中，True指二值分类中的真，在公式中用数值1表示，False指二值分类中的假，在公式中用数值0表示。
[0028]作为一种优选的技术方案，计算对抗类损失中的D类损失的公式为：
[0029][0030]其中，D Loss表示对抗类损失中的D类损失，D(I
R
)表示判别器将真实图像I
R
作为输入得到的预测结果P
R
，表示判别器将真实图像误认为是生成图像的惩罚项，D(I
G
)表示判别器将生成图像I
G
作为输入得到的预测结果P
G
，表示判别器将生成图像误认为是真实图像的惩罚项，log(
·
)表示以自然数为底的对数运算。
[0031]作为一种优选的技术方案，步骤S3中，将P
G
和True作为输入，计算对抗类损失中的G类损失；其中，True指二值分类中的真，在公式中用数值1表示。
[0032]作为一种优选的技术方案，计算对抗类损失中的G类损失的公式为：
[0033][0034]其中，GAN Loss表示对抗类损失中的G类损失，表示判别器将生成图像判定为生成图像的惩罚项，log(
·
)表示以自然数为底的对数运算。
[0035]一种烟火图像生成系统，用于实现所述的一种烟火图像生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种烟火图像生成方法，其特征在于，基于真实图像和掩膜，构建并训练生成对抗网络，在训练生成对抗网络过程中设置损失作为烟火生成的约束，从而生成烟火图像；其中，烟火生成的约束包括对生成的烟火位置、烟火形状、烟火大小之中的一种或多种的约束。2.根据权利要求1所述的一种烟火图像生成方法，其特征在于，包括以下步骤：S1，预处理：将真实图像I
R
和掩膜M做覆盖计算，得到仅携带设定背景信息的被掩码图像I
M
；S2，训练生成：基于I
M
训练生成对抗网络的生成器，生成训练生成图像I
G
；S3，训练判别：生成对抗网络的判别器将I
R
编码成预测结果P
R
以及将I
G
编码成预测结果P
G
，然后基于P
R
、P
G
设置损失训练生成器和判别器；S4，推理：利用训练好的生成器，将真实图像I
R
和掩膜M作为输入，得到推理生成图像I
F
。3.根据权利要求2所述的一种烟火图像生成方法，其特征在于，步骤S2包括以下步骤：S21，将I
M
做固定尺寸的下采样；S22，将下采样后的图像样本与随机噪声高斯融合；S23，将高斯融合后的数据通过全连接层转换为高维通道的隐空间向量，作为生成器的初始输入训练生成器，然后生成训练生成图像I
G
。4.根据权利要求2所述的一种烟火图像生成方法，其特征在于，步骤S3中，将P
R
和P
G
作为输入，计算P
R
、P
G
的重建类损失。5.根据权利要求4所述的一种烟火图像生成方法，其特征在于，计算P
R
、P
G
的重建类损失的公式为：其中，φ表示用于特征提取的特征提取神经网络，j表示特征提取神经网络的层编号，表示参与损失计算的生成图像，y表示参与损失计算的真实图像，表示生成图像与真实图像在特征提取神经网络中第j层所对应两个特征图的损失计算值，C
j
表示特征提取神经网络在第j层的特征图通道长度，H
j
表示特征提取神经网络在第j层的特征图高度，W
j
表示特征提取神经网络在第j层的特征图宽度，表示生成图像在特征提取神经网络中第j层所对应特征图的特征值，φ
j
(y)表示真实图像在特征提取神经网络中第j层所对应特...

【专利技术属性】
技术研发人员：吴晓，周盛源，李威，何廷全，胡东风，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：