一种基于图像风格迁移的交通信号灯图像转换方法及系统技术方案

本发明专利技术涉及一种基于图像风格迁移的交通信号灯图像转换方法及系统，其方法包括：获取多张包含第一交通信号灯源图像，以及至少一张包含第二交通信号灯的目标图像；利用训练完成的CycleGAN，将每张源图像中的第一交通信号灯转换为第二信号灯，通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯；通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯。本发明专利技术通过CycleGAN将样本量大的交通信号灯图像转换为样本量小的交通信号灯图像，再通过前景提取和图像融合算法，增广了交通信号灯的样本量，提高了转换后的图像质量。提高了转换后的图像质量。提高了转换后的图像质量。

【技术实现步骤摘要】
一种基于图像风格迁移的交通信号灯图像转换方法及系统


[0001]本专利技术属于交通信息处理与深度学习
，具体涉及一种基于图像风格迁移的交通信号灯图像转换方法及系统。

技术介绍

[0002]图片风格迁移是指分析某一种风格的图像，给那一种风格建立一个数学或者统计模型，然后用这个模型来改变要做迁移的图像，使得生成的图片能更好的符合建立的模型。
[0003]但是目前的图片风格迁移生成的图片都是基于名画给输入图片转换另外一种艺术风格的，并且目前现有的图片风格迁移生成的图像分辨率较小，无法满足高速道路图片的模型训练和测试，那么如何使用图片风格迁移算法生成指定风格的小目标，然后同时再将小目标镶嵌到整体图片时，这是图片风格迁移和图像处理当中一个较难解决的问题。
[0004]交通信号灯作为自动驾驶和高精度地图的中的关键因素，为了提高自动驾驶模型或高精度地图的准确性，需要收集大量交通信号灯的样本；而现行交通规则和实际交通灯的运行情况，导致黄色交通信号灯的难于获取、样本量严重不足。

技术实现思路

[0005]为解决黄色交通信号灯的样本量不足的问题，在本专利技术的第一方面提供了一种基于图像风格迁移的交通信号灯图像转换方法，包括：获取多张包含第一交通信号灯源图像，以及至少一张包含第二交通信号灯的目标图像；利用训练完成的CycleGAN，将每张源图像中的第一交通信号灯转换为第二信号灯，通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯；通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯。
[0006]在本专利技术的一些实施例中，述CycleGAN包括第一GAN和第二GAN，且所述第一GAN和第二GAN通过同一个损失函数进行训练；所述第一GAN，用于将输入图像中的第一交通信号灯转换为第二交通信号灯，以及将转换后的输入图像输出给第二GAN；所述第二GAN，用于将输入图像中的第二交通信号灯转换为第一交通信号灯，以及将转换后的输入图像输出给第一GAN。
[0007]进一步的，所述训练完成的CycleGAN通过如下方法训练：获取多张包含第一交通信号灯的图像和多张包含第二交通信号灯的图像，并将其分别作为X域样本和Y域样本，构建训练集；利用所述训练集，同时训练所述第一GAN和第二GAN，直至所述损失函数的值低于阈值且趋于稳定，得到训练完成的CycleGAN。
[0008]在本专利技术的一些实施例中，所述通过前景提取方法提取转换后的源图像中的第二交通信号灯包括：通过grabcut算法提取每张源图像中的第一交通信号灯的前景部分，并将所述前景部分的像素值转换为背景部分的像素平均值。
[0009]在本专利技术的一些实施例中，所述通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯包括：利用泊松融合算法将提取到的多个第
二交通信号灯，分别替换掉目标图像中的第一交通信号。
[0010]在上述的实施例中，所述第一交通信号灯为红色交通信号灯或绿色交通信号灯，所述第二交通信号灯为黄色交通信号灯。
[0011]本专利技术的第二方面，提供了一种基于图像风格迁移的交通信号灯图像转换系统，包括：获取模块，用于获取多张包含第一交通信号灯源图像，以及至少一张包含第二交通信号灯的目标图像；转换模块，用于利用训练完成的CycleGAN，将每张源图像中的第一交通信号灯转换为第二信号灯，通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯；融合模块，用于通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯。
[0012]进一步的，所述转换模块包括CycleGAN和提取单元，所述CycleGAN，用于将每张源图像中的第一交通信号灯转换为第二信号灯；所述提取单元，用于通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯。
[0013]本专利技术的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术在第一方面提供的基于图像风格迁移的交通信号灯图像转换方法。
[0014]本专利技术的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本专利技术在第一方面提供的基于图像风格迁移的交通信号灯图像转换方法。
[0015]本专利技术的有益效果是：
[0016]1.通过使用训练完成的CycleGAN来生成多个不同的黄色交通信号灯，利用这种图像风格迁移方法可以将种类较多的红色交通信号灯转化黄色交通信号灯，这种转换方式可以平衡不同种类之间的样本个数；
[0017]2.通过使用grabcut算法得到红色交通信号灯图片中的最大前景部分，再将前景的像素替换为背景部分的平均像素值，这样做的目的是弱化图片中亮灯区域，为后面的背景融合做准备，最后使用柏松融合算法使生成图像无缝融合到原始道路图像中，这样的图像处理方式对大规模的图像增广有非常大的好处。
附图说明
[0018]图1为本专利技术的一些实施例中的基于图像风格迁移的交通信号灯图像转换方法的基本流程示意图；
[0019]图2为本专利技术的一些实施例中的基于图像风格迁移的交通信号灯图像转换方法的的具体流程示意图；
[0020]图3为本专利技术的一些实施例中的CycleGAN或图像风格迁移网络的原理框图；
[0021]图4为本专利技术的一些实施例中的基于图像风格迁移的交通信号灯图像转换系统的结构示意图；
[0022]图5为本专利技术的一些实施例中的电子设备的结构示意图。
具体实施方式
[0023]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0024]参考图1与图2，在本专利技术的第一方面，提供了一种基于图像风格迁移的交通信号灯图像转换方法，包括：S100.获取多张包含第一交通信号灯源图像，以及至少一张包含第二交通信号灯的目标图像；S200.利用训练完成的CycleGAN(CycleConsistent Generative Adversarial Networks，循环一致性生成对抗网络)将每张源图像中的第一交通信号灯转换为第二信号灯，通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯；S300.通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯。
[0025]参考图3，在本专利技术的一些实施例的步骤S200中，述CycleGAN包括第一GAN和第二GAN，且所述第一GAN和第二GAN通过同一个损失函数进行训练；所述第一GAN，用于将输入图像中的第一交通信号灯转换为第二交通信号灯，以及将转换后的输入图像输出给第二GAN；所述第二GAN，用于将输入图像中的第二交通信号灯转换为第一交通信号灯，以及将转换后的输入图像输出给第一GAN。
[0026]具体地，每个GAN内部都有一个生成器网络和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像风格迁移的交通信号灯图像转换方法，其特征在于，包括：获取多张包含第一交通信号灯源图像，以及至少一张包含第二交通信号灯的目标图像；利用训练完成的CycleGAN，将每张源图像中的第一交通信号灯转换为第二信号灯，通过前景提取方法分别提取转换后的每张源图像中的第二交通信号灯；通过图像融合方法将提取到的多个第二交通信号灯，分别替换掉目标图像中的第一交通信号灯。2.根据权利要求1所述的基于图像风格迁移的交通信号灯图像转换方法，其特征在于，所述CycleGAN包括第一GAN和第二GAN，且所述第一GAN和第二GAN通过同一个损失函数进行训练；所述第一GAN，用于将输入图像中的第一交通信号灯转换为第二交通信号灯，以及将转换后的输入图像输出给第二GAN；所述第二GAN，用于将输入图像中的第二交通信号灯转换为第一交通信号灯，以及将转换后的输入图像输出给第一GAN。3.根据权利要求2所述的基于图像风格迁移的交通信号灯图像转换方法，其特征在于，所述训练完成的CycleGAN通过如下方法训练：获取多张包含第一交通信号灯的图像和多张包含第二交通信号灯的图像，并将其分别作为X域样本和Y域样本，构建训练集；利用所述训练集，同时训练所述第一GAN和第二GAN，直至所述损失函数的值低于阈值且趋于稳定，得到训练完成的CycleGAN。4.根据权利要求1所述的基于图像风格迁移的交通信号灯图像转换方法，其特征在于，所述通过前景提取方法提取转换后的源图像中的第二交通信号灯包括：通过grabcut算法提取每张源图像中的第一交通信号灯的前景部分，并将所述前景部分的像素值转换为背景部分的像素平均值。5.根据权利要求1所述的基于图像风格迁移的交通信号灯图像转换方法，...

【专利技术属性】
技术研发人员：何云，何豪杰，喻旸，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：