基于生成对抗网络的虚拟车牌生成方法、系统和存储介质技术方案

本发明专利技术公开了一种基于生成对抗网络的虚拟车牌生成方法、系统和存储介质，方法包括：根据车牌组合策略生成初始虚拟车牌，并对初始虚拟车牌自动标注标签；对标注后的初始虚拟车牌进行多线程数据增强；取经过多线程数据增强后的初始虚拟车牌进行分类，并根据分类结果选取对应类别的生成对抗网络进行风格迁移处理，得到风格化车牌；若风格化车牌满足预设条件，则输出风格化车牌作为最终的虚拟车牌；否则选取交通场景对风格化车牌进行针对性的二次数据增强处理，二次数据增强处理后输出最终的虚拟车牌。本发明专利技术能够快速生成效果逼真真实车牌的虚拟车牌。虚拟车牌。虚拟车牌。

【技术实现步骤摘要】
基于生成对抗网络的虚拟车牌生成方法、系统和存储介质


[0001]本专利技术属于车牌生成识别
，具体涉及一种基于生成对抗网络的虚拟车牌生成方法、系统和存储介质。

技术介绍

[0002]随着经济社会的高速发展，机动车辆数量也在不断地增加，为了提高车辆的管理效率以及降低人力成本，对车牌的精准识别占据举足轻重的地位。目前的研究和实践表明，深度学习算法性能取决于训练数据的质量和规模，因此基于深度学习的车牌识别算法需要大量优质数据。但是优质的数据需要耗费大量的时间、资金和人力进行收集和标注工作，而且车牌种类繁多，其中包含小型车牌、大型车牌、大型双层车牌、新能源车牌、警牌、军牌、双层军牌等，同时相对罕见的车牌，如偏远地区车牌，更加增加了样本收集工作的难度；更加重要的一点是，在一些过暗、过曝、倾斜角度大、运动模糊、分辨率低、存在遮挡以及极端天气等复杂场景下，收集工作存在更高的难度，但是这部分场景正是车牌识别算法的重要来源；另外，收集好的车牌标注数据会涉及隐私、法律等问题。针对以上问题，有效的虚拟车牌可以节省巨大的人力物力。
[0003]现有技术中为了减少成本，使用计算机图形脚本，按照字体、颜色和构图规则合成车牌图像，但是这些合成图像并不如真实的照片。这种做法训练出的车牌识别模型在真实数据上的效果并不好，模型很容易学习错误的知识。另外早期工作中，会使用计算机图像技术，按照车牌的颜色、字体和字符内容等规则人工合成车牌图片。在合成过程中，通过加入常见的数据增强技术，例如随机裁剪、缩放、旋转，随机亮度、对比度、色度、色饱和度，增加污损、遮挡等方式，使合成的图片更加贴近真实情况下的车牌图片。然而这种通过人工方法合成的车牌图片很难模拟真实场景下车牌图片的诸多细节，图片效果过于单一化。这会导致识别模型学习到错误的知识，无法挖掘车牌图片数据的本质特征，从而使得模型泛化能力下降，在真实数据上的表现效果较差。

技术实现思路

[0004]本专利技术的目的之一在于提供一种基于生成对抗网络的虚拟车牌生成方法，快速生成效果逼真真实车牌的虚拟车牌。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]一种基于生成对抗网络的虚拟车牌生成方法，所述基于生成对抗网络的虚拟车牌生成方法，包括：
[0007]根据车牌组合策略生成初始虚拟车牌，并对初始虚拟车牌自动标注标签；
[0008]对标注后的初始虚拟车牌进行多线程数据增强；
[0009]取经过多线程数据增强后的初始虚拟车牌进行分类，并根据分类结果选取对应类别的生成对抗网络进行风格迁移处理，得到风格化车牌；
[0010]若风格化车牌满足预设条件，则输出风格化车牌作为最终的虚拟车牌；否则选取
交通场景对风格化车牌进行针对性的二次数据增强处理，二次数据增强处理后输出最终的虚拟车牌。
[0011]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0012]作为优选，所述车牌组合策略为省份、市级和车牌类型的组合方式。
[0013]作为优选，所述根据车牌组合策略生成初始虚拟车牌，包括：
[0014]根据所述车牌类型确定车牌底板以及车牌字体；
[0015]根据车牌字体的分布规则在车牌底板上生成对应于省份和市级的车牌号。
[0016]作为优选，所述多线程数据增强，包括：透视变换、仿射变换、车牌变形、运动模糊、天气变换、切边、过曝、低对比度处理、阴阳牌处理、污损处理和部分遮挡处理中一种或多种。
[0017]作为优选，所述对标注后的初始虚拟车牌进行多线程数据增强，包括：对标注后的初始虚拟车牌的全部或部分执行不同组合的数据增强处理。
[0018]作为优选，所述取经过多线程数据增强后的初始虚拟车牌进行分类，包括：根据车牌底色将初始虚拟车牌分为蓝牌、黑牌、黄牌、白牌、绿牌、黄绿牌六种类型。
[0019]作为优选，所述根据分类结果选取对应类别的生成对抗网络进行风格迁移处理，包括：
[0020]对于类型为蓝牌、绿牌和黑牌的初始虚拟车牌采用DSMAP算法进行风格迁移处理，对于类型为白牌的初始虚拟车牌采用AdaIN算法进行风格迁移处理，对于类型为黄牌和黄绿牌的初始虚拟车牌采用SIN算法进行风格迁移处理。
[0021]作为优选，所述风格化迁移处理中，以初始虚拟车牌作为内容图，以真实车牌照片作为风格图。
[0022]本专利技术提供的基于生成对抗网络的虚拟车牌生成方法，根据车牌多种类型进行个性化地进行逐层次地风格迁移，从而达到更加逼真车牌的效果。本方案在第一步进行生成虚拟车牌时，将全部种类车牌考虑进来，基本涵盖所有车牌类型。然后再根据车牌类型和实际罕见场景进行图像增强和GAN的风格迁移，例如阴阳车牌、污损车牌、遮挡车牌等。先进行图像增强再风格迁移，然后根据效果可进行再一次的图像增强，以达到不同场景需求，使生成的虚拟车牌逼近真实车牌。
[0023]本专利技术的目的之二在于提供一种基于生成对抗网络的虚拟车牌生成系统，快速生成效果逼真真实车牌的虚拟车牌。
[0024]为实现上述目的，本专利技术所采取的技术方案为：
[0025]一种基于生成对抗网络的虚拟车牌生成系统，所述基于生成对抗网络的虚拟车牌生成系统，包括：
[0026]车牌生成及标注模块，用于根据车牌组合策略生成初始虚拟车牌，并对初始虚拟车牌自动标注标签；
[0027]多线程数据增强模块，用于对标注后的初始虚拟车牌进行多线程数据增强；
[0028]风格化迁移模块，用于取经过多线程数据增强后的初始虚拟车牌进行分类，并根据分类结果选取对应类别的生成对抗网络进行风格迁移处理，得到风格化车牌；
[0029]二次数据增强模块，用于判断风格化车牌满足预设条件时，则输出风格化车牌作为最终的虚拟车牌；否则选取交通场景对风格化车牌进行针对性的二次数据增强处理，二次数据增强处理后输出最终的虚拟车牌。
[0030]本专利技术提供的基于生成对抗网络的虚拟车牌生成系统，根据车牌多种类型进行个性化地进行逐层次地风格迁移，从而达到更加逼真车牌的效果。本方案在第一步进行生成虚拟车牌时，将全部种类车牌考虑进来，基本涵盖所有车牌类型。然后再根据车牌类型和实际罕见场景进行图像增强和GAN的风格迁移，例如阴阳车牌、污损车牌、遮挡车牌等。先进行图像增强再风格迁移，然后根据效果可进行再一次的图像增强，以达到不同场景需求，使生成的虚拟车牌逼近真实车牌。
[0031]本专利技术的目的之三在于提供一种计算机可读存储介质，执行后快速生成效果逼真真实车牌的虚拟车牌。
[0032]为实现上述目的，本专利技术所采取的技术方案为：
[0033]一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行基于生成对抗网络的虚拟车牌生成方法。...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述基于生成对抗网络的虚拟车牌生成方法，包括：根据车牌组合策略生成初始虚拟车牌，并对初始虚拟车牌自动标注标签；对标注后的初始虚拟车牌进行多线程数据增强；取经过多线程数据增强后的初始虚拟车牌进行分类，并根据分类结果选取对应类别的生成对抗网络进行风格迁移处理，得到风格化车牌；若风格化车牌满足预设条件，则输出风格化车牌作为最终的虚拟车牌；否则选取交通场景对风格化车牌进行针对性的二次数据增强处理，二次数据增强处理后输出最终的虚拟车牌。2.如权利要求1所述的基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述车牌组合策略为省份、市级和车牌类型的组合方式。3.如权利要求2所述的基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述根据车牌组合策略生成初始虚拟车牌，包括：根据所述车牌类型确定车牌底板以及车牌字体；根据车牌字体的分布规则在车牌底板上生成对应于省份和市级的车牌号。4.如权利要求1所述的基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述多线程数据增强，包括：透视变换、仿射变换、车牌变形、运动模糊、天气变换、切边、过曝、低对比度处理、阴阳牌处理、污损处理和部分遮挡处理中一种或多种。5.如权利要求4所述的基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述对标注后的初始虚拟车牌进行多线程数据增强，包括：对标注后的初始虚拟车牌的全部或部分执行不同组合的数据增强处理。6.如权利要求1所述的基于生成对抗网络的虚拟车牌生成方法，其特征在于，所述取经过多线程数据增强后的初始虚拟车牌进行分类，包括：根据车牌...

【专利技术属性】
技术研发人员：万凯文，刘庆杰，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：