基于CycleGAN网络模型的车牌样本生成方法及系统技术方案

本发明专利技术提供了一种基于CycleGAN网络模型的车牌样本生成方法及系统，包括：将成对的合成车牌图片和真实车牌图片分别输入至生成网络A和生成网络B；生成网络A输出伪真实车牌图片，并和真实车牌图片成对地输入判别网络B，输出判别结果反馈到生成网络A；生成网络B输出伪合成车牌图片并和合成车牌图片成对地输入判别网络A，输出判别结果反馈到生成网络B；判别网络A、判别网络B分别根据成对的伪车牌图片和车牌图片进行训练，从而更新判别网络的权重；生成网络A、生成网络B分别根据判别网络A、判别网络B的反馈结果进行训练，从而更新生成网络的权重，重复上述步骤直至权重满足预设值。本发明专利技术极大地提升合成车牌图片的效果和质量。

【技术实现步骤摘要】
基于CycleGAN网络模型的车牌样本生成方法及系统
本专利技术涉及计算机视觉的OCR领域和图像生成
，具体地，涉及一种基于CycleGAN网络模型的车牌样本生成方法及系统。
技术介绍
随着经济社会的高速发展，机动车辆的数目也在不断增加。实现对车辆身份自动识别，能够提高车辆的管理效率、降低人力成本。因此，车牌识别技术成为近几年研究的热点。目前常见的车牌识别技术可分为基于字符分割的识别技术和基于端到端网络的识别技术。基于字符分割的识别技术，即将车牌内容分割成多个单一的字符，随后逐个对这些字符进行识别，最后根据识别结果依次组合为车牌号码。这种方法的优点是不需要收集大量的车牌标注样本，缺点是损失了车牌的语义信息导致鲁棒性较差，且处理时延高；基于端到端网络的识别技术优点在于鲁棒性好、准确率高、处理速度快，缺点是需要收集大量的车牌标注样本用于训练。然而，为了获取满足训练要求的车牌标注数据，需要耗费大量的时间、资金和人力进行收集和标注工作。首先，车牌的种类繁多，包含小型车牌、大型车牌、大型双层车牌、新能源车牌、警牌、军牌、双层军牌等，相对罕见的车牌增加了样本收集工作的难度；其次，各省市的车牌内容也存在差异，需要对每个地区进行同样的重复收集；重要的是，在一些过暗、过曝、倾斜角度大、运动模糊、分辨率低、存在遮挡以及极端天气等复杂场景下，收集工作存在更高的难度；最后，收集好的车牌标注数据会存在隐私、法律等问题。为了减少成本，得到足够多的车牌标注数据，在早期工作中，会使用计算机图像技术，按照车牌的颜色、字体和字符内容等规则人工合成车牌图片。在合成过程中，通过加入常见的数据增强技术，例如随机裁剪、缩放、旋转，随机亮度、对比度、色度、色饱和度，增加污损、遮挡等方式，使合成的图片更加贴近真实情况下的车牌图片。然而这种通过人工方法合成的车牌图片很难模拟真实场景下车牌图片的诸多细节，图片效果过于单一化。这会导致识别模型学习到错误的知识，无法挖掘车牌图片数据的本质特征，从而使得模型泛化能力下降，在真实数据上的表现效果较差。循环一致性生成对抗网络(CycleGAN)(ZhuJY,ParkT,IsolaP,etal.UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks[J].2017.)是生成对抗网络(GAN)(GoodfellowI,Pouget-AbadieJ,MirzaM,etal.Generativeadversarialnets[C].2014.)的一种变体，其目的在于通过加入循环一致性条件来约束GAN的生成网络，利用重构误差的强引导信息，引导模型在迁移的时候保留图像固有的属性，加快模型的收敛速度，并能提升生成网络的稳定。目前，CycleGAN在合成数据(SynthesisData)到真实数据(RealData)的风格迁移任务中已得到了相对广泛的应用。论文(WangX,ManZ,YouM,etal.AdversarialGenerationofTrainingExamples:ApplicationstoMovingVehicleLicensePlateRecognition[J].2017.)最早尝试使用CycleGAN来生成车牌图片，然而文章中提出的方法只限于生成小型车牌和大型车牌，而不能生成其他种类的车牌；并且，该方法生成车牌的实际效果还不能满足应用的需求。专利CN110610124A公开了一种基于生成对抗网络的图像生成方法，该方法用谱归一化改进了pix2pix方法，但是该方法存在操作步骤复杂，生成图片样式缺乏多样性等问题。专利文献CN109190620A(申请号：201811019752.7)公开了一种车牌样本生成方法、系统、设备及存储介质，所述方法包括如下步骤：获取预设的车牌图像参数；根据所述车牌图像参数合成车牌图像；将所述车牌图像输入训练好的循环生成对抗网络的第一生成器中，得到输出的车牌样本。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于CycleGAN网络模型的车牌样本生成方法及系统。根据本专利技术提供的一种基于CycleGAN网络模型的车牌样本生成方法，包括：步骤M1：将成对的合成车牌图片和真实车牌图片输入CycleGAN网络模型，合成车牌图片输入至生成网络A，真实车牌图片输入至生成网络B；步骤M2：生成网络A输出伪真实车牌图片，伪真实车牌图片和真实车牌图片成对地输入判别网络B，判别网络B输出伪真实车牌图片是否为真实车牌的判别结果，并将结果反馈到生成网络A；步骤M3：生成网络B输出伪合成车牌图片，伪合成车牌图片和合成车牌图片成对地输入判别网络A，判别网络A输出伪合成车牌图片是否为合成车牌的判别结果，并将结果反馈到生成网络B；步骤M4:判别网络A、判别网络B分别根据成对的伪车牌图片和车牌图片进行训练，从而更新判别网络的权重；生成网络A、生成网络B分别根据判别网络A、判别网络B的反馈结果进行训练，从而更新生成网络的权重，重复执行步骤M1至步骤M4，直至CycleGAN网络模型权重满足预设值；步骤M5：将合成车牌图片输入训练完成的生成网络A，得到接近于实际真实情况下的伪真实车牌图片。优选地，所述合成车牌图片使用包括计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法生成的合成车牌图片；所述真实车牌图片包括在实际真实环境下采集的真实车牌图片。优选地，所述步骤M4包括：训练判别网络A步骤：成对的伪合成车牌图片和合成车牌图片训练判别网络A，根据判别网络A的损失函数对判别网络A的权重进行更新，判别网络A的损失函数公式如下：其中，表示合成车牌图片的数据分布，DA(x)表示判别网络A的判别函数；表示伪合成车牌图片的数据分布，Ex表示期望，pA表示伪合成车牌图片集合，pB2A表示真实车牌图片集合；训练判别网络B步骤：成对的伪真实车牌图片和真实车牌图片训练判别网络B，根据判别网络B的损失函数对判别网络B的权重进行更新，判别网络B的损失函数公式如下：其中，表示真实车牌图片的数据分布；DB(x)为判别网络B的判别函数，表示伪真实车牌图片的数据分布，PB表示伪真实车牌图片集合，PA2B表示真实车牌图片集合。优选地，所述步骤M4包括：训练生成网络A步骤：判别网络B的判别结果训练生成网络A，根据生成网络A的损失函数对生成网络A的权重进行更新，生成网络A的损失函数如下所示：其中，表示伪真实车牌图片的数据分布；DB(x)为判别网络B的判别函数；λ循环一致性损失对生成网络A的损失函数占比的权重参数，表示真实车牌图片的数据分布，x为集合中的元素，GAB(x)生成网络A的生成函数；GBA(x)为生成网络B的生成函数；训练生成网络B步骤：判别网络A的判别结果训练生成网络B，根据生成网络B的损失函数对生成网络B的权重进行更新，生成网络B的损失本文档来自技高网...

【技术保护点】
1.一种基于CycleGAN网络模型的车牌样本生成方法，其特征在于，包括：/n步骤M1：将成对的合成车牌图片和真实车牌图片输入CycleGAN网络模型，合成车牌图片输入至生成网络A，真实车牌图片输入至生成网络B；/n步骤M2：生成网络A输出伪真实车牌图片，伪真实车牌图片和真实车牌图片成对地输入判别网络B，判别网络B输出伪真实车牌图片是否为真实车牌的判别结果，并将结果反馈到生成网络A；/n步骤M3：生成网络B输出伪合成车牌图片，伪合成车牌图片和合成车牌图片成对地输入判别网络A，判别网络A输出伪合成车牌图片是否为合成车牌的判别结果，并将结果反馈到生成网络B；/n步骤M4：判别网络A、判别网络B分别根据成对的伪车牌图片和车牌图片进行训练，从而更新判别网络的权重；生成网络A、生成网络B分别根据判别网络A、判别网络B的反馈结果进行训练，从而更新生成网络的权重，重复执行步骤M1至步骤M4，直至CycleGAN网络模型权重满足预设值；/n步骤M5：将合成车牌图片输入训练完成的生成网络A，得到接近于实际真实情况下的伪真实车牌图片。/n

【技术特征摘要】
1.一种基于CycleGAN网络模型的车牌样本生成方法，其特征在于，包括：
步骤M1：将成对的合成车牌图片和真实车牌图片输入CycleGAN网络模型，合成车牌图片输入至生成网络A，真实车牌图片输入至生成网络B；
步骤M2：生成网络A输出伪真实车牌图片，伪真实车牌图片和真实车牌图片成对地输入判别网络B，判别网络B输出伪真实车牌图片是否为真实车牌的判别结果，并将结果反馈到生成网络A；
步骤M3：生成网络B输出伪合成车牌图片，伪合成车牌图片和合成车牌图片成对地输入判别网络A，判别网络A输出伪合成车牌图片是否为合成车牌的判别结果，并将结果反馈到生成网络B；
步骤M4：判别网络A、判别网络B分别根据成对的伪车牌图片和车牌图片进行训练，从而更新判别网络的权重；生成网络A、生成网络B分别根据判别网络A、判别网络B的反馈结果进行训练，从而更新生成网络的权重，重复执行步骤M1至步骤M4，直至CycleGAN网络模型权重满足预设值；
步骤M5：将合成车牌图片输入训练完成的生成网络A，得到接近于实际真实情况下的伪真实车牌图片。


2.根据权利要求1所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，所述合成车牌图片使用包括计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法生成的合成车牌图片；
所述真实车牌图片包括在实际真实环境下采集的真实车牌图片。


3.根据权利要求1所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，所述步骤M4包括：
训练判别网络A步骤：成对的伪合成车牌图片和合成车牌图片训练判别网络A，根据判别网络A的损失函数对判别网络A的权重进行更新，判别网络A的损失函数公式如下：



其中，表示合成车牌图片的数据分布，DA(x)表示判别网络A的判别函数；表示伪合成车牌图片的数据分布，Ex表示期望，pA表示伪合成车牌图片集合，pB2A表示真实车牌图片集合；
训练判别网络B步骤：成对的伪真实车牌图片和真实车牌图片训练判别网络B，根据判别网络B的损失函数对判别网络B的权重进行更新，判别网络B的损失函数公式如下：



其中，表示真实车牌图片的数据分布；DB(x)为判别网络B的判别函数，表示伪真实车牌图片的数据分布，PB表示伪真实车牌图片集合，PA2B表示真实车牌图片集合。


4.根据权利要求3所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，所述步骤M4包括：
训练生成网络A步骤：判别网络B的判别结果训练生成网络A，根据生成网络A的损失函数对生成网络A的权重进行更新，生成网络A的损失函数如下所示：



其中，表示伪真实车牌图片的数据分布；DB(x)为判别网络B的判别函数；λ表示循环一致性损失对生成网络A的损失函数占比的权重参数，表示真实车牌图片的数据分布，x为集合中的元素，GAB(x)生成网络A的生成函数；GBA(x)为生成网络B的生成函数；
训练生成网络B步骤：判别网络A的判别结果训练生成网络B，根据生成网络B的损失函数对生成网络B的权重进行更新，生成网络B的损失函数如下所示：



其中，表示伪合成车牌图片的数据分布，DA(x)为判别网络A的判别函数；λ表示循环一致性损失对生成网络B的损失函数占比的权重参数，表示合成车牌图片的数据分布，x为集合中的元素，GAB(x)生成网络A的生成函数；GBA(x)为生成网络B的生成函数。


5.根据权利要求4所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，所述循环一致性损失作为约束条件，保证生成网络A、生成网络B满足循环一致性；



其中，λ1表示生成网络A的循环一致性损失函数的权重参数；λ2表示生成网络B的循环一致性损失函数的权重参数，用于调整每一部分损失对循环一致性损失的重要程度。


6.根据权利要求1所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，还包括联合优化CycleGAN网络模型中全体参数的总损失函数，用于评估CycleGAN网络模型；



其中，LGA表示生成网络A的损失函数；LGB表示生成网络B的损失函数；LDB表示判别网络B的损失函数；LDA表示判别网络A的损失函数。


7.根据权利要求1所述的基于CycleGAN网络模型的车牌样本生成方法，其特征在于，所述步骤M5包括：将合成车牌图片输入训练完成的生成...

【专利技术属性】
技术研发人员：孙锬锋，蒋兴浩，李季，许可，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31