基于生成对抗网络的车牌生成方法技术

本发明专利技术涉及一种基于生成对抗网络的车牌生成方法，包括以下步骤：步骤S1:获取用于生成模板车牌的车牌字符库和背景图像；步骤S2:根据车牌构成随机选择字符，使用OpenCV将字符置入背景图像中，合成模板车牌,并对模板车牌进行图像增强；步骤S3:构建基于编码

【技术实现步骤摘要】
基于生成对抗网络的车牌生成方法


[0001]本专利技术涉及计算机
，具体为一种基于生成对抗网络的车牌生成方法。

技术介绍

[0002]在自动车牌识别系统中，车牌识别是非常关键的一环，其性能影响着最终的识别结果。在当前基于深度学习的车牌识别方法中，车牌数据集对识别网络的训练影响显著。通过大规模、覆盖场景广的训练集训练，能够使得识别网络具有更加优秀的泛化性与更强的鲁棒性。但受限于车牌数据集的收集面临诸如收集困难、标注成本高、数据隐私等多种挑战。获取覆盖场景广、数量多的车牌数据集是困难的。因此这就迫切要求能够利用图像合成技术合成大批量的车牌数据并用于训练车牌识别网络。
[0003]近些年，随着图像生成模型的发展，利用生成对抗网络解决车牌数据集的匮乏问题是可行的路径之一。通常情况下，这些生成模型从一个随机噪声开始生成的车牌图像，导致生成的车牌图像对应的车牌号码是随机的，后续还需要人工标注进行车牌号码的标注。这就限制了利用生成模型生成的大规模车牌数据集的能力。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于生成对抗网络的车牌生成方法，，基于编码
‑
解码网络结构，使得能够根据模板车牌，进行有标签的车牌图像生成，解决了传统生成的车牌图像标签随机的问题
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于生成对抗网络的车牌生成方法，包括以下步骤：
[0007]步骤S1:获取用于生成模板车牌的车牌字符库和背景图像；<br/>[0008]步骤S2:根据车牌构成随机选择字符，使用OpenCV将字符置入背景图像中，合成模板车牌,并对模板车牌进行图像增强,得到模板车牌图像集；
[0009]步骤S3:构建基于编码
‑
解码结构的车牌生成网络，包括基于卷积神经网络的车牌编码网络、基于StyleGAN2的解码生成网络、车牌判别器，Patch网络；
[0010]步骤S4:基于真实场景下的车牌图像和模板车牌图像集，构建训练集；
[0011]步骤S5:基于训练集，使用对抗生成模型训练基于编码
‑
解码结构的车牌生成网络，得到训练后的车牌生成网络，用于生成有标签的车牌图像。
[0012]进一步的，所述步骤S2具体为：
[0013]步骤S21:获取蓝色车牌背景图像，横坐标范围为0
‑
440mm；
[0014]步骤S22:随机获取首字符的中文字符图像，使用OpenCV将中文字符放入横坐标起始为15，终止为60的区域内；
[0015]步骤S23:根据标准发牌机关代号，随机选择对应省、自治区、直辖市的第二位英文字符代号,并使用OpenCV将字符放入横坐标起始为72，终止为117的区域内；
[0016]步骤S24:随机选择5位由数字和英文字母构成的序号,使用OpenCV将5为序号逐次
放入相应位置。具体为第1位序号坐标区域为151至196，第2位序号坐标区域为208至253，第3位序号坐标区域为265至310，第4位序号坐标区域为322至357，第5位序号坐标区域为379至424；
[0017]步骤S25:由步骤S12.1至步骤S12.4合成一张车牌图像，并记录了对应的车牌号码；
[0018]步骤S26:对合成的车牌图像随机应用图像增强函数。
[0019]进一步的，所述图像增强函数包括色相、饱和度变化、随机亮度变化、随机应用高斯模糊或运动模糊之一、随机添加图像旋转。
[0020]进一步的，步骤S3具体为：
[0021]步骤S31:构建残差卷积模块，所述残差卷积模块的基本单元为残差卷积模块，残差模块包括卷积分支和残差分支；卷积分支由两个3
×
3的卷积构成，记卷积分支的转换为f1；残差分支由模糊池化和1
×
1卷积级联构成，记残差分支的转换为f2；则对于输入特征x，残差模块的输出y1表示为：
[0022]y1＝Max(0，f1(x)+f2(x))
[0023]步骤S32:构建卷积编码网络，卷积编码网络由输入层的卷积单元和残差单元构成；
[0024]步骤S33:构建StyleGAN2的基本单元，风格模块，其卷积过程使用的卷积参数由调制和解调过程获得
[0025]定义S
i
表示输入特征图的第i层，w
ijk
表示初始权重，w
′
ijk
表示调制后的卷积参数，i和j分别表示遍历输出的第j个特征图和卷积的空间位置j，则w
′
ijk
表示为：
[0026]w
′
ijk
＝s
i
·
w
ijk
[0027]同时，对第j个特征图的卷积参数的标准偏差σ
j
表示为：
[0028][0029]由σ
j
对卷积参数进行解调，获得最终用于卷积的权重w
″
ijk
：
[0030][0031]其中，∈表示极小的非零常数；
[0032]S24：基于风格模块与残差网络构建车牌解码生成网络
[0033]S25：根据步骤S21至步骤S24，对于输入的模板车牌X，使用编码网络Encode和解码生成网络Decode，输出生成的，车牌号码不变，但更加真实的车牌图像Z：
[0034]Z＝Decode(Encode(X))。
[0035]进一步的，卷积编码网络，具体层如下：卷积层Conv 3
×
3，下采样步长为2的残差单元ResBlock1，下采样步长为1的残差单元ResBlock2，下采样步长为1的残差单元ResBlock3；
[0036]由此构成车牌的卷积编码网路，记编码过程为Encode。输入的模板车牌X的高和宽
尺寸为(48，128)，则输出的编码向量Y表示为：
[0037]Y＝Encode(X)
[0038]此时编码向量Y的大小为(C，24，64)，其中C表示编码向量的维度，其由残差单元ResBlock3的特征通道数决定。
[0039]进一步的，车牌解码生成网络，具体为：残差层ResBlock1，残差层ResBlock2，上采样风格模块StyleBlock3，卷积层Conv4。定义解码生成的车牌图像为Z，解码生成网络为Decode，则对输入的编码向量Y，输出的车牌图像Z可表示为：
[0040]Z＝Decode(Y)。
[0041]进一步的，所述步骤S4，具体为：根据步骤S1所述方法，批量生成有标签的模板车牌图像，构成训练集收集真实车牌图像，构成训练集
[0042]进一步的，所述步骤S5具体为：
[0043]S51：构建生成对抗的目标函数。目标函数的第一部分为生成对抗函数，要完成对真实车牌y
b
∈B与生成车牌z的判定，定义判别器为D...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的车牌生成方法，其特征在于，包括以下步骤：步骤S1:获取用于生成模板车牌的车牌字符库和背景图像；步骤S2:根据车牌构成随机选择字符，使用OpenCV将字符置入背景图像中，合成模板车牌，并对模板车牌进行图像增强，得到模板车牌图像集；步骤S3:构建基于编码
‑
解码结构的车牌生成网络，包括基于卷积神经网络的车牌编码网络、基于StyleGAN2的解码生成网络、车牌判别器，Patch网络；步骤S4:基于真实场景下的车牌图像和模板车牌图像集，构建训练集；步骤S5:基于训练集，使用对抗生成模型训练基于编码
‑
解码结构的车牌生成网络，得到训练后的车牌生成网络，用于生成有标签的车牌图像。2.根据权利要求1所述的基于生成对抗网络的车牌生成方法，其特征在于，所述步骤S2具体为：步骤S21:获取蓝色车牌背景图像，横坐标范围为0
‑
440mm；步骤S22:随机获取首字符的中文字符图像，使用OpenCV将中文字符放入横坐标起始为15，终止为60的区域内；步骤S23：根据标准发牌机关代号，随机选择对应省、自治区、直辖市的第二位英文字符代号，并使用OpenCV将字符放入横坐标起始为72，终止为117的区域内；步骤S24：随机选择5位由数字和英文字母构成的序号，使用OpenCV将5为序号逐次放入相应位置。具体为第1位序号坐标区域为151至196，第2位序号坐标区域为208至253，第3位序号坐标区域为265至310，第4位序号坐标区域为322至357，第5位序号坐标区域为379至424；步骤S25：由步骤S12.1至步骤S12.4合成一张车牌图像，并记录了对应的车牌号码；步骤S26：对合成的车牌图像随机应用图像增强函数。3.根据权利要求2所述的基于生成对抗网络的车牌生成方法，其特征在于，所述图像增强函数包括色相、饱和度变化、随机亮度变化、随机应用高斯模糊或运动模糊之一、随机添加图像旋转。4.根据权利要求1所述的基于生成对抗网络的车牌生成方法，其特征在于，所述步骤S3具体为：步骤S31：构建残差卷积模块，所述残差卷积模块的基本单元为残差卷积模块，残差模块包括卷积分支和残差分支；卷积分支由两个3
×
3的卷积构成，记卷积分支的转换为f1；残差分支由模糊池化和1
×
1卷积级联构成，记残差分支的转换为f2；则对于输入特征x，残差模块的输出y1表示为：y1＝Max(0，f1(x)+f2(x))步骤S32：构建卷积编码网络，卷积编码网络由输入层的卷积单元和残差单元构成；步骤S33：构建StyleGAN2的基本单元，风格模块，其卷积过程使用的卷积参数由调制和解调过程获得定义s
i
表示输入特征图的第i层，w
ijk
表示初始权重，w
′
ijk
表示调制后的卷积参数，i和j分别表示遍历输出的第j个特征图和卷积的空间位置j，则w
′
ijk
...

【专利技术属性】
技术研发人员：柯逍，曾淦雄，黄旭，
申请(专利权)人：福州大学，
类型：发明
国别省市：