基于生成对抗网络数据增强的轻量级车牌识别方法技术

本发明专利技术提供基于生成对抗网络数据增强的轻量级车牌识别方法，涉及智能交通技术领域，本申请提出了一个无需字符分割的端到端的轻量级全卷积车牌识别网络LPRNeXt，输入车牌图像后可以直接输出车牌号码。该网络鲁棒性强，识别准确率高，处理速度快，并使用车牌生成网络进行数据增强，生成的虚拟车牌数据集，解决了车牌数据集CCPD2019中存在的样本不均问题，进一步提高了车牌识别准确率。进一步提高了车牌识别准确率。进一步提高了车牌识别准确率。

【技术实现步骤摘要】
基于生成对抗网络数据增强的轻量级车牌识别方法


[0001]本专利技术涉及智能交通
，尤其涉及一种基于生成对抗网络数据增强的轻量级车牌识别方法。

技术介绍

[0002]车牌识别技术是智能交通和计算机视觉领域中十分重要的技术，其被广泛应用于城市交通管理，停车场及小区的出入口，高速公路收费站等场所。
[0003]车牌识别技术的快速发展便利了人们的日常生活，但该技术仍然面临着一些挑战：首先，传统车牌识别技术的泛化能力较差，即当环境较为复杂，车牌倾斜程度较大时，模型识别准确率差；同时，基于深度学习的车牌识别技术虽然泛化能力强，但当数据不足时，模型无法充分训练，识别准确率低。
[0004]目前大部分基于神经网络的车牌识别模型都采用卷积神经网络和循环神经网络相结合的方式实现车牌识别，整体模型不够统一。另外传统的车牌识别算法需要进行字符分割，而传统的字符分割方法鲁棒性较差。此外，先前的车牌识别模型都关注于改进模型本身，忽略了数据集对模型性能的影响。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中的车牌识别模型都关注于改进模型本身，忽略了数据集对模型性能的影响。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种车牌识别网络的搭建方法，其特征在于：包含以下步骤：
[0008]S1：将输入车牌图像的尺寸调整为94*24*3；
[0009]S2：采用下采样层Down Sample1对输入车牌图像进行特征提取并实现下采样；/>[0010]S3：使用ConvNeXt Block对特征图进行进一步特征提取；
[0011]S4：使用Down Sample2对图像进行下采样，并用两个ConvNeXt Block进一步提取特征；
[0012]S5：使用Down Sample2再次对图像进行下采样，并用两个Conv2D提取特征图的深层语义信息；
[0013]S6：拼接Down Sample1，第一个ConvNeXt Block，第三个ConvNeXt Block和第二个Conv2D的输出特征图；
[0014]S7：使用一个卷积核大小为1*1的卷积层，实现对车牌字符的预测。
[0015]优选的，所述Down Sample为独立的下采样层，所述Down Sample包括采样卷积层和采样层归一化构成。
[0016]优选的，所述特征提取模块由深度卷积、提取层归一化、第一卷积层、GeLU激活函数、第二卷积层和DropPath组成。
[0017]优选的，所述采样卷积层、第一卷积层及第二卷积层的输出特征通道数的比例为
1:4:1。
[0018]优选的，所述采样卷积层的卷积核大小为5*5，所述第一卷积层和第二卷积层的卷积核大小为1*1。
[0019]优选的，所述S6中第二个Conv2D使用卷积核大小为1*13的宽卷积。
[0020]本申请还提供一种车牌识别网络，使用上述所述的搭建方法进行搭建。
[0021]优选的，所述车牌识别网络采用CTC loss作为损失函数，公式如下：
[0022][0023]x是网络输出的预测结果，它由一系列字符和空白符
’‑’
组成，将x的概率定义为p(x|y)，其中(x|y)，其中为序列中第t个字符为π
t
的概率，首先计算将输入x映射为l后的字符的条件概率之和，接着取负对数，即可得到CTC loss。
[0024]本申请还提供了一种车牌识别网络的训练方法，包含以下步骤：对现实车牌数据集中的每一幅图像进行阈值分割；将阈值分割后的二值图像与对应的原图像作为一对样本；将每一对样本输入车牌生成网络进行模型训练；
[0025]本专利技术提出了一个车牌识别网络的搭建方法，搭建了使用车牌生成网络生成逼真虚拟车牌图像的方法，该方法生成的虚拟车牌图像可直接用于车牌识别网络的训练，在样本不充分的条件下，能极大提高模型的识别准确率。同时，采用虚拟车牌图像训练的方式能够节省大量对图像打标注的时间，这能够有效地减少打标注所消耗的人力资源成本。提出的轻量级车牌识别网络LPRNeXt鲁棒性强，检测速度快，具备嵌入到硬件设备中的潜力，可以满足实际环境下鲁棒，有效的车牌检测，可以实现无人值守的停车场管理，新冠疫情情况下的自动车辆管理等。
附图说明
[0026]图1为本专利技术一实施方式中LPRNeXt网络结构示意图；
[0027]图2为本专利技术一实施方式中使用车牌生成网络模型产生虚拟车牌图像的过程流程图；
[0028]图3为本专利技术一实施方式中模型推理流程图；
[0029]图4为本专利技术一实施方式中模型训练流程图。
具体实施方式
[0030]以下结合具体实施例，对本专利技术作进一步地详细说明。
[0031]请参阅图1，一种车牌识别网络LPRNeXt的搭建方法，包含以下方法：
[0032]S1：将输入车牌图像的尺寸调整为94*24*3；
[0033]S2：采用下采样层Down Sample1对输入车牌图像进行特征提取并实现下采样；
[0034]S3：使用ConvNeXt Block对特征图进行进一步特征提取；
[0035]S4：使用Down Sample2对图像进行下采样，并用两个ConvNeXt Block进一步提取特征；
[0036]S5：使用Down Sample2再次对图像进行下采样，并用两个Conv2D提取特征图的深
层语义信息；
[0037]S6：拼接Down Sample1，第一个ConvNeXt Block，第三个ConvNeXt Block和第二个Conv2D的输出特征图；
[0038]S7：使用一个卷积核大小为1*1的卷积层，实现对车牌字符的预测。
[0039]本申请还提供了一种车牌识别网络LPRNeXt，使用上述搭建方法搭建得到，所述LPRNeXt是一种可以实现车牌识别的全卷积神经网络，其网络结构如图3所示，所述LPRNeXt用于接收宽高为94*24的RGB图像作为输入，Down Sample是一个独立的下采样层，由一个卷积层(Conv2D)和一个层归一化(LN)构成。
[0040]ConvNeXt Block是LPRNeXt中基础的特征提取模块，由深度卷积(Depthwise Conv2D)，层归一化(LN)，卷积层(Conv2D)，GeLU激活函数，卷积层(Conv2D)和DropPath组成，其中三个卷积层的输出特征通道数的比例为1:4:1，第一个卷积层的卷积核大小为5*5，后两个卷积层的卷积核大小为1*1，这样的结构能使ConvNeXt Block更有效地进行特征提取。
[0041]LPRNeXt的倒数第二个卷积层使用卷积核大小为1*13的宽卷积，其充分利用了局部文字的语义信息，同时拼接来自三个不同层的输出特征图，最后使用一个卷积核大小为1*1，步长为1的卷积层将拼接后的特征图的通道数压缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌识别网络的搭建方法，其特征在于：包含以下步骤：S1：将输入车牌图像的尺寸调整为94*24*3；S2：采用下采样层Down Sample1对输入车牌图像进行特征提取并实现下采样；S3：使用ConvNeXt Block对特征图进行进一步特征提取；S4：使用Down Sample2对图像进行下采样，并用两个ConvNeXt Block进一步提取特征；S5：使用Down Sample2再次对图像进行下采样，并用两个Conv2D提取特征图的深层语义信息；S6：拼接Down Sample1，第一个ConvNeXt Block，第三个ConvNeXt Block和第二个Conv2D的输出特征图；S7：使用一个卷积核大小为1*1的卷积层，实现对车牌字符的预测。2.根据权利要求1所述的一种车牌识别网络的搭建方法，其特征在于：所述Down Sample为独立的下采样层，所述Down Sample包括采样卷积层和采样层归一化构成。3.根据权利要求2所述的一种车牌识别网络的搭建方法，其特征在于：所述特征提取模块由深度卷积、提取层归一化、第一卷积层、GeLU激活函数、第二卷积层和DropPath组成。4.根据权利要求3所述的一种车牌识别网...

【专利技术属性】
技术研发人员：邵叶秦，吕昌，尹和，王梓腾，张若为，李泽漩，王海权，
申请(专利权)人：南通大学，
类型：发明
国别省市：