一种基于语义增强的端到端车牌检测方法技术

本发明专利技术属于车牌检测技术领域，涉及一种基于语义增强的端到端车牌检测方法，先构建数据集，再训练端到端的神经网络来进行车牌字符检测识别，端到端的神经网络包含车牌区域分割网络，并对车牌区域进行语义增强，增强后的特征输入到LSTM方法中进行车牌字符检测识别，得到的结果即为最终得到的车牌检测结果，车牌检测识别速度快，精度高。精度高。精度高。

【技术实现步骤摘要】
一种基于语义增强的端到端车牌检测方法


[0001]本专利技术属于车牌检测
，尤其涉及一种基于语义增强的端到端车牌检测方法。

技术介绍

[0002]随着人工智能与计算机视觉等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，而车牌识别技术在智慧交通体系中扮演了重要角色。正向的车牌检测与识别技术已经比较成熟，而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差。
[0003]现有的侧方位车牌识别的方法都是基于检测的方法，检测出车牌后再检测每个字符，然后把识别的字符连续输出即得到最终的车牌识别结果，这种方法的普遍缺点是速度较慢，如果直接采用LSTM方法来进行整个车牌字符的识别，则会存在识别结果不准的现象。通过分析，现有方法精度不准的主要原因是，在进行车牌检测或分割的时候利用的特征没有充分考虑单个字符的特征，车牌检测或分割的特征不能直接用于字符识别，因此需要对用于车牌检测或分割的特征进一步精细化操作，即语义增强，使得精细化的特征能够更好的用于字符特征提取，语义增强后的车牌特征再进行字符检测识别，从而提升字符检测识别的精度。

技术实现思路

[0004]本专利技术的目的在于克服现有侧方位停车场景下车牌识别速度慢的问题，设计提供一种基于语义增强的端到端车牌检测方法，通过特征进行语义增强实现侧方位停车场景下的快速车牌检测识别。
[0005]为实现上述目的，本专利技术具体包括如下步骤：（1）数据集构建：收集不同侧方位视频桩采集的含有倾斜、畸变车牌的图像，构建车牌数据集，并将数据集划分为训练集、验证集和测试集，对车牌数据集中的图像标注每个车牌四个顶点的位置，通过四个顶点的位置确定出对应车牌区域的部分，用于后续分割标注，并标注区域内的真实车牌值，用于训练车牌字符检测识别；（2）设计端到端的神经网络结构并对车牌图像进行处理：网络结构包括三个功能部分，第一部分是图像分割网络进行车牌区域的分割，第二部分是对提取的车牌区域特征进行语义增强，通过对不同特征层的特征进行卷积处理并融合实现，第三部分是车牌字符检测识别网络对融合后的特征进行车牌字符检测识别；（3）训练网络，得到训练好的参数模型：将数据集中训练集的图像尺寸由192010243缩放成5125123，按照每次训练需要的图像数量依次输入网络，整个网络的能量损失为车牌分割网络损失与车牌字符检测识别网络的能量损失之和，通过反向传播更新参数，经过250次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的端到端的车牌检测网络结构；
（4）通过推理得到结果：将要进行车牌检测的图像输入训练好的端到端的车牌检测网络进行前向推理得到车牌的检测结果。
[0006]作为本专利技术的进一步技术方案，步骤（2）中图像分割网络进行车牌区域分割时，选用的图像分割网络模型为：SOLOv2: Dynamic and Fast Instance Segmentation（2020 NeurIPS），网络结构和分割能量损失均为该模型中采用的结构和损失函数。
[0007]作为本专利技术的进一步技术方案，步骤（2）对提取的车牌区域特征进行语义增强的具体过程为：主干网络选用ResNet50作为特征提取的网络结构，通过对不同层的特征进行卷积操作得到增强的不同层的特征，然后把增强的不同层的特征进行融合，不同层的特征选择主干网络提取的第二阶段和第三阶段特征，第二阶段特征采用四组卷积数为64的卷积模块进行增强，第三阶段特征采用三组卷积数为128和一组卷积数为64的卷积模块进行增强，第三阶段特征的最后一组卷积数为64是为了保证第三阶段特征增强后最后的特征数目跟第二阶段特征增强后的特征数目相同，每个卷积模块均由3
×
3卷积、SReLU激活层组成，不同卷积模块包含的卷积核的个数不同，第三阶段特征经过卷积模块进行特征增强后再进行上采样（放大两倍）得到的特征与第二阶段特征经过卷积模块进行特征增强后的特征进行特征融合，特征融合采用特征图每个位置值相加的方式，融合后的特征根据车牌区域的分割结果进行感兴趣区域特征提取，图像分割网络得到的车牌的区域特征保留，没有车牌的区域特征设置为零。
[0008]作为本专利技术的进一步技术方案，步骤（2）所述车牌字符检测识别网络为带有128个隐藏节点的单层LSTM（长短期记忆）网络，将感兴趣区域特征输入车牌字符检测识别网络进行检测识别。
[0009]与现有技术相比，本专利技术通过构建数据集，训练端到端的神经网络来进行字符识别，端到端的神经网络包含车牌区域分割网络，并对车牌区域进行语义增强，增强后的特征输入到LSTM方法中进行车牌字符检测识别，得到的结果即为最终得到的车牌检测结果，车牌检测识别速度快，精度高。
附图说明
[0010]图1为本专利技术所述端到端的车牌检测网络结构图。
[0011]图2为本专利技术用于增强第二阶段特征的卷积模块结构图。
[0012]图3为本专利技术用于增强第三阶段特征的卷积模块结构图。
[0013]图4为本专利技术的工作流程框图。
具体实施方式
[0014]下面结合附图并通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0015]实施例：本实施例采用如图4所示的流程实现车牌检测，具体实施包括如下步骤：（1）数据集构建：收集不同侧方位视频桩采集的含有倾斜、畸变等车牌的图像，构建车牌数据集，图像中标注每个车牌四个顶点的位置，通过四个顶点的位置确定对应车牌区域的部分，用于
分割标注，另外标注区域内的真实车牌值，用于训练字符识别，最后将数据集划分为训练集、验证集和测试集。
[0016]（2）设计端到端的神经网络结构：端到端利用语义增强进行车牌检测的网络结构包括三个主要部分如图1所示，第一部分是图像分割网络进行车牌区域的分割，第二部分是不同特征层的特征进行卷积处理并融合，第三部分是对融合后的特征进行字符识别，具体为：（2
‑
1）利用图像分割网络用于提取车牌区域，选用图像分割网络对车牌区域进行分割，并设定其能量损失，选用的图像分割网络模型为：SOLOv2: Dynamic and Fast Instance Segmentation（2020 NeurIPS），网络结构和分割能量损失均为该文献中采用的结构和损失函数；（2
‑
2）不同特征层的特征进行卷积处理并融合，不同层的特征选择主干网络提取的第二阶段和第三阶段特征，第二阶段特征采用四组卷积数为64的卷积模块（如图2所示）进行增强，第三阶段特征采用三组卷积数为128和一组卷积数为64的卷积模块（如图3所示）进行增强，第三阶段特征的最后一组卷积数为64是为了保证第三阶段特征增强后最后的特征数目跟第二阶段特征增强后的特征数目相同，每个卷积模块均由3
×
3卷积、SReLU激活层组成，不同卷积模块包含的卷积核的个数不同，第三阶段特征经过卷积模块进行特征增强后再进行上采样（放大两倍）得到的特征与第二阶段特征经过卷积模块进行特征增强后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义增强的端到端车牌检测方法，其特征在于，具体包括如下步骤：步骤一、数据集构建：收集不同侧方位视频桩采集的含有倾斜、畸变车牌的图像，构建车牌数据集，并将数据集划分为训练集、验证集和测试集，对车牌数据集中的图像标注每个车牌四个顶点的位置，通过四个顶点的位置确定出对应车牌区域的部分，用于后续分割标注，并标注区域内的真实车牌值，用于训练车牌字符检测识别；步骤二、设计端到端利用语义增强进行车牌检测的网络结构并对车牌图像进行处理：网络结构包括三个功能部分，第一部分是图像分割网络进行车牌区域的分割，第二部分是对提取的车牌区域特征进行语义增强，通过对不同特征层的特征进行卷积处理并融合实现，第三部分是车牌字符检测识别网络对融合后的特征进行车牌字符检测识别；步骤三、训练网络，得到训练好的参数模型：将数据集中训练集的图像尺寸由192010243缩放成5125123，按照每次训练需要的图像数量依次输入网络，整个网络的能量损失为车牌分割网络损失与车牌字符检测识别网络的能量损失之和，通过反向传播更新参数，经过250次完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的端到端的车牌检测网络结构；步骤四、通过推理得到结果：将要进行车牌检测的图像输入训练好的...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：