一种基于深度学习的车牌检测与车牌识别方法及系统技术方案

本发明专利技术提供一种基于深度学习的车牌检测与车牌识别方法及系统，方法包括：收集图像构建车牌检测数据集；以yolov5算法检测图像中车牌，并定位定位车牌角点；构建车牌识别数据集，采用车牌检测模型，检测当前采集的车辆图像中的车牌，根据角点将车牌通过仿射变换进行矫正，以获取到正面视角的车牌图像；获取并利用ResNet18和双向循环神经网络构建车牌识别网络，利用车牌识别数据集训练车牌识别网络，以获取最优车牌识别模型，以所述最优车牌识别模型中的ResNet18网络提取车牌图像特征矩阵；切分特征矩阵并进行串联；以双向循环神经网络对拼接特征矩阵进行编码，据以得到车牌识别结果。解决了车牌识别速度慢及识别精度低，模型训练部署困难的技术问题。训练部署困难的技术问题。训练部署困难的技术问题。

A method and system of license plate detection and recognition based on deep learning

【技术实现步骤摘要】
一种基于深度学习的车牌检测与车牌识别方法及系统


[0001]本专利技术涉及图像识别领域，涉及一种基于深度学习的车牌检测与车牌识别方法及系统。

技术介绍

[0002]车牌识别技术目前在车辆监控、车辆管理、违章检测、交通控制等领域发挥着重要作用，因此快速且准确的识别车牌号码显得至关重要。目前，车牌识别方法在卡口，如小区门禁、停车场入口等限制场景下均满足使用需求。然而在非卡口且相机距离较远、角度偏差较大的场景下，现有的车牌识别算法在精度和速度上很难满足需求。
[0003]目前比较常见的车牌识别多采用图像处理算法分割出车牌中的每个字符，再单独识别每个字符，操作步骤较为繁琐，同时字符分割错误的情况下会直接导致车牌识别错误，因此无论是识别准确率和速度均不佳。尤其是，在要求同时识别单行车牌和双行车牌时，分割字符的难度进一步上升，识别效果难以满足实际需求。为了满足更多复杂场景下车牌识别的需求，深度学习技术被引入到车牌识别中，通常在检测到车牌区域后，使用一个轻量级卷积神经网络或传统图像处理算法去定位车牌的4个角点，再通过仿射变换对车牌进行校正得到一个正面的车牌图像，最后使用车牌识别模型(卷积神经网络)对整个车牌图像进行一个端到端的识别。如申请号为202011317882.6的专利技术《车牌识别模型训练方法、车牌识别方法及装置》构建双车牌车辆数据集和车牌数据集；基于双车牌车辆数据集训练yolov3－tiny网络模型；对yolov3－tiny的训练模型进行测试保留精度最高的yolov3－tiny网络模型权重；基于车牌数据集训练LPS/CR－NET网络模型，对LPS/CR－NET的训练模型进行网络测试，初步确定精度较好的几个网络模型权重；基于yolov3－tiny的双车牌检测结果和字符排序方法，计算各个初步确定的LPS/CR－NET网络模型权重下的双车牌识别正确率，保留正确率表现最高的LPS/CR－NET网络模型权重。这种车牌识别的方法避免了繁琐的字符分割步骤，校正车牌图像和卷积神经网络识别整个车牌图像的方法也明显识别的准确率，但是采用了过多的深度学习模型，给模型的训练和部署都带来了一定困难。现有技术中存在车牌识别速度慢及识别精度低，模型训练部署困难的技术问题。

技术实现思路

[0004]本专利技术所要解决的技术问题在于如何解决如何在使用更少的深度学习模型的情况下，能够同时识别单行和双行车牌，同时在准确性和速度上均能满足实际复杂场景下的需求的技术问题。
[0005]本专利技术是采用以下技术方案解决上述技术问题的：一种基于深度学习的车牌检测与车牌识别方法包括：
[0006]收集并标注车辆图像样本，据以构建车牌检测数据集；
[0007]改进yolov5网络，增加关键点定位功能，利用所述车牌检测数据集训练yolov5改进网络，据以获取车牌检测模型，据以检测车牌并定位车牌的角点；
[0008]构建车牌识别数据集，采用所述车牌检测模型，检测当前采集的车辆图像中的车牌以及车牌的四个角点，根据所述角点将所述车牌通过仿射变换进行矫正，以获取到正面视角的车牌图像；
[0009]采用ResNet18网络和双向循环神经网络构建车牌识别网络，利用所述车牌识别数据集训练所述车牌识别网络，以所述ResNet18网络提取车牌图像的特征矩阵；
[0010]切分所述车牌图像特征矩阵并进行串联，据以得到拼接特征矩阵；
[0011]以所述双向循环神经网络对所述拼接特征矩阵进行编码，据以得到车牌识别结果。
[0012]本专利技术采用了基于深度学习的目标检测算法yolov5对车牌进行检测，同时定位车牌的4个角点，再根据车牌的角点对受拍摄视角影响造成畸变的车牌图像进行矫正，最后利用卷积神经网络和循环神经网络构成的车牌识别模型对矫正后的车牌图像进行识别，在无需对字符进行分割的情况下完成了车牌识别，即提高了识别的效率，又提高了识别的准确率。
[0013]在更具体的技术方案中，所述收集并标注车辆图像样本，据以构建车牌检测数据集的步骤，包括：
[0014]以传感器采集车辆图像样本；
[0015]使用预置标注工具对所述车辆图像样本中车牌外接矩形框和车牌角点进行样本标注，据以获取车牌标注样本；
[0016]以所述车牌标注样本构建所述车牌检测数据集。
[0017]本专利技术采用了随机缩放、随机裁剪、随机亮度抖动、随机饱和度抖动、随机对比度抖动、随机hue抖动、mixup、mosaic等操作，数据增强操作增加了训练数据集的多样性，可以显著提供模型的算法精度。
[0018]在更具体的技术方案中，所述改进yolov5网络，增加关键点定位功能，利用所述车牌检测数据集训练yolov5改进网络，据以获取车牌检测模型，据以检测车牌并定位车牌角点的步骤，包括：
[0019]修改所述yolov5网络中yolo层中卷积输出通道数量，额外增加8个输出通道，以对应车牌的四个角点；
[0020]构建所述yolov5改进网络，增设关键点损失参数；
[0021]采用COCO数据集上的预训练模型参数初始化所述yolov5改进网络；
[0022]对所述车牌检测数据集进行数据增强，用以训练所述yolov5改进网络，据以获取最优车牌检测模型；
[0023]以所述yolov5改进网络定位所述车牌角点。
[0024]本专利技术针对数据集匮乏和不均衡的问题，额外增加了自动合成的伪造车牌图像，与真实车牌数据进行了1：1的组合，其中单行车牌和双行车牌的比例为0.3：0.2；数据集增加额外自动合成的伪造车牌图像有效提高了车牌识别模型的泛化能力，使得模型具有更高的识别准确率。
[0025]在更具体的技术方案中，所述构建所述yolov5改进网络，增设关键点损失参数的步骤，包括：
[0026]通过下述逻辑，以利用SmoothL1损失函数，对所述yolov5网络预测到的车牌角点
进行回归：
[0027][0028]其中loss(x,y)为所述损失参数，x,y为图像坐标参数。
[0029]本专利技术的SmoothL1损失函数的应用可以在预测的车牌角点和真实角点位置差异较大的情况下，降低反向传播算法时的梯度，起到防止梯度爆炸和网络模型不收敛的情况，使得网络模型训练过程更为平滑。
[0030]在更具体的技术方案中，所述采用ResNet18网络和双向循环神经网络构建车牌识别网络，利用所述车牌识别数据集训练所述车牌识别网络，以所述ResNet18网络提取车牌图像的特征矩阵，其中，所述车牌识别网络的训练流程包括：
[0031]以所述ResNet18网络和所述双向循环神经网络构建所述车牌识别网络；
[0032]随机初始化所述车牌识别网络；
[0033]采用CTC损失函数作为车牌识别网络的损失函数，据以训练所述车牌识别网络；
[0034]以所述车牌识别数据集对所述车牌识别网络完成100epoch训练，据以获取最优车牌识别模型；
[0035]以所述车牌识别网络中的所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的车牌检测与车牌识别方法，其特征在于，所述方法包括：收集并标注车辆图像样本，据以构建车牌检测数据集；改进yolov5网络，增加关键点定位功能，利用所述车牌检测数据集训练yolov5改进网络，据以获取车牌检测模型，据以检测车牌并定位车牌的角点；构建车牌识别数据集，采用所述车牌检测模型，检测当前采集的车辆图像中的车牌以及车牌的四个角点，根据所述角点将所述车牌通过仿射变换进行矫正，以获取到正面视角的车牌图像；采用ResNet18网络和双向循环神经网络构建车牌识别网络，利用所述车牌识别数据集训练所述车牌识别网络，以所述ResNet18网络提取车牌图像的特征矩阵；切分所述车牌图像特征矩阵并进行串联，据以得到拼接特征矩阵；以所述双向循环神经网络对所述拼接特征矩阵进行编码，据以得到车牌识别结果。2.根据权利要求1所述的一种基于深度学习的车牌检测与车牌识别方法，其特征在于，所述收集并标注车辆图像样本，据以构建车牌检测数据集的步骤，包括：以传感器采集车辆图像样本；使用预置标注工具对所述车辆图像样本中车牌外接矩形框和车牌角点进行样本标注，据以获取车牌标注样本；以所述车牌标注样本构建所述车牌检测数据集。3.根据权利要求1所述的一种基于深度学习的车牌检测与车牌识别方法，其特征在于，所述改进yolov5网络，增加关键点定位功能，利用所述车牌检测数据集训练yolov5改进网络，据以获取车牌检测模型，据以检测车牌并定位车牌角点的步骤，包括：修改所述yolov5网络中yolo层的卷积输出通道数量，额外增加8个输出通道，以对应车牌的四个角点；构建所述yolov5改进网络，增设关键点损失参数；采用COCO数据集上的预训练模型参数初始化所述yolov5改进网络；对所述车牌检测数据集进行数据增强，用以训练所述yolov5改进网络，据以获取最优车牌检测模型；以所述yolov5改进网络定位所述车牌角点。4.根据权利要求3所述的一种基于深度学习的车牌检测与车牌识别方法，其特征在于，所述构建所述yolov5改进网络，增设关键点损失参数的步骤，包括：通过下述逻辑，以利用SmoothL1损失函数，对所述yolov5网络预测到的车牌角点进行回归：其中loss(x,y)为所述损失参数，x,y为图像坐标参数。5.根据权利要求1所述的一种基于深度学习的车牌检测与车牌识别方法，其特征在于，所述采用ResNet18网络和双向循环神经网络构建车牌识别网络，利用所述车牌识别数据集训练所述车牌识别网络，以所述ResNet18网络提取车牌图像的特征矩阵，其中，所述车牌识别网络的训练流程包括：
...

【专利技术属性】
技术研发人员：陈锐，刘红奎，钱廷柱，杨广，许玉坤，
申请(专利权)人：合肥科大立安安全技术有限责任公司，
类型：发明
国别省市：