一种基于级联的车牌检测识别方法和装置制造方法及图纸

本发明专利技术涉及计算机视觉领域，尤其涉及一种基于级联的车牌检测识别方法和装置，该方法包括：步骤一，通过摄像头获取视频图像，使用车牌检测模型，输出每张图像中检测到的车牌矩形边界框和包络框的位置；步骤二，基于步骤一车牌检测的结果，采用仿射变换以得到车牌的正面视角图；步骤三，将所述车牌的正面视角图输入到基于深度卷积神经网络的二分类器中，判断车牌是否为真正的车牌，是则保留，否则移除；步骤四：将步骤三去除假样例后的车牌，通过车牌识别技术实现车牌号码识别，获取检测图像中的所有车牌位置及号码。本发明专利技术实现方法简单，可移植性强，能够实现不限于移动摄像头拍摄的公路上、停车场、小区出入口等场所中车牌的精准识别。别。别。

【技术实现步骤摘要】
一种基于级联的车牌检测识别方法和装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于级联的车牌检测识别方法和装置。

技术介绍

[0002]一些与交通相关的应用，如车辆违停、高速路收费和停车场出入，都涉及到车辆识别，车牌作为汽车的标志具有唯一性，获取了车牌号码，车辆的所有信息(如车种、 车主等)便一目了然，自动车牌识别方法是城市交通治理的关键技术。
[0003]近些年来，利用数字图像处理和深度学习等相关技术开发出来的自动车牌识别系统，取得了很大进步，已在高速路收费站，小区出入口，停车场出入口等地方广泛投入使用，但大多数自动车牌识别系统都是采集车辆和车牌的正面视图，且每次只对一辆车的车牌进行识别，场景单一，效率低下。对于更宽松的图像采集场景，如摄像头监控范围内限定区域违停，采集的图像可能存在着倾斜视图，多辆车辆及光照变化等极具挑战性的问题，这使得现有的车牌检测识别方法难以取得较高的准确率。此外，现有的自动车牌识别系统方案为了提高检测准确率，都是先检测车辆，再在检测出的车辆范围内进行车牌检测，串行使用了两个检测系统，效率低下。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于级联的车牌检测识别方法和装置，其具体技术方案如下：一种基于级联的车牌检测识别方法，包括以下步骤：步骤一，通过摄像头获取视频图像，使用基于深度卷积神经网络的车牌检测模型，输出每张图像中检测到的车牌矩形边界框和包络框的位置；步骤二，基于步骤一车牌检测的结果，采用仿射变换以得到车牌的正面视角图；步骤三，将所述车牌的正面视角图输入到基于深度卷积神经网络的二分类器中，判断车牌是否为真正的车牌，是则保留，否则移除；步骤四：将步骤三去除假样例后的车牌，通过车牌识别技术实现车牌号码识别，获取检测图像中的所有车牌位置及号码。
[0005]进一步的，所述步骤一中的车牌检测模型为YOLOv5深度卷积神经网络，使用CCPD数据集进行预训练，采用车牌四个角点和边界框联合的方式对摄像头获取的图像进行车牌检测，得到输出车牌矩形边界框和四个角点的坐标，所述角点连接形成包络框。
[0006]进一步的，所述步骤二，具体包括以下子步骤：步骤2.1，采用OpenCV的getPerspectiveTransform函数根据源图像和目标图像上的四对点坐标来计算从源图像透视变换到目标图像的透视变换矩阵M；M = getPerspectiveTransform(points1, points2)其中，源图像points1为检测到的车牌四个角点的坐标；设定车牌的尺寸固定，则
目标图像points2为（[0,0],[94,0],[0,24],[94,24]）；步骤2.2，采用OpenCV的warpPerspective函数对步骤一检测到的车牌矩形边界框内的图像进行透视变换得到正面视角的图像，所述透视变换操作的表达式为：Output = warpPerspective(img_box, M, (94, 24))其中img_box为步骤一检测到的车牌矩形边界框内的图像，M为getPerspectiveTransform函数得到的透视变换矩阵。
[0007]进一步的，所述步骤三，具体包括以下子步骤：步骤3.1，构建二分类器的训练数据集；步骤3.2，采用训练数据集对二分类器进行分批次训练，直至收敛；步骤3.3，利用训练好的二分类器，判断出真实车牌并保留。
[0008]进一步的，所述步骤3.1，具体为：在训练阶段，使用车牌检测模型，对车牌检测模型的检测目标置信度设置为低值，将检测结果经过步骤二进行视图矫正后，人工对得到的检测结果进行分类，得到假样例数据集，假样例数据集为非车牌类别的图片组成，再联合真实车牌图像的数据集组成训练数据集。
[0009]进一步的，所述步骤3.2，具体为：选择在ImageNet 数据库上预训练的 ResNet50 深度卷积神经网络模型作为二分类器，分批次读取训练数据集中的车牌数据图像，将车牌数据图像缩放到 （94
×
24）的固定尺寸，并进行归一化操作，每一张输入图像在经过网络前向计算以及最后的全连接层之后，输出预测结果为一个2维的向量x,x={x[1],x[2]}，其中x[1]、x[2]分别代表车牌和非车牌的概率值；最后，计算预测结果x与真值class之间的交叉熵损失，基于计算得到的交叉熵损失，进行网络反向传播操作，通过梯度下降算法来不断更新网络参数，从而最终让网络的预测值逼近真实值。
[0010]进一步的，所述步骤3.3，具体为：对于步骤二输出的车牌的正面视角图，输入到训练好的基于 ResNet50 深度卷积神经网络的二分类器中，最终输出是否车牌的预测结果，是则保留，否则移除。
[0011]一种基于级联的车牌检测识别装置，包括一个或多个处理器，用于实现所述的基于级联的车牌检测识别方法。
[0012]一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于级联的车牌检测识别方法。
[0013]根据以上技术方案，本专利技术的有益效果如下：本专利技术将车牌检测识别分解为四个级联的步骤，使各步骤可以针对性地达成各自的目标，实现方法简单，且各步骤中对应所采用的模块的选择更加灵活，可移植性强；本专利技术不需要进行车辆检测，因此能够实现不限于移动摄像头拍摄的公路上、停车场、小区出入口等场所中车牌的精准识别，在车牌检测矫正后加入车牌分类模块，可以最大限度的去除误检，分类相较检测运行时间更短，可显著提高车牌检测准确性同时提高整个车牌检测识别的效率；本专利技术所采用的级联预测方法，能够更好地适应复杂多变的作业场所，具有实际的应用价值。
附图说明
[0014]图1为本专利技术的一种基于级联的车牌检测识别方法流程示意图；图2为本专利技术实施例提供的一种基于级联的车牌检测识别方法的具体流程框图；图3为本专利技术实施例提供的车牌检测识别流程示例；图4为本专利技术实施例提供的一种基于级联的车牌检测识别装置的结构示意图。
具体实施方式
[0015]为了使本专利技术的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本专利技术作进一步详细说明。
[0016]如图1至图3所示，本专利技术的一种基于级联的车牌检测识别方法，包括以下步骤：步骤一，通过摄像头获取视频图像，使用基于深度卷积神经网络的车牌检测模型，输出每张图像中检测到的车牌矩形边界框和包络框的位置，即检测到目标车牌。
[0017]所述车牌检测模型可同时检测车牌矩形边界框和包络框，选择YOLOv5深度卷积神经网络作为车牌检测模型，并对模型进行修改，采用车牌四个角点和边界框联合的方式进行车牌检测，最后取输出车牌矩形边界框和四个角点的坐标，将角点连接形成包络框。模型准备好后，在CCPD数据集上进行预训练，接着在摄像头拍摄场景数据上进行再训练以得到最终的车牌检测模型。针对监控摄像头拍摄的视频，抽取图片输入到基于角点和边界框联合检测的YOLOv5车牌检测模型中，输出图像中检测到的车牌的位置。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联的车牌检测识别方法，其特征在于，包括以下步骤：步骤一，通过摄像头获取视频图像，使用基于深度卷积神经网络的车牌检测模型，输出每张图像中检测到的车牌矩形边界框和包络框的位置；步骤二，基于步骤一车牌检测的结果，采用仿射变换以得到车牌的正面视角图；步骤三，将所述车牌的正面视角图输入到基于深度卷积神经网络的二分类器中，判断车牌是否为真正的车牌，是则保留，否则移除；步骤四：将步骤三去除假样例后的车牌，通过车牌识别技术实现车牌号码识别，获取检测图像中的所有车牌位置及号码。2.如权利要求1所述的一种基于级联的车牌检测识别方法，其特征在于，所述步骤一中的车牌检测模型为YOLOv5深度卷积神经网络，使用CCPD数据集进行预训练，采用车牌四个角点和边界框联合的方式对摄像头获取的图像进行车牌检测，得到输出车牌矩形边界框和四个角点的坐标，所述角点连接形成包络框。3.如权利要求2所述的一种基于级联的车牌检测识别方法，其特征在于，所述步骤二，具体包括以下子步骤：步骤2.1，采用OpenCV的getPerspectiveTransform函数根据源图像和目标图像上的四对点坐标来计算从源图像透视变换到目标图像的透视变换矩阵M；M = getPerspectiveTransform(points1, points2)其中，源图像points1为检测到的车牌四个角点的坐标；设定车牌的尺寸固定，则目标图像points2为（[0,0],[94,0],[0,24],[94,24]）；步骤2.2，采用OpenCV的warpPerspective函数对步骤一检测到的车牌矩形边界框内的图像进行透视变换得到正面视角的图像，所述透视变换操作的表达式为：Output = warpPerspective(img_box, M, (94, 24))其中img_box为步骤一检测到的车牌矩形边界框内的图像，M为getPerspectiveTransform函数得到的透视变换矩阵。4.如权利要求3所述的一种基于级联的车牌检测识别方法，其特...

【专利技术属性】
技术研发人员：徐芬，虞舒敏，王军，徐晓刚，何鹏飞，徐凯，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：