一种基于深度学习的车牌定位和识别方法技术

本发明专利技术提供了一种基于深度学习的车牌定位和识别方法，包括两个方面：基于Faster R‑CNN模型的车牌定位和基于AlexNet‑L网络模型的端对端的车牌字符识别；步骤1，对训练集的车牌区域尺寸应用k‑means++算法处理，选择最佳的候选尺寸，结合到Faster R‑CNN；步骤2，利用Faster R‑CNN训练图片，得到模型；步骤3，输入一张包含车牌的图片，经过卷积处理之后，得到特征图；步骤4，将获取的特征图经过RPN网络输出车牌位置和分数；步骤5，将车牌区域从原图中截取下来；步骤6，截取的车牌区域通过AlexNet‑L网络模型的端对端的卷积神经网络，最终输出车牌上的各个字符，本发明专利技术采用基于Faster R‑CNN的方法进行车牌定位，采用AlexNet‑L的端对端的车牌字符识别方法，可以有效地提高对车牌定位和字符识别的准确率。

【技术实现步骤摘要】
一种基于深度学习的车牌定位和识别方法
本专利技术涉及车牌识别
，具体为一种基于深度学习的车牌定位和识别方法。
技术介绍
车牌识别系统(VehicleLicensePlateRecognition，VLPR)是指能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及号牌颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化监管、闯红灯电子警察、公路收费站等等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实的意义。汽车牌照号码是车辆的唯一“身份”标识，牌照自动识别技术可以在汽车不作任何改动的情况下实现汽车“身份”的自动登记及验证，这项技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合。现有的基于车牌字符分割的车牌识别方法，绝大多数实验是在理想的环境下进行的。一旦遇到诸如车牌模糊，受光照影响大，车牌倾斜等情况，车牌识别的准确率将会大大地降低。除此之外，车牌字符无法正确分割也将直接影响了车牌字符识别的效果。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的车牌定位和识别方法，以解决上述
技术介绍
中提出的问题，本专利技术利用k-means++算法来选择最佳车牌区域尺寸，结合FasterR-CNN来进行车牌定位，且对AlexNet网络模型进行了改进，设计出基于AlexNet-L的端与端的车牌字符识别方法。为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的车牌定位和识别方法，包括两个方面：基于FasterR-CNN模型的车牌定位和基于AlexNet-L网络模型的端对端的车牌字符识别；步骤1，对训练集的车牌区域尺寸应用k-means++算法处理，选择最佳的候选尺寸，结合到FasterR-CNN；步骤2，利用FasterR-CNN训练图片，得到模型；步骤3，输入一张包含车牌的图片，经过卷积处理之后，得到特征图；步骤4，将所得的特征图经过全卷积神经网络RPN处理后，得到候选框，将获取的特征图和候选框一起经过ROIpooling处理后进行分类，输出车牌位置和分数；步骤5，将车牌区域从原图中截取下来；步骤6，截取的车牌区域通过AlexNet-L网络模型的端对端的卷积神经网络，最终输出车牌上的各个字符。进一步的，由于中国的车牌区域比例为440cm*140cm，近似为3∶1，为了确切地反映各种图片中车牌区域的大小，采用k-means++算法来选定3个比例的长宽比；k-means++算法需要采用模型预测的候选框和标记的候选框的交叠率(IoU)为指标，IoU的计算方式为：其中，SgroundTruth表示真实的候选框，SanchorBox表示预测的候选框；k-means++算法得到初始候选框的算法包括以下步骤：S1：k-means++算法的输入为车牌的长度和宽度C＝{d1(x1，y1)，d2(x2，y2)，…，dn(xn，yn)}，以及k个候选框的长宽比；S2：从C中随机选取一个样本为c1(c1∈C)；S3：对于C中每一个样本，计算每个样本到c1的距离：d(bi，c1)＝1-IoU(bi，c1)(2)其中i∈(1，2，3，…，n)；S4：计算每个样本选为下一个质心的概率：S5：定义Si：S6：生成一个0到1之间的随机数r，判断r属于区域{si-1，si}，则bi(xi，yi)是第二个质心：S7：重复步骤S3～S6，直到得到k个质心。进一步的，所述FasterR-CNN模型中的RPN网络，其本质上是在卷积神经网络CNN的基础上增加了全卷基层cls和reg层，其中cls层是用来判断候选框是前景还是背景，而reg层是用来微调候选框；FasterR-CNN的损失函数为：其中，i表示anchor的一个索引，pi是第i个anchor的预测概率，anchor若为正，的值为1，反之，的值为0，ti表示预测边界框的4个参数坐标，表示与正anchor对应的groud-truthbox的坐标向量，分类损失Lcls是2个类别(目标与非目标)的对数损失。进一步的，所述AlexNet-L网络模型是在AlexNet网络模型基础上的一个改进，AlexNet-L网络模型有九层结构，第一、二层均包含了卷积，池化层和归一化；与AlexNet网络模型不同的是，AlexNet-L网络模型的第一层中池化层和归一化操作的顺序不一样；AlexNet-L网络模型的第三层到第五层用了三个相同的卷积操作；第六层使用了卷积层和池化层，第七层是一个全连接层，第八和第九层采用并列的七个全连接层，分别用来对车牌的各个字符进行识别。进一步的，所述AlexNet-L网络模型在AlexNet网络模型基础上进行如下几个方面的改进：①第一层和第二层的改进：将AlexNet中第一层和第二层中归一化和池化层相互调换顺序，即将AlexNet中归一化1，池化层1以及归一化2，池化层2调换顺序；②增加卷积层来提高分类效果：在AlexNet的卷积层3，卷积层4的后面增加一个同样的卷积层；③全连接层的改进：车牌的端对端的字符识别为7个字符，将AlexNet的第七层全连接层更改为7个并列的全连接层，分别获取7个字符的特征向量；④输出层的改进：由于中国的车牌字符有7个字符，最终的输出应该是7个标签，将AlexNet网络的第八个全连接层更改为并列的7个全连接层，并与前一层7个并列的全连接层分别相连，对于最后一个全连接层，每个类别对应的标签数并不唯一。进一步的，所述AlexNet-L网络模型的输出层采用Softmax回归函数分类，Soffmax公式为：g代表分类数，d是g的训练函数；AlexNet-L网络模型中卷积操作的计算过程为：O＝(I+2×P-K)/S+1(7)其中，O为输出数据的大小(图片的长度或宽度)，I为输入数据的大小(图片的长度或宽度)，P为pad，表示是否需要在宽度和高度两边填充像素，K为kernel_size，表示卷积和的大小，S为stride，表示步长；池化层的操作计算过程为：O＝(I-K)/S+1(8)其中，各参数的含义跟公式(7)中一样；AlexNet-L网络中，与每个卷积层相连的激活函数选择用ReLu：ReLu(x)＝Max(x，0)(9)与现有技术相比，本专利技术的有益效果是：本专利技术采用基于FasterR-CNN的方法进行车牌定位，利用k-means++算法来选取最佳车牌区域，结合FasterR-CNN进行车牌定位，来提高车牌定位的准确率，采用基于AlexNet改进的AlexNet-L的端对端的车牌字符识别方法，一方面可以减少现有的基于车牌字符分割的车牌识别方法中的车牌字符分割结果对车牌字符识别影响；另一方面，还可以提高车牌识别的准确率。附图说明图1为本专利技术基于深度学习的车牌定位和识别框架图；图2为本专利技术FasterR-CNN模型图；图3为本专利技术k-means++算法结合车牌获取anchors过程图；图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车牌定位和识别方法，其特征在于：包括两个方面：基于Faster R‑CNN模型的车牌定位和基于AlexNet‑L网络模型的端对端的车牌字符识别；步骤1，对训练集的车牌区域尺寸应用k‑means++算法处理，选择最佳的候选尺寸，结合到Faster R‑CNN；步骤2，利用Faster R‑CNN训练图片，得到模型；步骤3，输入一张包含车牌的图片，经过卷积处理之后，得到特征图；步骤4，将所得的特征图经过全卷积神经网络RPN处理后，得到候选框，将获取的特征图和候选框一起经过ROI pooling处理后进行分类，输出车牌位置和分数；步骤5，将车牌区域从原图中截取下来；步骤6，截取的车牌区域通过AlexNet‑L网络模型的端对端的卷积神经网络，最终输出车牌上的各个字符。

【技术特征摘要】
1.一种基于深度学习的车牌定位和识别方法，其特征在于：包括两个方面：基于FasterR-CNN模型的车牌定位和基于AlexNet-L网络模型的端对端的车牌字符识别；步骤1，对训练集的车牌区域尺寸应用k-means++算法处理，选择最佳的候选尺寸，结合到FasterR-CNN；步骤2，利用FasterR-CNN训练图片，得到模型；步骤3，输入一张包含车牌的图片，经过卷积处理之后，得到特征图；步骤4，将所得的特征图经过全卷积神经网络RPN处理后，得到候选框，将获取的特征图和候选框一起经过ROIpooling处理后进行分类，输出车牌位置和分数；步骤5，将车牌区域从原图中截取下来；步骤6，截取的车牌区域通过AlexNet-L网络模型的端对端的卷积神经网络，最终输出车牌上的各个字符。2.根据权利要求1所述的一种基于深度学习的车牌定位和识别方法，其特征在于：由于中国的车牌区域比例为440cm*140cm，近似为3∶1，为了确切地反映各种图片中车牌区域的大小，采用k-means++算法来选定3个比例的长宽比；k-means++算法需要采用模型预测的候选框和标记的候选框的交叠率(IoU)为指标，IoU的计算方式为：其中，SgroundTruth表示真实的候选框，SanchorBox表示预测的候选框；k-means++算法得到初始候选框的算法包括以下步骤：S1：k-means++算法的输入为车牌的长度和宽度C＝{d1(x1，y1)，d2(x2，y2)，…，dn(xn，yn)}，以及k个候选框的长宽比；Ｓ2：从C中随机选取一个样本为c1(c1∈C)；S3：对于C中每一个样本，计算每个样本到c1的距离：d(bi，c1)＝1-IoU(bi，c1)(2)其中i∈(1，2，3，…，n)；S4：计算每个样本选为下一个质心的概率：S5：定义Si：S6：生成一个0到1之间的随机数r，判断r属于区域{si-1，si}，则bi(xi，yi)是第二个质心；S7：重复步骤S3～S6，直到得到k个质心。3.根据权利要求1所述的一种基于深度学习的车牌定位和识别方法，其特征在于：所述FasterR-CNN模型中的RPN网络，其本质上是在卷积神经网络CNN的基础上增加了全卷基层cls和reg层，其中cls层是用来判断候选框是前景还是背景，而reg层是用来微调候选框；FasterR-CNN的损失函数为：其中，i表示anchor的一个索引，pi是第i个anchor的预测概率，anchor若为正，的值为1，反之，的值为0，ti表示预测...

【专利技术属性】
技术研发人员：闵卫东，李祥鹏，赵浩宇，黄杰，韩清，刘瑞康，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西,36