一种基于卷积神经网络的车牌识别方法技术

本发明专利技术公开了一种基于卷积神经网络的车牌识别方法，首先对车牌图像进行预处理，构建车牌训练样本集；再构建由CNN卷积网络层、RPN候选区域提取层、ROI pooling层和判别层组成的Faster R‑CNN网络模型；通过多任务损失不断训练模型，生成一个准确率高的Faster R‑CNN网络模型；最后利用训练好的Faster R‑CNN网络模型进行车牌识别，获取车牌字符框位置信息与类别信息，再利用先验知识对字符位置进行判定，对识别的车牌字符进行排序整合，输出车牌识别结果。本发明专利技术所述的方法利用卷积神经网络完成车牌识别，能够更快速准确地完成车牌识别，避免了传统算法中过多的步骤造成的误差累计问题。

【技术实现步骤摘要】
一种基于卷积神经网络的车牌识别方法
本专利技术涉及图像处理及计算机视觉识别
，尤其涉及一种基于卷积神经网络的车牌识别方法。
技术介绍
随着城市车辆的日益增多，交通管理的压力也逐年增大，车辆检测与识别技术依然是一个需要不断创新的热点。对于车牌检测与识别在特定场合已经可以做到准确识别，例如逐渐成熟的无人停车场，通过图像处理技术手段对出入的车辆进行车牌识别，进行计时和自助收费。在道路交通的现实环境中，车牌检测与识别的技术应用具有重要意义，如公路收费、交通流量管控、车辆定位与监测、汽车防盗、违法驾驶自动监管和电子警察等现实应用。近些年来，图像处理技术的发展也让车牌识别的方法多种多样。传统的车牌识别技术主要有：基于SVM分类器的方法和基于模板匹配的方法。传统图像算法车牌识别步骤为：对车牌图片矫正，修正角度偏差过大的图片；对矫正后的车牌图片进行字符分割，提取单个的候选字符框；利用训练好的模型对分割后的候选字符框分类判别，组合识别结果，最终输出车牌信息。采用传统的算法有一定的缺陷，在车牌字符预处理时设定阈值不妥当就可能导致识别的精度不高；对于现代车牌的颜色类别多种多样，利用传统图像手段区分车牌颜色时存在相应的分类误差；车牌旋转调整、车牌字符分割和车牌字符识别等各个部分也一样存在误差，全部的误差累计起来很难做到一个通用性高、准确率高的技术方案。本专利技术提出一种基于卷积神经网络的车牌识别方法，将FasterR-CNN网络中的目标检测方法应用于车牌识别。卷积神经网络中目标检测算法在最后区分的是待检测物体和背景的差别，将检测网络经过改进后，把原有的二分类问题变成一个多分类问题，可以实现车牌字符的分类检测，从而利用卷积神经网络完成对车牌的准确识别。
技术实现思路
针对上述的技术背景，为解决上述问题，本专利技术提出一种基于卷积神经网络的车牌识别方法，通过构建FasterR-CNN网络模型，利用CNN(ConvolutionalNeuralNetworks)卷积网络层对输入图像做特征提取，产生特征平面(Featuremap)；再利用RPN(RegionProposalNetworks)候选区域提取网络对特征平面进行物体检测，形成相应的候选框信息(proposalrois)；将提取的候选框信息与特征平面一起输入到ROIPooling层进行crop、resize、Flatten操作后再通过判别层输出车牌中车牌字符的位置信息与类别信息，完成车牌字符检测；再通过先验知识组合检测出的车牌字符，即完成车牌识别目标。利用卷积神经网络进行车牌识别的优点是：对输入车牌图像可直接识别，不需要旋转、分割等操作，没有繁多的图像处理步骤，误差的累积就会降低，准确率得到有效提高，使用起来更加快速方便，输入车牌图像直接送入网络检测即可完成车牌识别。实现本专利技术之技术目的所采用的技术方案如下：一种基于卷积神经网络的车牌识别方法，包括如下的实施步骤：步骤S1、对车牌图像进行预处理，包括对车牌图像中的字符进行标注，标注车牌字符的位置信息与类别信息，构建车牌训练样本集；步骤S2、构建FasterR-CNN网络模型，具体由CNN卷积网络层、RPN候选区域提取层、ROIpooling层和判别层组成；步骤S3、训练网络模型，通过多任务损失不断训练模型，生成一个准确率高的FasterR-CNN网络模型；步骤S4、利用训练好的FasterR-CNN网络模型进行车牌识别，获取车牌字符框位置信息与类别信息，再利用先验知识对字符位置进行判定，排序整合后输出车牌识别结果。优选的，所述的对车牌图像进行预处理，包括对原始车牌图像做亮度变化调整，旋转角度变化调整、大小变换以及色道改变等操作，扩展数据集合，对扩展后的数据进行resize，图像大小变换为336*112，以便于CNN卷积网络层中卷积池化时的4次kernelsize为2*2、stride＝2的maxpooling操作，所以把大小不一的图像resize到16的整数倍大小。优选的，所述的CNN卷积网络层是基于VGG16网络进行改进，网络结构中包含13个Conv卷积网络、4个MaxPooling池化层，其中Conv卷积层链接的激活函数全部为ReLU激活函数，卷积层中的kernelsize为3*3且stride＝1、pad＝1，保证输出大小不改变，池化层采用的都是kernelsize为2*2、stride＝2、pad＝0的Maxpooling层，池化后图像的大小缩小一半，即经过CNN卷积池化后，输出的长宽各缩小16倍，深度提升至512的特征平面。优选的，所述的RPN候选区域提取层包含2个Conv卷积层、1个Softmax层、1个bbox层和1个proposal层。RPN网络对特征平面进行特征框提取，提取宽高比例为1∶1、1∶2、1∶3的3种尺寸的候选框，特征平面的每个特征点上提取3*3＝9个候选框，对输出的特征平面先做3*3的卷积操作，后经过两个1*1的卷积，其中一个用来做类别属性分类的Softmax层，Softmax层尺寸为1*1*18，由于选定了9个候选框，每个候选框都区分2个类别前景或背景，所以深度为2*9＝18；另一个用来做候选框回归的bbox层为1*1*36的卷积层，目的是对候选框位置坐标回归，输出每个候选中心点的横坐标x、纵坐标y、候选框的宽度w和高度h共4个坐标值，该卷积层有9*4＝36的深度，最后通过一个proposal层汇总检出的候选框信息，利用NMS非极大值抑制的方法剔除重叠度过大、且置信率低的候选框。优选的，所述的ROIpooling层包含1个crop层、1个resize层和1个Flatten层，通过crop操作提取特征平面上的候选框，再利用插值算法进行resize操作，全部resize为7*7，深度为512，再通过Flatten层把7*7的平面进行展平，为后续的全连接操作做准备。优选的，所述的判别层由3个全连接层、1个Softmax层和1个bbox层构成，通过2个4096深度的全连接层，再经过1个深度为72的全连接网络，72深度的全连接层输出类别信息来实现车牌字符类别分类，1个深度为288的bbox层输出候选框的位置信息，最后将输出各字符类别和对应的候选框的位置信息，即x、y、w和h的坐标信息，整合完成对车牌字符的识别任务。附图说明图1是本专利技术技术方案实施步骤流程图；图2是本专利技术FasterR-CNN网络结构图；图3是本专利技术车牌字符标注示意图；图4是本专利技术CNN卷积网络层结构图；图5是本专利技术RPN候选区域提取层结构图；图6是本专利技术ROIpooling层结构图；图7是本专利技术判别层网络结构图；图8是本专利技术车牌识别结果示意图。具体实施方式为了使本专利技术的目的、技术方案更加清楚明白，以下结合附图及实施例对本专利技术的技术方案进行详细阐述。本专利技术公开了一种基于卷积神经网络的车牌识别方法，首先对车牌图像进行预处理，构建车牌训练样本集；再构建由CNN卷积网络层、RPN候选区域提取层、ROIpooling层和判别层组成的FasterR-CNN网络模型；通过多任务损失不断训练模型，生成一个准确率高的FasterR-CNN网络模型；最后利用训练好的FasterR-CNN网络模型进行车牌字符检测，获取车牌字符框位置信息与类别信息，再利用先本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的车牌识别方法，其特征在于：所述的方法包括如下的实施步骤：步骤S1、对车牌图像进行预处理，包括对车牌图像中的字符进行标注，标注车牌字符的位置信息与类别信息，构建车牌训练样本集；步骤S2、构建Faster R‑CNN网络模型，具体由CNN卷积网络层、RPN候选区域提取层、ROI pooling层和判别层组成；步骤S3、训练网络模型，通过多任务损失不断训练模型，生成一个准确率高的Faster R‑CNN网络模型；步骤S4、利用训练好的Faster R‑CNN网络模型进行车牌识别，获取车牌字符框位置信息与类别信息，再利用先验知识对字符位置进行判定，排序整合后输出车牌识别结果。

【技术特征摘要】
1.一种基于卷积神经网络的车牌识别方法，其特征在于：所述的方法包括如下的实施步骤：步骤S1、对车牌图像进行预处理，包括对车牌图像中的字符进行标注，标注车牌字符的位置信息与类别信息，构建车牌训练样本集；步骤S2、构建FasterR-CNN网络模型，具体由CNN卷积网络层、RPN候选区域提取层、ROIpooling层和判别层组成；步骤S3、训练网络模型，通过多任务损失不断训练模型，生成一个准确率高的FasterR-CNN网络模型；步骤S4、利用训练好的FasterR-CNN网络模型进行车牌识别，获取车牌字符框位置信息与类别信息，再利用先验知识对字符位置进行判定，排序整合后输出车牌识别结果。2.根据权利要求1所述的一种基于卷积神经网络的车牌识别方法，其特征在于：步骤S1中所述的对车牌图像进行预处理，包括对原始车牌图像做亮度变化调整，旋转角度变化调整、大小变换以及色道改变等操作，扩展数据集合，对扩展后的数据进行resize，图像大小变换为336*112，以便于CNN卷积网络层中卷积池化时的4次kernelsize为2*2、stride＝2的maxpooling操作，所以把大小不一的图像resize到16的整数倍大小。3.根据权利要求1所述的一种基于卷积神经网络的车牌识别方法，其特征在于：步骤S2中所述的CNN卷积网络层是基于VGG16网络进行改进，网络结构中包含13个Conv卷积网络、4个MaxPooling池化层，其中Conv卷积层链接的激活函数全部为ReLU激活函数，卷积层中的kernelsize为3*3且stride＝1、pad＝1，保证输出大小不改变，池化层采用的都是kernelsize为2*2、stride＝2、pad＝0的Maxpooling层，池化后图像的大小缩小一半，即经过CNN卷积池化后，输出的长宽各缩小16倍，深度提升至512的特征平面。4.根据权利要求1所述的一种基于卷积神...

【专利技术属性】
技术研发人员：谢清禄，余孟春，刘振辉，
申请(专利权)人：广州麦仑信息科技有限公司，
类型：发明
国别省市：广东,44