一种基于改进的FasterRCNN的车牌识别方法技术

本发明专利技术提供一种基于改进的Faster RCNN的车牌识别方法，包括以下步骤：步骤1：选择VGG16作为提取车牌字符特征的主干网络，将获取的图片输入特征网络，进行卷积和池化，得到共享特征特征图；步骤2：采用RPN网络检测车牌位置的候选框；步骤3：通过以Fast RCNN检测器为基础的车牌检测网络获得车牌图片，车牌检测网络的目标在于精修ROI(Region of Interests)候选框的坐标，获得车牌的最终边框；步骤4：将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。本发明专利技术利用Faster RCNN网络模型识别出图片中的车牌边框的位置，再通过LPRNet网络模型对车牌边框内的图像进行整体卷积形成识别序列，提取车牌信息，识别的精准度更高。识别的精准度更高。识别的精准度更高。

【技术实现步骤摘要】
一种基于改进的Faster RCNN的车牌识别方法


[0001]本专利技术涉及深度学习中的目标检测、车牌识别领域，具体涉及一种基于改进的Faster RCNN的车牌识别算法。

技术介绍

[0002]随着城市车辆的日益增多，交通管理的压力也逐年增大，车辆检测与识别技术依然是一个需要不断创新的热点。对于车牌检测与识别在特定场合已经可以做到准确识别，例如逐渐成熟的无人停车场，通过图像处理技术手段对出入的车辆进行车牌识别，进行计时和自助收费。在道路交通的现实环境中，车牌检测与识别的技术应用具有重要意义，如公路收费、交通流量管控、车辆定位与监测、汽车防盗、违法驾驶自动监管和电子警察等现实应用。
[0003]传统图像算法车牌识别步骤为：先通过数字图像处理方法提取车牌，例如sobel算子边缘检测方法；然后对车牌图片矫正，修正角度偏差过大的图片；对矫正后的车牌图片进行字符分割，提取单个的字符框；利用模板匹配的方法分类判别，组合识别结果，最终输出车牌信息。
[0004]采用传统的算法有一定的缺陷，在车牌字符预处理时设定阈值不妥当就可能导致识别的精度不高；对于现代车牌的颜色类别多种多样，利用传统图像手段区分车牌颜色时存在相应的分类误差；车牌旋转调整、车牌字符分割和车牌字符识别等各个部分也一样存在误差，全部的误差累计起来很难做到一个通用性高、准确率高的技术方案。
[0005]基于以上难点，需要一种基于改进的Faster
‑
RCNN对车牌识别进行研究，提出了一种端到端的车牌识别算法，以避免分步识别带来的误差放大的问题。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术提供一种基于改进的Faster RCNN的车牌识别方法，可以有效提高车牌识别的速度和准确率。
[0007]本专利技术所采用的技术方案是：
[0008]步骤1：选取特征提取网络，选择VGG16作为提取车牌字符特征的主干网络，将获取的图片输入特征网络，进行卷积和池化，得到共享特征特征图；
[0009]步骤2：用Faster RCNN中RPN网络检测车牌位置，将主干网络输出的特征图输入RPN网络，RPN网络为图像中的目标物体生成候选框。通过RPN网络可以得到若个预先生成的不同尺度、不同长宽比的锚框，分类层输出每个锚框的得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率，回归层输出每个锚框坐标修正个数值，分别对应于每个锚框对应的离其最近的标定框的偏置系数，利用边框回归算法对初步的边框位置进行修正，生成候选框；
[0010]步骤3：通过以Fast RCNN检测器为基础的车牌检测网络获得车牌图片，车牌检测网络的目标在于精修ROI(Region of Interests)候选框的坐标。将RPN生成的候选框映射
到相应的特征图上的位置，得到的特征矩阵输入仅包含回归预测层的Fast RCNN检测器，因为只需要对是否为车牌进行判断，即检测目标类别仅仅包含车牌一种类别，所以直接取消了分类检测器。Fast RCNN检测器先将候选框对应的特征图中的区域进行一个全局的平均池化，此时每一个ROI区域的feature对应展开成一个向量，然后经过全连接层，做边界框回，回归层则对候选框进行最终修正，以提取车牌边框内的图像；
[0011]步骤4：将提取的车牌边框内的信息输入LPRNet网络，提取车牌信息。
附图说明
[0012]图1为：本专利技术的流程示意图。
[0013]图2为：本专利技术中RPN网络模型的结构示意图。
[0014]图3为：本专利技术中仅包含回归预测层的Fast RCNN检测器。
[0015]图4为：本专利技术中LPRNet网络模型的结构示意图。
[0016]图5为：本专利技术中Small basic block网络的结构示意图。
具体实施方式
[0017]步骤1：本专利技术总体流程示意图如图1所示。首先选取特征提取网络：特征提取的基础网络采用VGG16网络。共享卷积网络是以VGG16网络作为骨干网络来提取图像的低级特征，该网络包括13层3
×
3卷积层、紧随其后的是ReLU激活函数层和5层Max Pooling最大池化层。通过共享卷积网络得到共享网络特征层。将摄像头采集到的图片输入该特征网络，即可获得图像的特征图；
[0018]步骤2：用候选框生成网络检测车牌位置：(Region ProposalNetwork，RPN)，用于为图像中的目标物体生成候选框。将特征图输入RPN网络，如图2所示，对应卷积特征图上的每个位置，通过RPN网络可以得到若干个预先生成的不同尺度、不同长宽比的锚框。分类层为每个锚框输出两个得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率。回归层为每个锚框输出4个数值，分别对应于每个锚框对应的离其最近的标定框的修正值；
[0019]步骤3：如图3所示，通过以Fast RCNN检测器为基础的车牌检测网络获得车牌图片，车牌检测网络的目标在于精修ROI(Region of Interests)候选框的坐标。将RPN生成的候选框映射到相应的特征图上的位置，得到的特征矩阵输入仅包含回归预测层的Fast RCNN检测器，因为只需要对是否为车牌进行判断，即检测目标类别仅仅包含车牌一种类别，所以直接取消了分类检测器。Fast RCNN检测器先将候选框对应的特征图中的区域进行一个全局的平均池化，此时每一个ROI区域的feature对应展开成一个向量，然后经过全连接层，做边界框回，回归层则对候选框进行最终修正，以提取车牌边框内的图像；
[0020]步骤4：通过LPRNet网络模型进行字符识别，字符识别网络的目标是基于提取的ROI区域的特征，识别出ROI区域的字符。将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。
[0021]本实施例中，LPRNet网络模型的结构如图4所示，把需要输入的RGB图像通过预处理压缩为94
×
24pixels，再将完成预处理的后的图像输入第一层，第一层使用64个大小为3
×
3的卷积核对预处理候后的图像进行卷积操作，经过第一个池化层后输出大小为90
×
20
×
64的特征图。将得到的特征图输入到第一个Small basic block网络中，减少骨干网络中可学习参数的数量，提高网络的运算速度。图像经过步长为2和采用3
×
3卷积核的Max pooling层后，输出图像尺寸为输入图像尺寸的一半，减少参数防止过拟合。将第三次池化后得到的特征图21
×
16
×
64传入到Dropout层中，将被舍弃的概率p设置为0.5，随机的让一部分神经节点失活，减少中间特征的数量，防止模型出现过拟合。最后使用1
×
13的宽卷积利用本地字符的上下文信息对字符进行识别。
[0022]其中，Small basic block网络结构如图5所示，Small b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的Faster RCNN的车牌识别方法，其特征在于：它的具体方法如下：步骤1：选择以VGG16为主干网络的特征网络来提取图片特征，将摄像头获取图片数据输入该特征网络；步骤2：用候选框生成网络检测车牌位置：(Region ProposalNetwork，RPN)，用于为图像中的目标物体生成候选框；将特征图输入RPN网络，对应卷积特征图上的每个位置，通过RPN网络可以得到若干个预先生成的不同尺度、不同长宽比的锚框；分类层为每个锚框输出两个得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率；回归层为每个锚框输出4个数值，分别对应于每个锚框对应的离其最近的标定框的修正值；步骤3：通过以Fast RCNN检测器为基础的车牌检测网络获得车牌图片，车...

【专利技术属性】
技术研发人员：许文波，冯玉轩，贾海涛，罗欣，常乐，冷庚，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：