本发明专利技术公开了一种基于深度学习的车牌检测方法，采用faster‑rcnn算法，分别训练一个RPN卷积神经网络和一个fast‑rcnn卷积神经网络，通过构建带有标注和标签的图片库作为样本集，并采用训练好的RPN卷积神经网络处理样本集中的图片，得到车牌粗选区域，然后将车牌粗选框送入训练好的fast‑rcnn卷积神经网络做判别，根据fast‑rcnn卷积神经网络的输出向量判断车牌粗选区域是否为最佳车牌区域，如果是最佳车牌区域，则得到车牌最终区域。本发明专利技术在RPN卷积神经网络训练时，采用了多个尺度和多个比例基准框，能够有效提升非常规尺度和比例的车牌的检测，RPN卷积神经网络和fast‑rcnn卷积神经网络通过共享卷积层参数，使整个系统更加简单，计算量较小，而且漏检率较低，能满足系统实时性要求。
【技术实现步骤摘要】
本专利技术属于计算机视觉识别
，尤其涉及一种基于深度学习的车牌检测方法。
技术介绍
计算机视觉是人工智能和图像处理领域的一个重要交叉学科。早期的计算机视觉任务的解决方法主要含有两个步骤，一个是手动设计特征，另一个是构建一个浅层学习系统。随着人工智能的发展，深度学习于2006年正式提出。深度学习起源于多层人工神经网络，目前已成功应用于计算机视觉、自然语言处理和智能搜索等领域。当前已有的深度学习网络主要包括卷积神经网络、深度置信网和堆叠自动编码机。卷积神经网络由于其层间联系和空域信息的紧密关系，使其广泛运用在图像处理中。图像中的车牌检测流程一般包括构建训练样本集，提取特征，训练分类器，利用训练好的分类器进行目标检测。在图像特征提取方面，传统方法通常使用方向梯度直方图(HOG)、局部二值模式(LBP)及SIFT等特征提取方法。然而，不同的特征提取方法都有其适用范围，HOG适合于描述边缘特性，LBP适合描述纹理特性。若脱离其适用范围，则会导致错误的分类结果，不具有普适性。而卷积神经网络替代了以上特征提取方法，其深层结构使其能够自动提取图像的特征信息，利于分类器的训练和最终的目标检测。经过对现有技术的检索发现，中国专利文献号CN104298976A公开(公告)日2015.01.21，公开了一种基于卷积神经网络的车牌检测方法：具体包括构建基于Haar特征和Adaboost分类器的车牌粗选区域获取模块，然后通过卷积神经网络进行车牌粗选区域的筛选，获得车牌的最佳位置，然后通过多阈值分割算法
对车牌最终候选区域进行分割，获取车牌每一个字符，通过卷积神经网络识别模型对车牌字符进行识别，得到车牌识别结果，在工程应用具有良好效果。但该技术中获取车牌最终候选区域完全依赖于其通过基于Haar特征的Adaboost车牌检测器获取的车牌粗选区域，与后面的判别和识别网络没有任何联系，使整个算法的复杂度较高和计算量较大。中国专利文献号CN104809443A公开(公告)日2015.07.29，公开了一种基于卷积神经网络的车牌检测方法和系统：训练样本获取模块的正负样本输入卷积神经网络模块，把卷积神经网络训练成一个能够识别车牌和非车牌图片的二分类器，车牌区域检测模块创建图片金字塔并利用训练好的卷积神经网络模块来检测金字塔中图片的车牌区域，该方法运用图像金字塔和滑窗的方法，成功避免了粗选区域不太准确的问题。但是这种方法仍然存在较大问题，如果图像金字塔层数太少，则计算量较小，但是漏检率较高，如果图像金字塔层数太多，则漏检率较低，但是计算量较大，不能满足系统实时性要求，而且这种方法固定了滑窗大小和比例，对于某些非常规尺度和长宽比的车牌，容易出现漏检。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种基于深度学习的车牌检测方法。本专利技术通过以下技术方案来实现上述目的：一种基于深度学习的车牌检测方法，通过构建带有标注和标签的图片库作为训练样本集，采用faster-rcnn算法，分别训练一个基于多个基准框的RPN卷积神经网络和一个fast-rcnn卷积神经网络，其中RPN卷积神经网络和fast-rcnn卷积神经网络前五个卷积层共享参数，采用训练好的RPN卷积神经网络处理训练样本集中的图片，得到车牌粗选区域，然后将车牌粗选框送入训练
好的fast-rcnn卷积神经网络做判别，根据fast-rcnn卷积神经网络的输出向量判断车牌粗选区域是否为最佳车牌区域，如果是最佳车牌区域，则得到车牌最终区域。进一步地，所述标注是指记录车牌在一整张图像中的左上角点和右下角点的坐标，所述标签是指判断每个给定的车牌位置是否为车牌区域的标记。更进一步地，训练RPN卷积神经网络和fast-rcnn卷积神经网络的具体步骤如下：A1：构建RPN卷积神经网络和fast-rcnn卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-rcnn卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；A2：对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；A3：对输入的样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本的基准框来训练CNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；A4：在训练样本上运用训练好的RPN卷积神经网络模型，得到样本集的车牌粗选框；A5：对fast-rcnn卷积神经网络采用与RPN卷积神经网络一样的初始化方式和训练方式，输入训练样本和步骤A4中获得的车牌粗选框，结合样本集的标注和标签，进行训练，得到fast-rcnn卷积神经网络模型；A6：重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤A5的fast-rcnn卷积神经网络模型，训练得到新的RPN卷积神经网络模型；A7：在训练样本上运用新训练好的RPN卷积神经网络模型，重新得到训练样本的车牌粗选框；A8：重新训练fast-rcnn卷积神经网络，将fast-rcnn卷积神经网络的前五层卷积层学习率设为0，参数finetune步骤A7中的RPN卷积神经网络模型，使用样本集和步骤A7中的车牌粗选框标注，重新训练得到新的fast-rcnn卷积神经网络模型。更进一步地，所述RPN卷积神经网络的前六个卷积层直接依次级联，第七个卷积层和第八个卷积层均直接连接到第六个所述卷积层上，所述RPN卷积神经网络的Softmax层连接到第七个卷积层上，其中，RPN卷积神经网络的前五个卷积层作为特征提取层，第六个卷积层作为特征映射层，第七个卷积层输出回归框包含车牌的置信度，第八个卷积层输出回归框的位置参数，Softmax层负责对置信度进行归一化调整。更进一步地，所述fast-rcnn卷积神经网络的五个卷积层、ROIpooling层、第一个全连接层和第二个全连接层直接依次级联，第三个全连接层和第四个全连接层均直接连接到第二个全连接层上，所述fast-rcnn卷积神经网络的Softmax层连接到第三个全连接层，其中fast-rcnn卷积神经网络的五个卷积层与RPN卷积神经网络的前五个卷积层共享参数，fast-rcnn卷积神经网络的第一个全连接层和第二个全连接层对特征做非线性变换，fast-rcnn卷积神经网络的第三个全连接层输出判别类的置信度，fast-rcnn卷积神经网络的第四个全连接层输出粗选框的位置修正参数。本专利技术的有益效果在于：本专利技术通过训练样本获取模块、RPN卷积神经网络以及fast-rcnn卷积神经网络，其中将训练样本获取模块的样本集输入RPN卷积神经网络，将RPN卷积
神经网络训练成一个能够回归车牌大概位置的回归器，fast-rcnn卷积神经网络通过获取的车牌的粗选区域来进行车牌筛选，判别车牌最佳位置，与现有技术相比，这种方法对车牌尺度和比例不敏感，能够有效提升非常规尺度和比例的车牌的检测，并且更加简单，通过共享卷积层参数，使计算量较小，而且漏检率较低，能满足系统实时性要求。附图说明图1是本专利技术所述车牌检测方法的流程图；图2为本专利技术所述RPN卷积神经网络的示意图；图本文档来自技高网...
【技术保护点】
一种基于深度学习的车牌检测方法，其特征在于：通过构建带有标注和标签的图片库作为训练样本集，采用faster‑rcnn算法，分别训练一个基于多个基准框的RPN卷积神经网络和一个fast‑rcnn卷积神经网络，其中RPN卷积神经网络和fast‑rcnn卷积神经网络前五个卷积层共享参数，采用训练好的RPN卷积神经网络处理训练样本集中的图片，得到车牌粗选区域，然后将车牌粗选框送入训练好的fast‑rcnn卷积神经网络做判别，根据fast‑rcnn卷积神经网络的输出向量判断车牌粗选区域是否为最佳车牌区域，如果是最佳车牌区域，则得到车牌最终区域。
【技术特征摘要】
1.一种基于深度学习的车牌检测方法，其特征在于：通过构建带有标注和标签的图片库作为训练样本集，采用faster-rcnn算法，分别训练一个基于多个基准框的RPN卷积神经网络和一个fast-rcnn卷积神经网络，其中RPN卷积神经网络和fast-rcnn卷积神经网络前五个卷积层共享参数，采用训练好的RPN卷积神经网络处理训练样本集中的图片，得到车牌粗选区域，然后将车牌粗选框送入训练好的fast-rcnn卷积神经网络做判别，根据fast-rcnn卷积神经网络的输出向量判断车牌粗选区域是否为最佳车牌区域，如果是最佳车牌区域，则得到车牌最终区域。2.根据权利要求1所述的基于深度学习的车牌检测方法，其特征在于：所述标注是指记录车牌在一整张图像中的左上角点和右下角点的坐标，所述标签是指判断每个给定的车牌位置是否为车牌区域的标记。3.根据权利要求1所述的基于深度学习的车牌检测方法，其特征在于，训练RPN卷积神经网络和fast-rcnn卷积神经网络的具体步骤如下：A1：构建RPN卷积神经网络和fast-rcnn卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-rcnn卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；A2：对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；A3：对输入的样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本的基准框来训练CNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；A4：在训练样本上运用训练好的RPN卷积神经网络模型，得到样本集的车牌粗选框；A5：对fast-rcnn卷积神经网络采用与RPN卷积神经网络一样的初始化方式和训练方式，输入训练样本和步骤A4中获得的车牌粗选框，结合样本集的标注和标签，进行训练，得到fa...
【专利技术属性】
技术研发人员：邹刚，蒋涛，李鸿升，
申请(专利权)人：成都新舟锐视科技有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。