一种基于深度学习的车牌检测和整体识别方法技术

本发明专利技术提供了一种基于深度学习的车牌检测和整体识别方法，包括：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：将所述车牌检测区域划分成n个小块，各小块之间部分重叠；步骤c：使用第一深度神经网络学习模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度；步骤d：根据所述车牌区域的位置与可信度的关系，融合得到最终的车牌区域；以及步骤e：通过第二深度神经网络结构对所述车牌区域的车牌号码进行整体识别。本发明专利技术采用分块的车牌区域回归技术，降低了车牌检测的时间；通过引入深度学习模型，提高了车牌检测识别率，克服了传统车牌识别方法需要进行车牌字符分割所带来的依赖性和结果不确定性所导致的误识别问题。

【技术实现步骤摘要】
一种基于深度学习的车牌检测和整体识别方法
本专利技术涉及智能交通系统和数字安防领域，具体涉及一种基于深度学习的车牌检测和整体识别方法。
技术介绍
车牌识别是智能交通系统(ITS)领域的基础部分和重要环节，对智能交通系统的其他部分如车标识别、车身颜色分析、车型分析、卡口检测、电子警察，及其他交通事件相关模块的处理好坏有着重要的影响。传统的车牌识别系统，大致分为车牌检测、车牌定位、字符分割及字符识别等几个子模块。其车牌检测环节使用检测器在全图或感兴趣区域(ROI)进行扫描分类，要考虑到尺度和横纵比等问题，计算量比较大；车牌定位如上下边确定由于受到光线、图像质量、车牌大小等因素影响难以精确，对后续字符分割和识别影响很大。字符分割部分严重依赖前面定位的结果，其所使用的二值化方法对于一些特殊情况如阴阳牌，车牌光线不均衡等效果不佳。字符识别则采用传统浅层分类器的单个字符识别方式，虽在正常条件下还好，但是全天候的稳定性及相似字符的可区分性难以保证。因此，传统的车牌识别系统存在以下问题：1、传统方法车牌检测需要遍历滑动窗，比较耗时；2、传统方法需要对车牌进行精确定位再分割，依赖性强，容易分割错误；3、传统方法在光线差、分辨率低、污损、倾斜大等情况的稳定性不好；4、单个模型难以保证较好的识别指标。
技术实现思路
本专利技术针对现有技术存在的问题，提出一种基于深度学习的车牌检测和整体识别方法。本专利技术的一种基于深度学习的车牌检测和整体识别方法，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：将所述车牌检测区域划分成n个小块，各小块之间部分重叠；步骤c：使用第一深度神经网络模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度；步骤d：根据所述车牌区域的位置与可信度的关系，融合得到最终的车牌区域；以及步骤e：通过第二深度神经网络模型对所述车牌区域的车牌号码进行整体识别。优选地，步骤b中，n＝5或9。优选地，步骤c中，所述可信度的数值范围为0～1，0表示真车牌的可信度为0，1表示真车牌的可信度为100％。优选地，所述第一深度神经网络模型包括依次连接的3个卷积层和3个全连接层，最后一个全连接层包含两个分支，一个分支为预测的车牌区域矩形的左上角和右下角坐标，另一个分支为真假车牌的分类。优选地，步骤c中，融合的方法进一步包括：步骤d1：对结果按真车牌的可信度从大到小进行排序；步骤d2：对排序结果做二值化操作，即可信度与选定的阈值进行比较，若高于阈值则认为是真车牌，否则认为是假车牌；步骤d3：在真车牌集合中获得车牌候选区域，如果真车牌集合为空则该目标车辆区域判定为无车牌。优选地，步骤d3中，通过Max策略在真车牌集合中，选择可信度最高的检测结果为车牌候选区域；或者通过Avg策略在真车牌集合的车牌检测位置根据其可信度进行加权平均获得车牌候选区域。优选地，步骤d、e之间还包括车牌位置优化步骤d’，采用深度学习模型对车牌区域进行优化，获得优化后的车牌区域。优选地，所述第二深度网络模型包括依次连接的4个卷积层和2个全连接层，最后一个全连接层包含七个分支，各分支分别对应车牌上的汉字、字母、数字或标识。优选地，步骤e之后还包括步骤f，采用多个模型集成的方式，综合得到识别结果：步骤f1：统计相同车牌号码识别结果的数目并计算其可信度平均值；步骤f2：按照数目多少从大到小排序，如果不同车牌号码的数目相同的，则按其可信度从高到低排序；步骤f3：选择可信度最高的车牌号码为识别结果。优选地，步骤f中，采用3个模型集成的方式。本专利技术具有如下有益效果：1、本专利技术采用分块的车牌区域回归技术，降低车牌检测的时间；2、本专利技术引入深度学习模型，提高车牌检测识别率；3、本专利技术克服传统车牌识别方法需要进行车牌字符分割所带来的依赖性和结果不确定性所导致的误识别问题；4、本专利技术车牌检测识别在各种特殊情况下的鲁棒性。附图说明图1为本专利技术的基于深度学习的车牌检测和整体识别方法的流程示意图。图2为本专利技术的车牌检测5块子区域划分示意图。图3为本专利技术的车牌检测深度网络结构图。图4为本专利技术的子块车牌检测结果示意图。图5为本专利技术的车牌检测位置优化示意图。图6为本专利技术的整体车牌识别结果示意图。具体实施方式下面通过实施例对本专利技术作进一步说明，其目的仅在于更好地理解本专利技术的研究内容而非限制本专利技术的保护范围。参考图1，本专利技术的一种基于深度学习、特别是卷积神经网络的车牌检测和整体识别方法，包括如下步骤a～e。步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域。车辆检测的目的是在整个相机视野领域检测到真正的车辆区域，排除背景区域及干扰的部分，从而减少误检，提高车牌检测的准确率，并且降低后续处理的时间消耗。本专利技术使用现有的常规车辆检测的方法，例如可以使用运动分析技术，建立背景模型，提取前景，也可以使用车辆检测器进行静态检测，并进行目标关联。或者两者结合，得到真正感兴趣的目标车辆。步骤b：将所述车牌检测区域划分成n个小块，各小块之间部分重叠。传统车牌检测技术，采用滑动窗的方式，在车牌检测区域内遍历各子窗口，寻找边缘丰富、梯度能量变化较大，类似车牌特征的区域，作为车牌候选区域。这样做的缺点是耗时多，检测效率不高。本专利技术采用基于分块的车牌区域回归技术进行车牌检测。具体做法是，将整个车牌检测区域划分成少数几个小块，一个较佳的实施例为5个小块，小块之间部分重叠。具体地，车牌检测区域R(w，h)可以由车辆检测区域得到，或者来自人工或程序确定的感兴趣区域，并将其划分成若干小块，分别并行地进行检测，再将结果进行融合。本专利技术的分块方案采用5块(2×2+1)法，或者9宫格(3×3)，更细颗粒度则没有必要，尤以5块法为主。5块划分如图2所示，各子块位置分别为：车牌检测区域的左上、右上、左下、右下、中央即位于车牌检测区域R的正中心，每子块的宽高分别为w*2/3、h*2/3。子块之间彼此重叠，是为了处理车牌目标位于子块边界的情形。步骤c：对每个小块使用深度学习模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度。具体地，对每个子块使用适当的深度学习模型，拟合得到大致的车牌区域，深度学习模型同时给出该区域是真车牌的可信度。可信度的数值范围从0～1，0表示真车牌的可信度为0，1表示100％确信为真车牌。综合考虑效果和效率，本专利技术采用的深度神经网络模型是如图3所示的卷积神经网络(CNN)。在该卷积神经网络中，包括依次连接的3个卷积层(Conv)和3个全连接层(IP)，最后一个全连接层包含两个分支，一个分支为预测的车牌矩形的左上角和右下角坐标，使用L2损失，另一个分支为真假车牌的分类，使用SoftMaxLoss损失。每个卷积层后跟一个池化层(MaxPool)(图3中未显示池化层)。Conv层和IP层的参数见图3中所示，对于卷积层来说，数字表示featuremap(即输入图像)及卷积核的宽高、通道数，对IP层来说，数字表示其神经元数目。如第一卷积层(如图①→②)的五个参数(30，30，3，3，3)，表示该层的输入图像的宽高都为30，并有3个通道(R、G、B)，该层卷积操作核大小为3×3。第二卷积层(如图②→③)中的三个参数(10，3，3)，表示该层有10个通道(即前一层的本文档来自技高网...

【技术保护点】
一种基于深度学习的车牌检测和整体识别方法，其特征在于，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：将所述车牌检测区域划分成n个小块，各小块之间部分重叠；步骤c：使用第一深度神经网络模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度；步骤d：根据所述车牌区域的位置与可信度的关系，融合得到最终的车牌区域；以及步骤e：通过第二深度神经网络模型对所述车牌区域的车牌号码进行整体识别。

【技术特征摘要】
1.一种基于深度学习的车牌检测和整体识别方法，其特征在于，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：将所述车牌检测区域划分成n个小块，各小块之间部分重叠；步骤c：使用第一深度神经网络模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度；步骤d：根据所述车牌区域的位置与可信度的关系，融合得到最终的车牌区域；以及步骤e：通过第二深度神经网络模型对所述车牌区域的车牌号码进行整体识别。2.根据权利要求1所述的一种基于深度学习的车牌检测和整体识别方法，其特征在于，步骤b中，n＝5或9。3.根据权利要求1所述的一种基于深度学习的车牌检测和整体识别方法，其特征在于，步骤c中，所述可信度的数值范围为0～1，0表示真车牌的可信度为0，1表示真车牌的可信度为100％。4.根据权利要求1所述的一种基于深度学习的车牌检测和整体识别方法，其特征在于，所述第一深度神经网络模型包括依次连接的3个卷积层和3个全连接层，最后一个全连接层包含两个分支，一个分支为预测的车牌区域矩形的左上角和右下角坐标，另一个分支为真假车牌的分类。5.根据权利要求1所述的一种基于深度学习的车牌检测和整体识别方法，其特征在于，步骤c中，融合的方法进一步包括：步骤d1：对结果按真车牌的可信度从大到小进行排序；步骤d2：对排序结果做二值化操作，即可信度与选定的阈值进行比较，若高于阈值则认为是真车...

【专利技术属性】
技术研发人员：王运节，许震，张如高，
申请(专利权)人：新智认知数据服务有限公司，
类型：发明
国别省市：上海,31