一种基于深度学习模型的车牌字符整体识别方法技术

本发明专利技术提供了一种基于深度学习模型的车牌字符整体识别方法，包括：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：对所述整个车牌检测区域进行检测获得车牌区域；步骤c：通过深度神经网络模型对所述车牌区域的车牌号码进行整体识别，所述深度神经网络模型包括依次连接的4个卷积层和2个全连接层，最后一个全连接层包含七个分支，各分支分别对应车牌号码上的汉字、字母、数字或标识。本发明专利技术通过引入深度学习模型进行整体识别，提高了车牌字符识别率，克服了传统车牌识别方法需要进行车牌字符分割所带来的依赖性和结果不确定性所导致的误识别问题。

A method of whole recognition of license plate characters based on depth learning model

The invention provides a deep learning model of the whole vehicle license plate character recognition method based on a, which comprises the following steps:: vehicle detection, vehicle license plate detection target, the target vehicle is determined by region; step B: the whole license plate detection region detection plate area; step C: the overall recognition by the license plate number the depth of the neural network model of the license plate area, the depth of the neural network model comprises 4 volumes and 2 layer fully connected layer, finally a fully connected layer contains seven branches, each branch is respectively corresponding to the license plate number of the Chinese characters, letters, numbers or marks. By introducing the deep learning model improves the overall recognition rate of license plate recognition, license plate recognition method to overcome the traditional error identification problem of license plate character segmentation caused by dependence and the uncertainty caused by the.

【技术实现步骤摘要】
一种基于深度学习模型的车牌字符整体识别方法
本专利技术涉及智能交通系统和数字安防领域，具体涉及一种基于深度学习模型的车牌字符整体识别方法。
技术介绍
车牌识别是智能交通系统(ITS)领域的基础部分和重要环节，对智能交通系统的其他部分如车标识别、车身颜色分析、车型分析、卡口检测、电子警察，及其他交通事件相关模块的处理好坏有着重要的影响。传统的车牌识别系统，大致分为车牌检测、车牌定位、字符分割及字符识别等几个子模块。其中车牌号码识别环节，字符分割部分严重依赖前面定位的结果，其所使用的二值化方法对于一些特殊情况如阴阳牌，车牌光线不均衡等效果不佳。字符识别则采用传统浅层分类器的单个字符识别方式，虽在正常条件下还好，但是全天候的稳定性及相似字符的可区分性难以保证。因此，传统的车牌识别系统存在以下问题：1、传统方法需要对车牌进行精确定位再分割，依赖性强，容易分割错误；2、传统方法在光线差、分辨率低、污损、倾斜大等情况的稳定性不好；3、单个模型难以保证较好的识别指标。
技术实现思路
本专利技术针对现有技术存在的问题，提出一种基于深度学习模型的车牌字符整体识别方法。本专利技术的一种基于深度学习模型的车牌字符整体识别方法，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：对所述整个车牌检测区域进行检测获得车牌区域；步骤c：通过深度神经网络模型对所述车牌区域的车牌号码进行整体识别，所述深度神经网络模型包括依次连接的4个卷积层和2个全连接层，最后一个全连接层包含七个分支，各分支分别对应车牌号码上的汉字、字母、数字或标识。优选地，所述深度神经网络模型的所述第一分支对应汉字，具有58个输出；所述第二分支对应英文字母，具有26个输出，所述第三至第六分支对应数字和字母，分别具有36个输出，第七分支对应字母、数字和特殊牌标识，具有41个输出。优选地，所述每个分支的各输出的结果为该输出项的概率，每个分支的各输出的概率之和为1。优选地，步骤c之后还包括步骤d，采用多个模型集成的方式，综合得到识别结果：步骤d1：统计相同车牌号码识别结果的数目并计算其可信度平均值；步骤d2：按照数目多少从大到小排序，如果不同车牌号码的数目相同的，则按其可信度从高到低排序；步骤d3：选择可信度最高的车牌号码为识别结果。优选地，步骤f中，采用3个模型集成的方式。本专利技术具有如下有益效果：1、本专利技术引入深度学习模型，提高车牌识别率；2、本专利技术克服传统车牌识别方法需要进行车牌字符分割所带来的依赖性和结果不确定性所导致的误识别问题；3、本专利技术车牌识别在各种特殊情况下的鲁棒性。附图说明图1为本专利技术的基于深度学习模型的车牌字符整体识别方法的流程示意图。图2为本专利技术的车牌检测5块子区域划分示意图。图3为本专利技术的车牌检测深度网络结构图。图4为本专利技术的子块车牌检测结果示意图。图5为本专利技术的车牌字符整体识别深度网络结构示意图。图6为本专利技术的车牌字符整体识别结果示意图。具体实施方式下面通过实施例对本专利技术作进一步说明，其目的仅在于更好地理解本专利技术的研究内容而非限制本专利技术的保护范围。参考图1，本专利技术的一种基于深度学习、特别是卷积神经网络的车牌字符整体识别方法，包括如下步骤a～c。步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域。车辆检测的目的是在整个相机视野领域检测到真正的车辆区域，排除背景区域及干扰的部分，从而减少误检，提高车牌检测的准确率，并且降低后续处理的时间消耗。本专利技术使用现有的常规车辆检测的方法，例如可以使用运动分析技术，建立背景模型，提取前景，也可以使用车辆检测器进行静态检测，并进行目标关联。或者两者结合，得到真正感兴趣的目标车辆。步骤b：对所述整个车牌检测区域进行检测获得车牌区域，包括如下子步骤。步骤b1：将所述车牌检测区域划分成n个小块，各小块之间部分重叠。传统车牌检测技术，采用滑动窗的方式，在车牌检测区域内遍历各子窗口，寻找边缘丰富、梯度能量变化较大，类似车牌特征的区域，作为车牌候选区域。这样做的缺点是耗时多，检测效率不高。本专利技术采用基于分块的车牌区域回归技术进行车牌检测。具体做法是，将整个车牌检测区域划分成少数几个小块，一个较佳的实施例为5个小块，小块之间部分重叠。具体地，车牌检测区域R(w，h)可以由车辆检测区域得到，或者来自人工或程序确定的感兴趣区域，并将其划分成若干小块，分别并行地进行检测，再将结果进行融合。本专利技术的分块方案采用5块(2×2+1)法，或者9宫格(3×3)，更细颗粒度则没有必要，尤以5块法为主。5块划分如图2所示，各子块位置分别为：车牌检测区域的左上、右上、左下、右下、中央即位于车牌检测区域R的正中心，每子块的宽高分别为w*2/3、h*2/3。子块之间彼此重叠，是为了处理车牌目标位于子块边界的情形。步骤b2：对每个小块使用深度学习模型拟合得到大致的车牌区域，同时获得该区域是真车牌的可信度。具体地，对每个子块使用适当的深度学习模型，拟合得到大致的车牌区域，深度学习模型同时给出该区域是真车牌的可信度。可信度的数值范围从0～1，0表示真车牌的可信度为0，1表示100％确信为真车牌。综合考虑效果和效率，本专利技术采用的深度神经网络模型是如图3所示的卷积神经网络(CNN)。在该卷积神经网络中，包括依次连接的3个卷积层(Conv)和3个全连接层(IP)，最后一个全连接层包含两个分支，一个分支为预测的车牌矩形的左上角和右下角坐标，使用L2损失，另一个分支为真假车牌的分类，使用SoftMaxLoss损失。每个卷积层后跟一个池化层(MaxPool)(图3中未显示池化层)。Conv层和IP层的参数见图3中所示，对于卷积层来说，数字表示featuremap(即输入图像)及卷积核的宽高、通道数，对IP层来说，数字表示其神经元数目。如第一卷积层(如图①→②)的五个参数(30，30，3，3，3)，表示该层的输入图像的宽高都为30，并有3个通道(R、G、B)，该层卷积操作核大小为3×3。第二卷积层(如图②→③)中的三个参数(10，3，3)，表示该层有10个通道(即前一层的featuremap输出为10)，该层卷积操作核的大小为3×3。第三卷积层(如图③→④)中的三个参数(20，2，2)，表示该层有20个通道，该层卷积操作核的大小为2×2，最后获得通道数为40的层(如④所示)。⑤表示第一全连接层，神经元数目为120，⑥表示第二全连接层，神经元数目为60，⑦表示第三全连接层即最后一个连接层，具有两个分支，一个分支的神经元数目为4，另一个分支的为2。网络中Conv层stride(步长)为1，Pool层核大小为2×2，stride为2。除最后一个IP层外，每个Conv和IP层都使用ReLU激活函数。如上所述，通过图3所示的网络即可实现车牌位置拟合和可信度计算功能，即输入一个原图，经过该网络(通过训练得到)计算，在最后的输出层即可得到可信度值和车牌矩形区域左上、右下角坐标。步骤b3：根据所述车牌区域的位置与可信度的关系，融合得到最终的车牌区域。这样一来，无论检测区域大小是多少，无论尺度和横纵比变化数，由于分块数是固定的，车牌检测的时间复杂度是常数，即O(1)。这里使用深度模型回归车牌的目的，是为了利用深度学习的自我学习的优势，得到在各本文档来自技高网...

【技术保护点】
一种基于深度学习模型的车牌字符整体识别方法，其特征在于，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：对所述整个车牌检测区域进行检测获得车牌区域；步骤c：通过深度神经网络模型对所述车牌区域的车牌号码进行整体识别，所述深度神经网络模型包括依次连接的4个卷积层和2个全连接层，最后一个全连接层包含七个分支，各分支分别对应车牌号码上的汉字、字母、数字或标识。

【技术特征摘要】
1.一种基于深度学习模型的车牌字符整体识别方法，其特征在于，包括如下步骤：步骤a：进行车辆检测，获得目标车辆，由目标车辆确定整个车牌检测区域；步骤b：对所述整个车牌检测区域进行检测获得车牌区域；步骤c：通过深度神经网络模型对所述车牌区域的车牌号码进行整体识别，所述深度神经网络模型包括依次连接的4个卷积层和2个全连接层，最后一个全连接层包含七个分支，各分支分别对应车牌号码上的汉字、字母、数字或标识。2.根据权利要求1所述的一种基于深度学习模型的车牌字符整体识别方法，其特征在于，所述深度神经网络模型的所述第一分支对应汉字，具有58个输出；所述第二分支对应英文字母，具有26个输出，所述第三至第六分支对应数字和字母，分别具有36个输出，第七分支对应字母...

【专利技术属性】
技术研发人员：王运节，许震，张如高，
申请(专利权)人：新智认知数据服务有限公司，
类型：发明
国别省市：上海,31