一种基于深度学习的车牌字符识别方法技术

本发明专利技术公开了一种基于深度学习的车牌字符识别方法，属于车牌识别技术领域，包括构建深度神经网络模型，该深度神经网络模型包括基础网络、车牌字符分割网络和车牌字符识别网络，车牌字符分割网络和车牌字符识别网络共享基础网络；收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；利用字符识别模型，对待识别车牌图像进行车牌字符识别。本发明专利技术通过构建深度神经网络模型，直接完成车牌字符分割、字符识别，既保证了车牌字符识别结果的准确性，提高了车牌字符识别的速度。

【技术实现步骤摘要】
一种基于深度学习的车牌字符识别方法
本专利技术涉及车牌识别
，特别涉及一种基于深度学习的车牌字符识别方法。
技术介绍
车牌识别是智能交通的核心技术，包含了两个大部分：车牌位置检测和车牌字符识别。其中，车牌字符识别是整个技术最重要的一部分，车牌字符识别引擎的质量，直接决定车牌识别技术的整体性能。车牌字符识别是指在一幅已知车牌位置的图像中，准确无遗漏的识别出该车牌上的所有汉字、字符和数字，具体包括以下技术步骤：车牌位置校正、车牌字符分割、车牌字符识别等。车牌位置校正是指对位置不理想的初检测车牌进行空间变换，使之成为理想位置的车牌，方便后续进行精确的字符分割，空间变换包括平移变换、旋转变换、缩放变换、错切变换、透视变换等，常用的校正方法有以下几类：(1)基于直线检测的方法，代表方法有“基于hough直线检测的校正方法”和“基于radon直线检测的校正方法”，其原理是直接检测车牌上的直线，根据直线的倾斜角度进行车牌位置校正。(2)基于遍历查找的方法，代表方法有“基于旋转投影的校正方法”。其原理是首先将车牌旋转到每一个允许的角度位置，然后进行投影获取相应的特征值，通过比较获取最佳的特征值，此时对应的角度就是最佳的车牌倾斜角度。(3)基于特征分析的方法，代表方法有“基于主元分析的校正方法”、“基于最小二乘法的校正方法”，该类方法直接对灰度图像或者二值化图像进行整体的分析，获取整体意义上的最优校正参数。车牌字符分割是指在一幅已知车牌位置的图像中，精确分割出每个单一字符，主要有以下几类方法：(1)基于垂直投影的方法，该方法通过获取车牌字符的垂直投影曲线，依据曲线的波峰波谷位置，获取每个字符的边缘位置。(2)基于连通区域分析的方法，该方法首先进行车牌图像二值化，利用单个字符都是单连通区域的特征进行分析，最终获取字符的位置。(3)基于机器学习的方法，如“一种基于支持向量机的车牌字符分割方法”，该类方法通过获取车牌的布局规律特征，借助分类器进行训练学习，最终完成车牌字符的分割。车牌字符识别是指对于已经精确分割的单个字符，识别出其真实的字母意义，常用的方法有以下几类：(1)全局特征，该类特征采用全局变换来获取字符的整体特征，使用有序的整体特征或者子集特征来构成特征向量，常见的特征有GABOR变换特征、矩特征、投影特征、笔划密度特征、HARR特征、HOG特征等。这些特征的优点是对局部变化不敏感，抗干扰能力强；其缺点是容易忽略某些重要的局部特征，无法区分相似的字符。(2)局部特征，该类特征是在字符的多个局部区域内，计算相应的特征，使用串联的有序局部特征构成最终的特征向量，主要特征包括局部灰度直方图特征、LBP特征、穿线特征、SIFT特征等。该类特征的优点是区分字符的能力强；其缺点是过分关注字符的局部特征，往往会错误区分具有噪声干扰的字符。以上技术对于清晰的车牌图像，均可以达到很不错的效果，然而，实际环境中采集的车牌图像，往往存在分辨率较低、部分字符变浅或缺失、边缘模糊、字符倾斜等特点，使得准确地进行车牌位置校正、车牌字符分割、车牌字符识别变得很困难，甚至出现失效的情况，严重影响了车牌识别的整体性能。因此，如何准确鲁棒的识别车牌字符，依然是国内车牌识别系统的难点。近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，在各个领域都得到了广泛的关注和应用，但该技术的缺点是模型消耗内存很大，运算量很大，因此需要消耗大量的内存和运算能力。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的车牌字符识别方法，以兼顾车牌字符识别准确率和识别速度。为实现以上目的，本专利技术采用一种基于深度学习的车牌字符识别方法，包括如下步骤：S1、构建深度神经网络模型，该深度神经网络模型包括基础网络basenetwork、车牌字符分割网络locationnetwork和车牌字符识别网络recognitionnetwork，车牌字符分割网络和车牌字符识别网络共享基础网络；S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。优选地，所述基础网络的输出是输入图像的高层特征层featuremap，基础网络包括：卷积层conv0、最大值池化层pool0以及残差网络基础机构体；卷积层conv0的输出接最大值池化层pool0，最大值池化层pool0的输出接残差网络基础机构体，经残差网络基础机构体输出输入图像的高层特征层featuremap。优选地，所述残差网络基础机构体数量为5个，包括resblock0、resblock1、resblock2、resblock3和resblock4；残差网络基础机构体包括分支brance1、分支brance2和合并层eltsum，分支brance2包括brance2_0和brance2_1；分支brance1、分支brance2和合并层eltsum均为卷积层，分支brance1和分支brance2的输出接入合并层eltsum。优选地，所述基础网络中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。优选地，所述车牌字符分割网络包括卷积层conv_rect0和q个字符位置矩形预测网络，卷积层conv_rect0的输出分别接q个字符位置矩形预测网络的输入；所述基础网络的输出结果通过卷积层conv_rect0；卷积层conv_rect0的输出结果分别经过q个字符位置矩形预测网络，得到q个字符的位置矩形。优选地，所述字符位置矩形预测网络包括卷积层conv_loc和全连接层fc_loc；卷积层conv_loc的输入接所述卷积层conv_rect0的输出，卷积层conv_loc的输出接全连接层fc_loc。优选地，所述车牌字符分割网络中每个卷积层后面均有批量归一化BN层和非线性激活relu层。优选地，所述车牌字符识别网络包括感兴趣区域裁剪层roicrop、全连接层char_fc0和全连接层char_fc1；所述基础网络的输出和所述q个字符位置矩形预测网络的输出分别接入感兴趣区域裁剪层roicrop的输入，感兴趣区域裁剪层roicrop的输出依次经全连接层char_fc0和全连接层char_fc1后输出车牌字符识别结果。优选地，所述感兴趣区域裁剪层roicrop获取所述高层特征层featuremap和所述q个字符的位置矩形并进行处理，包括：计算所述基础网络的特征层总跨度；根据所述q个字符的位置矩形，调整感兴趣区域尺寸，确定感兴趣区域；对于每一个字符位置矩形，计算该矩形在所述高层特征层featuremap上的对应位置区域，作为感兴趣区域的特征层区域位置；在高层特征层featuremap上，根据感兴趣区域的特征层区域位置提取对应的特征值，并放入特征向量中，得到特征向量。优选地，所述步骤S2包括：收集车牌图像作为车牌样本图像，并对车牌样本图像进行预整理，得到标注车牌字符位置矩形的局部车牌图像；采用图像增强方法对预整理后的车牌样本图像进行扩充，并将扩充后的车牌样本图像作为车牌样本图像集合；对车牌样本图像集合中的图像进行尺寸归一化操作，得到归一化后的图像；利用归一化后的图像对所述深度神经网络模型进行训练，得到所述字符识别模型。优选地，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车牌字符识别方法，其特征在于，包括如下步骤：S1、构建深度神经网络模型，该深度神经网络模型包括基础网络、车牌字符分割网络和车牌字符识别网络，车牌字符分割网络和车牌字符识别网络共享基础网络；S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。

【技术特征摘要】
1.一种基于深度学习的车牌字符识别方法，其特征在于，包括如下步骤：S1、构建深度神经网络模型，该深度神经网络模型包括基础网络、车牌字符分割网络和车牌字符识别网络，车牌字符分割网络和车牌字符识别网络共享基础网络；S2、收集车牌样本图像，对所构建的深度神经网络模型进行训练，得到字符识别模型；S3、利用所述字符识别模型，对待识别车牌图像进行车牌字符识别。2.如权利要求1所述的基于深度学习的车牌字符识别方法，其特征在于，所述基础网络的输出是输入图像的高层特征层featuremap，基础网络包括：卷积层conv0、最大值池化层pool0以及残差网络基础机构体；卷积层conv0的输出接最大值池化层pool0，最大值池化层pool0的输出接残差网络基础机构体，经残差网络基础机构体输出输入图像的高层特征层featuremap。3.如权利要求2所述的基于深度学习的车牌字符识别方法，其特征在于，所述残差网络基础机构体数量为至少3个；残差网络基础机构体包括分支brance1、分支brance2和合并层eltsum，分支brance2包括brance2_0和brance2_1；分支brance1、分支brance2和合并层eltsum均为卷积层，分支brance1和分支brance2的输出接入合并层eltsum。4.如权利要求3所述的基于深度学习的车牌字符识别方法，其特征在于，所述基础网络中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。5.如权利要求1或2所述的基于深度学习的车牌字符识别方法，其特征在于，所述车牌字符分割网络包括卷积层conv_rect0和q个字符位置矩形预测网络，卷积层conv_rect0的输出分别接q个字符位置矩形预测网络的输入；所述基础网络的输出结果通过卷积层conv_rect0；卷积层conv_rect0的输出结果分别经过q个字符位置矩形预测网络，得到q个字符的位置矩形。6.如权利要求5所述的基于深度学习的车牌字符识别方法，其特征在于，所述字符位置矩形预测网络包括卷积层conv_loc和全连接层fc_loc；卷...

【专利技术属性】
技术研发人员：张卡，何佳，尼秀明，
申请(专利权)人：安徽清新互联信息科技有限公司，
类型：发明
国别省市：安徽,34