一种基于CNN的双行车牌分割方法及系统技术方案

本发明专利技术实施例公开了一种基于CNN的双行车牌分割方法及系统，包括训练及建模过程和检测过程，包括：将车牌图像训练数据集分辨率缩放到给定大小；标记所有车牌图像的标签；设置模型训练参数；定义一个13层的带有若干权值参数的CNN双行车牌分割模型；在Caffe框架中采用随机梯度下降算法输出一个训练好的CNN双行车牌分割模型；将车牌图像测试数据集分辨率缩放到给定大小，并输入到训练好的CNN双行车牌分割模型进行测试；使用softmax分类器识别出所求的车牌图像的单双行车牌类别、左右边界分割点纵坐标。本发明专利技术对车牌倾斜度较大和图像质量较差的双行车牌图像具有较好的鲁棒性，改善了现有方法对双行车牌分割准确率不高的问题。

A CNN-based Method and System for Bi-lane License Plate Segmentation

The embodiment of the present invention discloses a CNN-based two-way license plate segmentation method and system, including training and modeling process and detection process, including: scaling the resolution of the license plate image training data set to a given size; labeling all license plate images; setting model training parameters; defining a 13-layer CNN two-way license plate segmentation model with several weight parameters; and in the Caffe frame. Random gradient descent algorithm is used to output a trained CNN double-lane license plate segmentation model; the resolution of the license plate image test data set is scaled to a given size and input to the trained CNN double-lane license plate segmentation model for testing; and the software Max classifier is used to identify the single-lane and double-lane license plate categories and the vertical coordinates of the left and right boundary segmentation points of the license plate image. The invention has good robustness to double-lane license plate images with large tilt of license plate and poor image quality, and improves the problem that the existing method has low segmentation accuracy for double-lane license plate.

【技术实现步骤摘要】
一种基于CNN的双行车牌分割方法及系统
本专利技术属于自动车牌分割与识别
，特别涉及一种基于CNN的双行车牌分割方法及系统，用以解决现有车牌识别方法对双行车牌因字符分割不准确而导致的识别率下降的问题。
技术介绍
车牌分割是指利用图形图像处理技术将车牌字符进行分割的技术，是自动车牌识别系统的一个重要步骤。自动车牌识别系统主要包括三个步骤：车牌定位与分割、车牌字符分割、车牌字符识别。每一步骤的准确率都会直接影响到自动车牌识别系统的识别结果准确性。目前，自动车牌识别系统有着广泛的应用，例如交通安全执法、无人看守停车场以及高速公路自动收费等。由于自动车牌识别系统的重要性，车牌分割技术的准确性也显得非常重要，近年来有越来越多的研究人员在研究相关的车牌分割技术。车牌字符分割一般可以分为基于投影的方法和基于字符连通性的方法。基于投影的车牌分割方法首先将图片二值化，然后计算垂直投影直方图或者水平投影直方图，最后找到分割线位置并将车牌字符进行分割(请参见文献：IngoleSK,GundreSB.CharactersfeaturebasedIndianvehiclelicenseplatedetectionandrecognition[C]//InternationalConferenceonIntelligentComputingandControl.Coimbatore:IEEEComputerSocietyPress,2018:1-5)。但是，基于投影的方法很容易受到车牌倾斜度、噪声、图片明暗度等因素影响，导致车牌字符分割准确率下降。基于字符连通性的车牌字符分割方法先在车牌区域查找每个字符的连通轮廓再对每个车牌字符进行分割(请参见文献：TaTD,LeDA,LeMT.AutomaticnumberplaterecognitiononelectronictollcollectionsystemsforVietnameseconditions[C]//Proceedingsofthe9thInternationalConferenceonUbiquitousInformationManagementandCommunication.NewYork:ACM,2015:1-5)。但是，该方法容易受到噪声影响而导致字符轮廓的查找错误，并且对于不具备连通性的汉字的分割准确率较低。基于以上问题，本专利技术提出了一种基于CNN的双行车牌分割算法，有效地将双行车牌分割为两个单行车牌，提高后续的车牌字符分割和识别的准确率。CNN是卷积神经网络的英文缩写，现在已经被广泛应用于计算机视觉领域中。CNN的输入可以是一张包含3个颜色通道的二维图像，避免了传统机器学习方法中需要人工选择图像特征的局限性。CNN中的权值参数共享网络结构降低了网络模型的复杂度，相比传统的神经网络减少了权值参数的数量。卷积神经网络避免了传统机器学习方法的复杂特征提取和数据重建过程，可以直接从大量的训练数据集中通过全自动的训练和学习获得较好的双行车牌分割结果。本专利技术所提出的一种基于CNN的双行车牌分割方法专门是为了实现对双行车牌图像的高效分割而设计的，有效地解决现有方法中所存在的难以处理车牌倾斜较大图像和噪声较多图像的问题。故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。
技术实现思路
本专利技术的目的在于针对现有双行车牌分割技术的不足，提供了一种基于CNN的双行车牌分割方法及系统，以减少车牌倾斜度和图像噪声等因素对分割结果的影响，有效地提高双行车牌图像的分割准确率。实现本专利技术目的的总体技术思路为：本专利技术分为训练过程和测试过程。首先，定义一个共有13层网络结构的带有若干权值参数的CNN双行车牌分割模型，使用车牌图像训练数据集进行自动的模型训练和学习，得到一个训练好的CNN双行车牌分割模型。然后，将车牌图像测试数据集输入到训练好的CNN双行车牌分割模型中，得到车牌图像的单双行车牌类别、双行车牌图像左边界分割点纵坐标标、双行车牌图像右边界分割点纵坐标等车牌分割结果。为了解决现有技术存在的技术问题，本专利技术的技术方案如下：一种基于CNN的双行车牌分割方法，其特征在于，所述方法包括：步骤S1、架构一个共有13层网络结构的带有若干权值参数的CNN双行车牌分割模型，并使用车牌图像训练数据集进行自动的模型训练和学习，得到一个训练好的CNN双行车牌分割模型；步骤S2、将待检测车牌图像输入到训练好的CNN双行车牌分割模型中，得到车牌分割结果，所述车牌分割结果至少包括车牌图像的单双行车牌类别、双行车牌图像左边界分割点纵坐标标、双行车牌图像右边界分割点纵坐标；其中，所述步骤S1进一步包括以下步骤：步骤S101、对车牌图像进行归一化处理：给定包含m1张车牌图像的车牌图像训练数据集，将所有车牌图像的分辨率统一缩放至给定的大小w×h×c1，其中w表示车牌图像宽度、h表示车牌图像高度、c1表示特征图数量；步骤S102、人工标记出车牌图像训练数据集中所有车牌图像的标签，每张车牌图像有3个标签，分别为类别标签(记为y1，其中1表示单行车牌，2表示双行车牌)、左边界分割点纵坐标标签(记为y2，1≤y2≤h)、右边界分割点纵坐标标签(记为y3，1≤y3≤h)；其中，双行车牌的左右边界分割点纵坐标标签按上下两行车牌字符的实际位置进行人工标记，单行车牌的左右边界分割点纵坐标标签则标记为0；步骤S103、人工设置好CNN双行车牌分割模型训练所需要的参数值，包括网络学习率、最大迭代次数、是否使用GPU训练模型、归一化层参数值α和β；步骤S104、在Caffe框架中构造一个基于CNN的网络结构，定义一个带有若干权值参数的CNN双行车牌分割模型；该CNN双行车牌分割模型的网络结构共有13层，从第一层到第十三层分别为：第一卷积层、第一激活层、归一化层、下采样层、第二卷积层、第二激活层、下采样层、dropout层、全连接层、第三激活层、全连接层、第四激活层和softmax层；第四激活层的输出分别为包含2个特征值的四号特征向量(记为F4)、包含h个特征值的五号特征向量(记为F5)、包含h个特征值的六号特征向量(记为F6)；步骤S105、根据步骤S101所述的m1张车牌图像训练数据集、步骤S102所述的所有车牌图像的标签、步骤S103所述的CNN双行车牌分割模型训练所需要的参数值，输入到步骤S104所述的带有若干权值参数的CNN双行车牌分割模型中进行训练，在Caffe框架中采用随机梯度下降算法求解出所有权值参数的值，输出一个训练好的CNN双行车牌分割模型；所述步骤S2进一步包括以下步骤：步骤S201、输入至少一张待检测车牌图像，并将所有车牌图像的分辨率统一缩放至步骤S101所述的大小w×h×c1；步骤S202、在Caffe框架采用步骤S105所得到的训练好的CNN双行车牌分割模型对车牌图像进行检测；其中，每一张车牌图像经过步骤S105所得到的训练好的CNN双行车牌分割模型的计算之后，能够得到步骤S105所述的第四激活层的输出，分别为包含2个特征值的四号特征向量F4、包含h个特征值的五号特征向量F5、包含h个特征值的六号特征向量F6；步骤S203、使用softmax分类器对每一张车牌图像的类别标签进本文档来自技高网...

【技术保护点】
1.一种基于CNN的双行车牌分割方法，其特征在于，所述方法包括：步骤S1、架构一个共有13层网络结构的带有若干权值参数的CNN双行车牌分割模型，并使用车牌图像训练数据集进行自动的模型训练和学习，得到一个训练好的CNN双行车牌分割模型；步骤S2、将待检测车牌图像输入到训练好的CNN双行车牌分割模型中，得到车牌分割结果，所述车牌分割结果至少包括车牌图像的单双行车牌类别、双行车牌图像左边界分割点纵坐标标、双行车牌图像右边界分割点纵坐标；其中，所述步骤S1进一步包括以下步骤：步骤S101、对车牌图像进行归一化处理：给定包含m1张车牌图像的车牌图像训练数据集，将所有车牌图像的分辨率统一缩放至给定的大小w×h×c1，其中w表示车牌图像宽度、h表示车牌图像高度、c1表示特征图数量；步骤S102、人工标记出车牌图像训练数据集中所有车牌图像的标签，每张车牌图像有3个标签，分别为类别标签(记为y1，其中1表示单行车牌，2表示双行车牌)、左边界分割点纵坐标标签(记为y2，1≤y2≤h)、右边界分割点纵坐标标签(记为y3，1≤y3≤h)；其中，双行车牌的左右边界分割点纵坐标标签按上下两行车牌字符的实际位置进行人工标记，单行车牌的左右边界分割点纵坐标标签则标记为0；步骤S103、人工设置好CNN双行车牌分割模型训练所需要的参数值，包括网络学习率、最大迭代次数、是否使用GPU训练模型、归一化层参数值α和β；步骤S104、在Caffe框架中构造一个基于CNN的网络结构，定义一个带有若干权值参数的CNN双行车牌分割模型；该CNN双行车牌分割模型的网络结构共有13层，从第一层到第十三层分别为：第一卷积层、第一激活层、归一化层、下采样层、第二卷积层、第二激活层、下采样层、dropout层、第一全连接层、第三激活层、第二全连接层、第四激活层和softmax层；第四激活层的输出分别为包含2个特征值的四号特征向量(记为F4)、包含h个特征值的五号特征向量(记为F5)、包含h个特征值的六号特征向量(记为F6)；步骤S105、根据步骤S101所述的m1张车牌图像训练数据集、步骤S102所述的所有车牌图像的标签、步骤S103所述的CNN双行车牌分割模型训练所需要的参数值，输入到步骤S104所述的带有若干权值参数的CNN双行车牌分割模型中进行训练，在Caffe框架中采用随机梯度下降算法求解出所有权值参数的值，输出一个训练好的CNN双行车牌分割模型；所述步骤S2进一步包括以下步骤：步骤S201、输入至少一张待检测车牌图像，并将所有车牌图像的分辨率统一缩放至步骤S101所述的大小w×h×c1；步骤S202、在Caffe框架采用步骤S105所得到的训练好的CNN双行车牌分割模型对车牌图像进行检测；其中，每一张车牌图像经过步骤S105所得到的训练好的CNN双行车牌分割模型的计算之后，能够得到步骤S105所述的第四激活层的输出，分别为包含2个特征值的四号特征向量F4、包含h个特征值的五号特征向量F5、包含h个特征值的六号特征向量F6；步骤S203、使用softmax分类器对每一张车牌图像的类别标签进行识别，得到车牌图像的类别；具体过程如下：根据步骤S202所得到的包含2个特征值的四号特征向量F4，计算每一张车牌图像的关于四号特征向量F4的softmax损失向量(记为L4)，具体计算公式为：...

【技术特征摘要】
1.一种基于CNN的双行车牌分割方法，其特征在于，所述方法包括：步骤S1、架构一个共有13层网络结构的带有若干权值参数的CNN双行车牌分割模型，并使用车牌图像训练数据集进行自动的模型训练和学习，得到一个训练好的CNN双行车牌分割模型；步骤S2、将待检测车牌图像输入到训练好的CNN双行车牌分割模型中，得到车牌分割结果，所述车牌分割结果至少包括车牌图像的单双行车牌类别、双行车牌图像左边界分割点纵坐标标、双行车牌图像右边界分割点纵坐标；其中，所述步骤S1进一步包括以下步骤：步骤S101、对车牌图像进行归一化处理：给定包含m1张车牌图像的车牌图像训练数据集，将所有车牌图像的分辨率统一缩放至给定的大小w×h×c1，其中w表示车牌图像宽度、h表示车牌图像高度、c1表示特征图数量；步骤S102、人工标记出车牌图像训练数据集中所有车牌图像的标签，每张车牌图像有3个标签，分别为类别标签(记为y1，其中1表示单行车牌，2表示双行车牌)、左边界分割点纵坐标标签(记为y2，1≤y2≤h)、右边界分割点纵坐标标签(记为y3，1≤y3≤h)；其中，双行车牌的左右边界分割点纵坐标标签按上下两行车牌字符的实际位置进行人工标记，单行车牌的左右边界分割点纵坐标标签则标记为0；步骤S103、人工设置好CNN双行车牌分割模型训练所需要的参数值，包括网络学习率、最大迭代次数、是否使用GPU训练模型、归一化层参数值α和β；步骤S104、在Caffe框架中构造一个基于CNN的网络结构，定义一个带有若干权值参数的CNN双行车牌分割模型；该CNN双行车牌分割模型的网络结构共有13层，从第一层到第十三层分别为：第一卷积层、第一激活层、归一化层、下采样层、第二卷积层、第二激活层、下采样层、dropout层、第一全连接层、第三激活层、第二全连接层、第四激活层和softmax层；第四激活层的输出分别为包含2个特征值的四号特征向量(记为F4)、包含h个特征值的五号特征向量(记为F5)、包含h个特征值的六号特征向量(记为F6)；步骤S105、根据步骤S101所述的m1张车牌图像训练数据集、步骤S102所述的所有车牌图像的标签、步骤S103所述的CNN双行车牌分割模型训练所需要的参数值，输入到步骤S104所述的带有若干权值参数的CNN双行车牌分割模型中进行训练，在Caffe框架中采用随机梯度下降算法求解出所有权值参数的值，输出一个训练好的CNN双行车牌分割模型；所述步骤S2进一步包括以下步骤：步骤S201、输入至少一张待检测车牌图像，并将所有车牌图像的分辨率统一缩放至步骤S101所述的大小w×h×c1；步骤S202、在Caffe框架采用步骤S105所得到的训练好的CNN双行车牌分割模型对车牌图像进行检测；其中，每一张车牌图像经过步骤S105所得到的训练好的CNN双行车牌分割模型的计算之后，能够得到步骤S105所述的第四激活层的输出，分别为包含2个特征值的四号特征向量F4、包含h个特征值的五号特征向量F5、包含h个特征值的六号特征向量F6；步骤S203、使用softmax分类器对每一张车牌图像的类别标签进行识别，得到车牌图像的类别；具体过程如下：根据步骤S202所得到的包含2个特征值的四号特征向量F4，计算每一张车牌图像的关于四号特征向量F4的softmax损失向量(记为L4)，具体计算公式为：式中，F4,n表示四号特征向量F4的第n个特征值，L4n表示关于四号特征向量F4的softmax损失向量L4的第n(1≤n≤2)个特征值，其含义是该车牌图像的类别被识别为类别n的概率；然后，从L4中选取概率最大的类别作为最终识别的类别(记为y4)，具体计算公式为：式中，函数argmax表示取得向量最大值元素所在的位置；步骤S204、使用softmax分类器对车牌图像测试数据集的每一张车牌图像的左边界分割点纵坐标标签和右边界分割点纵坐标标签进行识别，得到车牌图像的左边界分割点纵坐标、右边界分割点纵坐标；具体过程如下：根据步骤S202所得到的包含h个特征值的五号特征向量F5、包含h个特征值的六号特征向量F6、步骤S203所得到的最终识别的车牌图像的类别y4，计算每一张车牌图像的关于五号特征向量F5和六号特征向量F6的softmax损失向量(分别记为L5、L6)，具体计算公式为：式中，F5,n、F6,n分别表示五号特征向量F5和六号特征向量F6的第n个特征值，L5n、L6n分别表示关于五号特征向量F5和六号特征向量F6的softmax损失向量L5和L6的第n(1≤n≤h)个特征值，其含义是该车牌图像的左、右边界分割点纵坐标被识别为n的概率；然后，分别从L5、L6中选取概率最大的纵坐标作为最终识别的左、右边界分割点纵坐标(分别记为y5、y6)，具体计算公式为：上述所计算得到的每一张车牌图像的y4、y5、y6的值即为每一张待检测车牌图像的类别、左边界分割点纵坐标、右边界分割点纵坐标。2.一种基于CNN的双行车牌分割系统，其特征在于，所述系统包括：一训练好的CNN双行车牌分割模型，用于获取待检测车牌图像并进行图像处理后输出车牌分割结果；其中，所述车牌分割结果至少包括车牌图像的单双行车牌类别、双行车牌图像左边界分割点纵坐标标、双行车牌图像右边界分割点纵坐标；所述CNN双行车牌分割模型共有13层网络结构并设置若干权值参数，从第一层到第十三层分别为：第一卷积层、第一激活层、归一化层、下采样层、第二卷积层、第二激活层、下采样层、dropout层、第一全连接层、第三激活层、第二全连接层、第四激活层和softmax层；第四激活层的输出分别为包含2个特征值的四号特征向量(记为F4)、包含h个特征值的五号特征向量(记为F5)、包含h个特征值的六号特征向量(记为F6)；一训练模块，用于使用车牌图像训练数据集对CNN双行车牌分割模型进行自动的模型训练和学习该模型的权值参数达到最优以作为训练好的CNN双行车牌分割模型。3.根据权利要求2所述的基于CNN的双行车牌分割系统，其特征在于，所述训练模块进一步包括：归一化单元，用于对车牌图像进行归一化处理；其中，对给定包含m1张车牌图像的车牌图像训练数据集，将所有车牌图像的分辨率统一缩放至给定的大小w×h×c1，其中w表示车牌图像宽度、h表示车牌图像高度、c1表示特征图数量；标签输入单元，用于人工标记出车牌图像训练数据集中所有车牌图像的标签；其中，每张车牌图像有3个标签，分别为类别标签(记为y1，其中1表示单行车牌，2表示双行车牌)、左边界分割点纵坐标标签(记为y2，1≤y2≤h)、右边界分割点纵坐标标签(记为y3，1≤y3≤h)；其中，双行车牌的左右边界分割点纵坐标标签按上下两行车牌字符的实际位置进行人工标记，单行车牌的左右边界分割点纵坐标标签则标记为0；训练参数设置单元，用于人工设置好CNN双行车牌分割模型训练所需要的参数值，所述参数值至少包括网络学习率、最大迭代次数、是否使用GPU训练模型、归一化层参数值α和β；权值参数优化单元，根据车牌图像训练数据集、所有车牌图像的标签、模型训练所需要的参数值，对CNN双行车牌分割模型参数进行训练，并在Caffe框架...

【专利技术属性】
技术研发人员：赵汉理，刘俊如，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江,33