一种基于空间位置信息的车牌字符分割方法技术

一种基于空间位置信息的车牌字符分割方法，可解决现有的车牌字符分割方法对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像分割效果较差的技术问题。包括S1、建立深度神经网络模型；S2、通过标注好的训练样本数据，优化所述深度神经网络模型参数，得到最优深度神经网络模型；S3、读取车牌图像信息，通过最优深度神经网络模型运算，提取车牌字符之间的空间位置信息特征，进而获取车牌每一个字符的位置。本发明专利技术采用深度学习技术直接预测车牌字符位置，采用无anchor训练机制，降低了模型训练的难度，综合利用车牌字符的整体特征和局部特征，车牌字符分割结果更加准确，对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像，鲁棒性更强。

A method of license plate character segmentation based on spatial position information

【技术实现步骤摘要】
一种基于空间位置信息的车牌字符分割方法
本专利技术涉及车牌识别
，具体涉及一种基于空间位置信息的车牌字符分割方法。
技术介绍
车牌识别是智能交通的核心技术，包含了三个部分：车牌定位，字符分割，字符识别。其中，字符分割是整个技术最重要的一部分，字符分割的好坏，直接影响后续的字符识别，进而影响整体的识别性能。字符分割是指在一幅已知车牌准确位置的图像中，精确分割出每个单一字符。对于清晰的车牌图像，已有很多成熟方法，可以获得较好的分割结果，然而，实际环境中，由于光线变化、拍摄角度、车牌污损等各种复杂场景的存在，会造成车牌字符的模糊、缺失、粘连等缺陷的出现，当前的成熟方法很难进行精确分割，造成最终的车牌识别失败。因此，如何有效的对低质量车牌图像进行精确字符分割，仍然是当前限制车牌识别技术的难题。目前，车牌字符分割主要有以下几类方法：(1)基于垂直投影的方法，该方法通过获取车牌字符的垂直投影曲线，依据曲线的波峰波谷位置，获取每个字符的边缘位置。该类方法的优点是算法简单，速度快，对于清晰车牌，分割效果较佳，其缺点是对于一些污损、粘连、定位不够精确的低质量车牌，分割效果会明显下降，甚至失效。(2)基于连通区域分析的方法，该方法首先进行车牌图像二值化，利用单个字符都是单连通区域的特征进行分析，最终获取字符的位置。该类方法的优点是对低图像质量的车牌适应性较好，速度较快，然而，它对于缺失、粘连的字符，却无能为力。(3)基于机器学习的方法，如“一种基于支持向量机的车牌字符分割方法”，该类方法通过获取车牌的布局规律特征，借助分类器进行训练学习，最终完成车牌字符的分割。其优点是对于清晰车牌，识别效果较佳，对于低质量图像也有一定的抵抗性，其缺点是合适的布局规律特征较难选取，部分变形车牌不满足布局规律，计算特征的过程，相对较复杂。(4)基于深度学习的方法，近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用，出现了一批经典的目标位置检测网络框架，如fasterrcnn，ssd，yolo等，这些经典网络框架通过迁移学习，可以很好地检测车牌字符位置，但该类技术的缺点是模型消耗内存很大，运算量很大，基于anchorbox的模型训练参数很复杂，不易收敛，这些缺点严重的限制了深度学习算法在车牌字符分割领域的应用。
技术实现思路
本专利技术提出的一种基于空间位置信息的车牌字符分割方法，可解决现有的车牌字符分割方法对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像分割效果较差的技术问题。为实现上述目的，本专利技术采用了以下技术方案：一种基于空间位置信息的车牌字符分割方法，包括以下步骤：S1、建立深度神经网络模型；S2、通过标注好的训练样本数据，优化所述深度神经网络模型参数，得到最优深度神经网络模型；S3、读取车牌图像信息，通过所述最优深度神经网络模型运算，提取车牌字符之间的空间位置信息特征，进而获取车牌每一个字符的位置。进一步的，所述S1、建立深度神经网络模型，具体包括：S11、设计深度神经网络模型的输入图像；S12、设计快速下降网络，用于获取输入图像的高层特征；S13、设计空间位置信息网络，基于所述输入图像的高层特征获取字符空间位置信息特征图；S14、设计字符预测网络，在所获取的字符空间位置信息特征图的基础上，进一步提升特征网络的表达能力，最终预测出车牌各个字符的准确位置。进一步的，所述步骤S11中所采用的输入图像尺寸为512×256的RGB图像。进一步的，所述快速下降网络包括卷积层conv0、最大值下采样层maxpool0、两个残差网络基础结构体resnetblock0和resnetblock1、合并层eltsum及卷积层conv2；所述卷积层conv0的核尺寸是7×7，跨度是4×4；所述最大值下采样层maxpool0核尺寸是2×2，跨度是2×2；所述残差网络基础结构体包括卷积层convresnet0、convresnet1_0、convresnet1_1、convresnet1_2、其中，所述卷积层convresnet0核尺寸是3×3，跨度是2×2，所述convresnet1_0核尺寸是1×1，跨度是1×1，所述卷积层convresnet1_0的作用是降低特征图通道数，减少后续卷积层的运算量；所述convresnet1_1核尺寸是3×3，跨度是2×2，所述卷积层convresnet1_2的核尺寸是1×1，跨度是1×1，卷积层convresnet1_2的作用是提升特征图通道数，增加特征丰富度；所述合并层eltsum是两个输入特征图进行逐像素相加的合并层；所述卷积层conv2是一个核尺寸是3×3，跨度是1×1的卷积层，其作用是进行合并特征融合。进一步的，所述空间位置信息网络包括高度方向空间位置信息特征图heightcontext和宽度方向空间位置信息特征图widthcontext；其中，宽度方向空间位置信息特征图获取步骤如下，设步骤S12的输出特征图尺寸是8×16×128：具体包括：S131、沿着宽度方向进行逐行切片，每一个切片特征图的尺寸是8×1×128，切片特征图的名称分别是cut0，cut1，cut2....cut15；S132、使用128个核尺寸是3×128，跨度是1×1的卷积核对第一个切片特征图cut0进行卷积，得到的输出特征图cut0-out的尺寸是8×1×128；S133、步骤S132得到的输出特征图cut0-out和切片特征图cut1进行逐像素相加，得到新切片特征图cut1_new；S134、对得到的新切片特征图cut1_new进行如同步骤S132和步骤S133的操作，得到新切片特征图cut2_new，循环步骤S132和步骤S133，直到得到最后一个新切片特征图cut15_new；S135集合步骤S131至步骤S134得到的所有的新切片特征图，按照宽度方向维度进行拼接，其输出特征图就是宽度方向空间位置信息特征图。进一步的，所述步骤S14中字符预测网络中包括两个分支网络，即LocX分支和LocY分支，其中，LocX分支用来预测车牌各个字符在X坐标轴方向上的分割位置，LocY分支用来预测车牌各个字符在Y坐标轴方向上的分割位置；LocX分支和LocY分支的网络结构相同包括convrecog0是一个核尺寸是3×3，跨度是2×2的卷积层，convrecog1是一个核尺寸是3×3，跨度是2×1的卷积层，convrecog2是一个核尺寸是2×2，跨度是1×1的卷积层，输出特征图尺寸是1×1×14，其中14表示每个分支网络的预测回归值数目。进一步的，所述S2、通过标注好的训练样本数据，优化所述深度神经网络模型参数，得到最优深度神经网络模型；具体包括：S21、获取训练样本图像，包括收集各种场景，各种光线、各种角度下的车牌图像，使本文档来自技高网...

【技术保护点】
1.一种基于空间位置信息的车牌字符分割方法，其特征在于：/n包括以下步骤：/nS1、建立深度神经网络模型；/nS2、通过标注好的训练样本数据，优化所述深度神经网络模型参数，得到最优深度神经网络模型；/nS3、读取车牌图像信息，通过所述最优深度神经网络模型运算，提取车牌字符之间的空间位置信息特征，进而获取车牌每一个字符的位置。/n

【技术特征摘要】
1.一种基于空间位置信息的车牌字符分割方法，其特征在于：
包括以下步骤：
S1、建立深度神经网络模型；
S2、通过标注好的训练样本数据，优化所述深度神经网络模型参数，得到最优深度神经网络模型；
S3、读取车牌图像信息，通过所述最优深度神经网络模型运算，提取车牌字符之间的空间位置信息特征，进而获取车牌每一个字符的位置。


2.根据权利要求1所述的基于空间位置信息的车牌字符分割方法，其特征在于：所述S1、建立深度神经网络模型，具体包括：
S11、设计深度神经网络模型的输入图像；
S12、设计快速下降网络，用于获取输入图像的高层特征；
S13、设计空间位置信息网络，基于所述输入图像的高层特征获取字符空间位置信息特征图；
S14、设计字符预测网络，在所获取的字符空间位置信息特征图的基础上，进一步提升特征网络的表达能力，最终预测出车牌各个字符的准确位置。


3.根据权利要求2所述的基于空间位置信息的车牌字符分割方法，其特征在于：所述步骤S11中所采用的输入图像尺寸为512×256的RGB图像。


4.根据权利要求2所述的基于空间位置信息的车牌字符分割方法，其特征在于：所述快速下降网络包括卷积层conv0、最大值下采样层maxpool0、两个残差网络基础结构体resnetblock0和resnetblock1、合并层eltsum及卷积层conv2；
所述卷积层conv0的核尺寸是7×7，跨度是4×4；
所述最大值下采样层maxpool0核尺寸是2×2，跨度是2×2；
所述残差网络基础结构体包括卷积层convresnet0、convresnet1_0、convresnet1_1、convresnet1_2、
其中，所述卷积层convresnet0核尺寸是3×3，跨度是2×2，所述convresnet1_0核尺寸是1×1，跨度是1×1，所述卷积层convresnet1_0的作用是降低特征图通道数，减少后续卷积层的运算量；所述convresnet1_1核尺寸是3×3，跨度是2×2，所述卷积层convresnet1_2的核尺寸是1×1，跨度是1×1，卷积层convresnet1_2的作用是提升特征图通道数，增加特征丰富度；
所述合并层eltsum是两个输入特征图进行逐像素相加的合并层；
所述卷积层conv2是一个核尺寸是3×3，跨度是1×1的卷积层，其作用是进行合并特征融合。


5.根据权利要求2所述的基于空间位置信息的车牌字符分割方法，其特征在于：所述空间位置信息网络包括高度方向空间位置信息特征图heightcontext和宽度方向空间位置信息特征图widthcontext；
其中，宽度方向空间位置信息特征图获取步骤如下，设步骤S12的输出特征图尺寸是8×16×128：
具体包括：
S131、沿着宽度方向进行逐行切片，每一个切片特征图的尺寸是8×1×128，切片特征图的名称分别是cut0，cut1，cut2....cut15；
S132、使用128个核尺寸是3×128，跨度是1×1的卷积核对第一个切片特征图cut0进行卷积，得到的输出特征图cut0...

【专利技术属性】
技术研发人员：张卡，何佳，尼秀明，
申请(专利权)人：安徽清新互联信息科技有限公司，
类型：发明
国别省市：安徽;34