车牌识别方法、系统、设备及存储介质技术方案

本申请提供了一种车牌识别方法、系统、设备及存储介质，所述方法包括：获取待识别车牌的车牌区域图像；将所述车牌区域图像输入关键点预测模型，获取所述待识别车牌的预测关键点位置，所述预测关键点包括预测角点关键点和预测非角点关键点；基于标准车牌的预设关键点位置和所述待识别车牌的预测关键点位置计算透视变换矩阵；根据所述透视变换矩阵对所述车牌区域图像进行矫正，得到矫正车牌图像；将所述矫正车牌图像输入车牌字符识别模型，得到车牌字符。通过采用本申请，更加鲁棒地解决大角度低质量车牌难识别的问题。低质量车牌难识别的问题。低质量车牌难识别的问题。

【技术实现步骤摘要】
车牌识别方法、系统、设备及存储介质


[0001]本申请涉及图像识别
，尤其涉及一种车牌识别方法、系统、设备及存储介质。

技术介绍

[0002]在城市交通管理、视频监控、车辆识别和停车场管理中，车牌识别是一项富有挑战而重要的任务，图像的清晰度、光照条件、天气因素、图像形变和车牌字符的多变性使车牌识别问题变的复杂化。一个鲁棒的车牌识别系统应当能够应对各种环境的变化而不失准确性。
[0003]自然场景中的车牌图像会由于拍摄角度变化、地面倾斜或是车牌不规范造成各种形变，这些形变包括透视变换、弯曲、倾斜、扭曲等。车牌图片的倾斜和扭曲容易影响到后续车牌号码识别的准确性。因此，对车牌进行精确的矫正具有重要的现实意义。而传统的矫正方法如霍夫变换、Randon变换等方法通常只能解决车牌的倾斜问题，对于出现的其他的几何形变的矫正无能为力，而且在矫正车牌之后还需要进行一系列的车牌位置精确定位处理，需要进行大量的运算时间，不具备实时性。现有的基于车牌四个角点回归的车牌矫正方法，对于扭曲的或者遮挡的车牌容易出现角点定位不准的现象，从而会影响矫正的结果。
[0004]现有的车牌识别方法一般包括车牌检测、车牌矫正、车牌字符识别三大主要步骤。车牌检测是为了定位出车牌的大致区域；车牌矫正是为了把倾斜的车牌标准化，有利于提升下一步车牌识别的准确度；车牌字符识别就是将矫正好的车牌图像上的号码依次地以字符形式识别出来。
[0005]现有技术方案主要存在如下缺点：
[0006]当获取到的车牌图像存在质量较低、局部遮挡、角度倾斜较大的情况时，现有的基于四个角点的车牌矫正方法检测出的角点不够准确，导致经常会出现矫正不好的现象。

技术实现思路

[0007]针对现有技术中的问题，本申请的目的在于提供一种车牌识别方法、系统、设备及存储介质，更加鲁棒地解决大角度低质量车牌难识别的问题。
[0008]本申请实施例提供一种车牌识别方法，包括如下步骤：
[0009]获取待识别车牌的车牌区域图像；
[0010]将所述车牌区域图像输入关键点预测模型，获取所述待识别车牌的预测关键点位置，预测关键点包括预测角点关键点和预测非角点关键点；
[0011]基于标准车牌的预设关键点位置和所述待识别车牌的预测关键点位置计算透视变换矩阵，预设关键点包括预设角点关键点和预设非角点关键点；
[0012]根据所述透视变换矩阵对所述车牌区域图像进行矫正，得到矫正车牌图像；
[0013]将所述矫正车牌图像输入车牌字符识别模型，得到车牌字符。
[0014]本申请通过采用该车牌识别方法，首先基于关键点预测模型得到待识别车牌区域
图像的预测关键点位置，基于标准车牌的预设关键点位置和待识别车牌区域图像的预测关键点位置计算透视变换矩阵，并基于该透视变换矩阵矫正图像，由于关键点不仅包括角点关键点，还包括其他根据需要选择的非角点关键点，有效避免车牌图像角点检测不够准确影响矫正效果的问题，提高车牌区域图像的矫正效果，在进行车牌字符识别时，矫正效果更好的图像可以获得更准确的字符识别结果。
[0015]在一些实施例中，还包括采用如下步骤训练所述关键点预测模型：
[0016]获取样本车牌的样本车牌区域图像，确定所述样本车牌的标注角点关键点的第一位置；
[0017]根据所述标准车牌的预设关键点位置和所述样本车牌的标注角点关键点的第一位置确定所述样本车牌的标注非角点关键点的第一位置；
[0018]将所述样本车牌区域图像输入初始关键点预测模型，得到所述初始关键点预测模型输出的所述样本车牌的标注关键点的第二位置，所述标注关键点包括标注角点关键点和标注非角点关键点；
[0019]基于所述样本车牌的标注关键点的第一位置和第二位置构建损失函数，并基于所述损失函数优化训练所述初始关键点预测模型得到所述关键点预测模型。
[0020]在一些实施例中，所述根据所述标准车牌的预设关键点位置和所述样本车牌的标注角点关键点的第一位置确定所述样本车牌的标注非角点关键点的第一位置，包括如下步骤：
[0021]基于所述样本车牌的标注角点关键点的第一位置和标准车牌的预设角点关键点位置，构建位置转换矩阵；
[0022]基于标准车牌的预设非角点关键点位置以及所述位置转换矩阵，计算所述样本车牌的标注非角点关键点的第一位置。
[0023]在一些实施例中，对于所述标准车牌，将标准车牌的四个角点围成的区域划分为(m
‑
1)
×
(n
‑
1)个网格，得到m
×
n个网格点，将各个网格点作为所述标准车牌的预设关键点，m≥2，n≥2，且m
×
n≥4。
[0024]在一些实施例中，所述关键点预测模型包括第一特征提取层、关键点预测分支和局部偏移预测分支；所述将所述车牌区域图像输入关键点预测模型，获取所述待识别车牌的预测关键点位置，包括如下步骤：
[0025]将所述车牌区域图像输入所述关键点预测模型，通过所述第一特征提取层提取所述车牌区域图像的图像特征，通过所述关键点预测分支获取热度图，通过所述局部偏移预测分支获取局部偏移值；
[0026]从所述热度图中选择响应值大于邻域点响应值的峰值点，确定峰值点的位置；
[0027]获取与峰值点位置对应位置处的局部偏移值，根据所述峰值点的位置和所述局部偏移值得到峰值点的矫正位置；
[0028]将所述峰值点与所述标准车牌的预设关键点进行配对，将与所述标准车牌的预设关键点对应的峰值点作为预测关键点，将作为所述预测关键点的峰值点所对应的矫正位置作为预测关键点的第二位置。
[0029]在一些实施例中，所述车牌字符识别模型包括依次串联的第二特征提取层、全局可分离卷积层、卷积层、reshape层和分类层。
[0030]在一些实施例中，将所述矫正车牌图像输入车牌字符识别模型，所述车牌字符识别模型配置为执行如下操作：
[0031]所述第二特征提取层对所述矫正车牌图像进行特征提取，得到C
×
H
×
W维度的图像特征，C、H、W分别表示提取得到的图像特征的初始维度、初始高度和初始宽度；
[0032]所述全局可分离卷积层将所述C
×
H
×
W维度的图像特征转换为C
×1×
1维度的图像特征；
[0033]所述卷积层将所述C
×1×
1维度的图像特征转换为A
×1×
1维度的图像特征，其中A＝B1*B2，B1为预设的每个字符类别数，B2为预设的车牌最多字符数；
[0034]所述reshape层将所述A
×1×
1维度的图像特征转换为B1
×
B2
×
1维度的图像特征；
[0035]所述分类层基于所述B1
×
B2
×
1维度的图像特征进行分类预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌识别方法，其特征在于，包括如下步骤：获取待识别车牌的车牌区域图像；将所述车牌区域图像输入关键点预测模型，获取所述待识别车牌的预测关键点位置，预测关键点包括预测角点关键点和预测非角点关键点；基于标准车牌的预设关键点位置和所述待识别车牌的预测关键点位置计算透视变换矩阵，预设关键点包括预设角点关键点和预设非角点关键点；根据所述透视变换矩阵对所述车牌区域图像进行矫正，得到矫正车牌图像；将所述矫正车牌图像输入车牌字符识别模型，得到车牌字符。2.根据权利要求1所述的车牌识别方法，其特征在于，还包括采用如下步骤训练所述关键点预测模型：获取样本车牌的样本车牌区域图像，确定所述样本车牌的标注角点关键点的第一位置；根据所述标准车牌的预设关键点位置和所述样本车牌的标注角点关键点的第一位置确定所述样本车牌的标注非角点关键点的第一位置；将所述样本车牌区域图像输入初始关键点预测模型，得到所述初始关键点预测模型输出的所述样本车牌的标注关键点的第二位置，所述标注关键点包括标注角点关键点和标注非角点关键点；基于所述样本车牌的标注关键点的第一位置和第二位置构建损失函数，并基于所述损失函数优化训练所述初始关键点预测模型得到所述关键点预测模型。3.根据权利要求2所述的车牌识别方法，其特征在于，所述根据所述标准车牌的预设关键点位置和所述样本车牌的标注角点关键点的第一位置确定所述样本车牌的标注非角点关键点的第一位置，包括如下步骤：基于所述样本车牌的标注角点关键点的第一位置和标准车牌的预设角点关键点位置，构建位置转换矩阵；基于标准车牌的预设非角点关键点位置以及所述位置转换矩阵，计算所述样本车牌的标注非角点关键点的第一位置。4.根据权利要求2所述的车牌识别方法，其特征在于，对于所述标准车牌，将标准车牌的四个角点围成的区域划分为(m
‑
1)
×
(n
‑
1)个网格，得到m
×
n个网格点，将各个网格点作为所述标准车牌的预设关键点，m≥2，n≥2，且m
×
n≥4。5.根据权利要求1所述的车牌识别方法，其特征在于，所述关键点预测模型包括第一特征提取层、关键点预测分支和局部偏移预测分支；所述将所述车牌区域图像输入关键点预测模型，获取所述待识别车牌的预测关键点位置，包括如下步骤：将所述车牌区域图像输入所述关键点预测模型，通过所述第一特征提取层提取所述车牌区域图像的图像特征，通过所述关键点预测分支获取热度图，通过所述局部偏移预测分支获取局部偏移值；从所述热度图中选择响应值大于邻域点响应值的峰值点，确定峰值点的位置；获取与峰值点位置对应位置处的局部偏移值，根据所述峰值点的位置和所述局...

【专利技术属性】
技术研发人员：张峰，肖潇，孟祥浩，袁小青，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：