车牌识别方法、装置、电子设备及存储介质制造方法及图纸

本公开还提供了一种车牌识别方法、装置、电子设备以及可读存储介质。本公开实施例的车牌识别方法，包括：获取第一图像，第一图像中包含目标车牌；对第一图像进行车牌检测以获得目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，车牌类别信息用于指示目标车牌为双层车牌还是单层车牌；根据车牌关键点数据对第一车牌图像执行透视变换，以获得第二车牌图像；在车牌类别信息指示目标车牌为双层车牌时，对第二车牌图像执行裁剪、拼接和缩放，以将第二车牌图像中的目标车牌转换为单层车牌；对第二车牌图像进行图像识别以获得目标车牌的车牌信息。本公开实施例能够有效提高单层车牌与双层车牌的检测识别精度，并且能检测识别形变较大的车牌图像。变较大的车牌图像。变较大的车牌图像。

【技术实现步骤摘要】
车牌识别方法、装置、电子设备及存储介质


[0001]本公开涉及一种车牌识别方法、装置、电子设备及存储介质。

技术介绍

[0002]现有的单层、双层车牌检测识别的方法，有双层车牌在不做处理的情况下与单层车牌共用一个识别模型的方法，这种方法的缺点是因为单层与双层车牌的形态差异很大，训练的模型的单层、双层车牌识别的精度都不高；也有单层、双层车牌各自训练一个识别模型的方法，这种方法的缺点是双层车牌的样本收集有一定难度，不能保证双层车牌的精度，并且在实际应用中要初始化两个识别模型会占用了更多的系统资源；也有通过传统的边缘检测算法获取车牌的上下边界，再根据经验值对双层车牌上下两行字符进行切分的方法，这种方法的缺点是，由于视角、光线等的原因，拍摄到的车牌图像可能有形变，比如旋转、扭曲，错切等，根据经验值直接做上下行切分的方法可能会得不到完整的字符图像，从而降低识别精度。

技术实现思路

[0003]为了解决上述技术问题中的至少一个，本公开提供了一种车牌识别方法、装置、电子设备及存储介质。
[0004]根据本公开的第一方面，提供了一种车牌识别方法，包括：
[0005]获取第一图像，第一图像中包含目标车牌；
[0006]对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；
[0007]根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；
[0008]在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；
[0009]对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。
[0010]本公开的第一方面的一些可能的实现方式中，对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，包括：利用预先训练的目标检测模型对所述第一图像进行目标检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；其中，所述目标检测模型根据预先构建的车牌检测训练集训练得到，所述车牌检测训练集包括含有双层车牌的图像样本和含有单层车牌的图像样本。
[0011]本公开的第一方面的一些可能的实现方式中，所述车牌检测训练集中部分图像样本的车牌具有形变。
[0012]本公开的第一方面的一些可能的实现方式中，车牌关键点数据包括预先选定的车牌关键点的位置信息和标注序号，所述标注序号用于唯一地标识所述车牌关键点。
[0013]本公开的第一方面的一些可能的实现方式中，所述根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像，包括：根据车牌关键点数据和根据车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过所述透视变换矩阵对第一车牌图像做透视变换，得到大小与所述车牌识别模型的输入分辨率一致的第二车牌图像；其中，所述车牌识别模型用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。
[0014]本公开的第一方面的一些可能的实现方式中，在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以使得所述第二车牌图像中的双层车牌转换为单层车牌，包括：提取所述第二车牌图像中的上层字符图像并去除所述上层字符图像中的空白区域；提取第二车牌图像中的下层字符图像；缩放所述上层字符图像以使得所述上层字符图像的高度与所述下层字符图像的高度一致，并将缩放后的上层字符图像与下层字符图像做横向拼接以获得拼接的第二车牌图像，所述拼接的第二车牌图像中目标车牌被转换为了单层车牌；缩放所述拼接的第二车牌图像以使得所述拼接的第二车牌图像的大小与车牌识别模型的输入分辨率一致。
[0015]本公开的第一方面的一些可能的实现方式中，对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息，包括：利用预先训练的车牌识别模型对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息；其中，所述车牌识别模型根据车牌识别样本集训练得到，所述车牌识别样本集中包含单层车牌图像样本和双层车牌图像样本，单层车牌图像样本包含单层车牌且根据含有单层车牌的第一图像得到，所述双层车牌图像样本包含单层车牌且根据含有双层车牌的第一图像得到。
[0016]根据本公开的第二方面，提供了一种车牌识别装置，包括：
[0017]获取单元，用于获取第一图像，第一图像中包含目标车牌；
[0018]目标检测单元，用于对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；
[0019]图像矫正单元，用于根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；
[0020]车牌转换单元，用于在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；
[0021]图像识别单元，用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。
[0022]根据本公开的第三方面，提供了一种电子设备，包括：
[0023]存储器，所述存储器存储执行指令；以及
[0024]处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述的车牌识别方法。
[0025]根据本公开的第四方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的车牌识别方法。
[0026]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所
述计算机程序/指令被处理器执行时实现上述的车牌识别方法。
[0027]本公开实施例通过对含有目标车牌的第一图像进行目标检测来获得车牌关键点数据，并将目标车牌分类为单层车牌和双层车牌，再根据车牌关键点数据对车牌图像做透视变换，如果车牌图像有形变就能矫正到正常形态，再裁剪出车牌图像，如果是双层车牌，则对透视变换矫正后裁剪出来的双层车牌图像做上下层的裁剪，并将上下层图像拼接为含有单层车牌的车牌图像，单层车牌的车牌图像和已经转换为单层车牌的双层车牌图像可以通过同一个车牌别模型进行识别来获得车牌信息。从而，本公开实施例能够有效地提高单层车牌与双层车牌的检测识别精度，并且能检测识别形变较大的车牌图像，实现了单层车牌与双层车牌的高效准确识别。
附图说明
[0028]附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
[0029]图1是本公开的一个实施方式的车牌识别方法的流程示意图；
[0030]图2a～图2b是本公开的一个实施方式的车牌关键点及其标注序号示例图。
[0031]图3a～本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌识别方法，其特征在于，包括：获取第一图像，第一图像中包含目标车牌；对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，所述车牌类别信息用于指示所述目标车牌为双层车牌还是单层车牌；根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像；在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以将所述第二车牌图像中的目标车牌转换为单层车牌；对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。2.根据权利要求1所述的车牌识别方法，其特征在于，对所述第一图像进行车牌检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息，包括：利用预先训练的目标检测模型对所述第一图像进行目标检测以获得所述目标车牌的第一车牌图像、车牌关键点数据和车牌类别信息；其中，所述目标检测模型根据预先构建的车牌检测训练集训练得到，所述车牌检测训练集包括含有双层车牌的图像样本和含有单层车牌的图像样本。3.根据权利要求2所述的车牌识别方法，其特征在于，所述车牌检测训练集中部分图像样本的车牌具有形变。4.根据权利要求1或2所述的车牌识别方法，其特征在于，车牌关键点数据包括预先选定的车牌关键点的位置信息和标注序号，所述标注序号用于唯一地标识所述车牌关键点。5.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述车牌关键点数据对所述第一车牌图像执行透视变换，以获得第二车牌图像，包括：根据车牌关键点数据和根据车牌识别模型的输入分辨率确定的车牌关键点像素坐标，计算得到透视变换矩阵，通过所述透视变换矩阵对第一车牌图像做透视变换，得到大小与所述车牌识别模型的输入分辨率一致的第二车牌图像；其中，所述车牌识别模型用于对所述第二车牌图像进行图像识别以获得目标车牌的车牌信息。6.根据权利要求1所述的车牌识别方法，其特征在于，在所述车牌类别信息指示所述目标车牌为双层车牌时，对所述第二车牌图像执行裁剪、拼接和缩放，以使得所述第二车牌图像中的双层车牌转换为单层车牌，包括：提取所述第二车牌图像中的上层字符图像并去除所述上层字符图...

【专利技术属性】
技术研发人员：王红，王海峰，
申请(专利权)人：北京市新技术应用研究所有限公司，
类型：发明
国别省市：