基于深度学习的车牌识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开一种基于深度学习的车牌识别方法、装置、设备及存储介质。该基于深度学习的车牌识别方法，包括：采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；对所述目标车牌图像进行矫正处理，获取矫正车牌图像；采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息。该基于深度学习的车牌识别方法进行车牌识别时，识别效率高且准确率更高。

【技术实现步骤摘要】
基于深度学习的车牌识别方法、装置、设备及存储介质
本专利技术涉及图像处理
，尤其涉及一种基于深度学习的车牌识别方法、装置、设备及存储介质。
技术介绍
随着经济的发展，图像获取及存储的成本越来越低，使得交通部门、停车场等需对车牌进行监管的部门均获取并存储有大量的车牌图像数据，这些车牌图像数据大部分是在自然的应用场景下获取的，具有多元化的数据特征。车牌识别系统作为图像信息处理和识别领域的一项重要研究课题，在车辆违章监控、停车场管理等方面具有巨大的应用价值。传统车牌识别系统多基于固定的应用场景，其所获取的车牌图像数据是基于固定的摄像头、固定的拍摄角度、固定的光照条件甚至固定的车辆行驶方向获取到的，对所获取的车牌图像数据具有严格的约束条件。在自然的应用场景下，拍摄获取到的车牌图像数据具有不同的图像质量、不同的拍摄角度、不同的光照条件等，给传统车牌识别系统带来巨大的挑战，使得传统车牌识别系统无法对自然的应用场景下，即无法对自然的应用场景下拍摄到的车牌图像数据进行车牌识别。
技术实现思路
本专利技术实施例提供一种基于深度学习的车牌识别方法、装置、设备及存储介质，以解决现有车牌识别系统无法在自然的应用场景下进行车牌识别的问题。第一方面，本专利技术实施例提供一种基于深度学习的车牌识别方法，包括：采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；对所述目标车牌图像进行矫正处理，获取矫正车牌图像；采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息。第二方面，本专利技术实施例提供一种基于深度学习的车牌识别装置，包括：车牌检测模块，用于采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；车牌矫正模块，用于对所述目标车牌图像进行矫正处理，获取矫正车牌图像；车牌识别模块，用于采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息。第三方面，本专利技术实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于深度学习的车牌识别方法的步骤。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的车牌识别方法的步骤。本专利技术实施例与现有技术相比具有如下优点：本专利技术实施例所提供的基于深度学习的车牌识别方法、装置、设备及存储介质中，通过采用单次检测器对原始拍摄图像进行特征提取，以获取目标车牌图像，使其可对任意拍摄场景下获取的原始拍摄图像均可进行车牌检测；而无全连接层的单次检测器相比其他有全连接层的检测模型，可有效提高检测效率。再对目标车牌图像进行矫正处理，以获取矫正车牌图像，以避免因车牌图像倾斜而影响后续车牌识别的效率和准确率。再采用双向长短期记忆模型对矫正车牌图像进行识别，有利于提高车牌识别的效率和准确率，且可实现端到端识别，无需再进行人为处理。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例1中基于深度学习的车牌识别方法的一流程图。图2是图1中步骤S10的一具体流程图。图3是图1中步骤S20的一具体流程图。图4是图1中步骤S30的一具体流程图。图5是本专利技术实施例2中基于深度学习的车牌识别装置的一原理框图。图6是本专利技术实施例3中终端设备的一示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术实施例的描述。实施例1图1示出本实施例中的基于深度学习的车牌识别方法的一流程图。该基于深度学习的车牌识别方法可应用在交通部门、停车场等需对车牌进行监管的部门的车牌识别系统中，用于对其采集到的车牌图像数据进行识别，获取对应的目标车牌信息，以实现监管车辆的目的。如图1所示，该基于深度学习的车牌识别方法包括如下步骤：S10：采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像。其中，单次检测器(SingleShotMultiBoxDetector，以下简称SSD模型)是采用单个深度神经网络模型实现目标检测和识别的模型。原始拍摄图像是采用拍摄设备拍摄后直接获取到的图像，可以是在固定的应用场景下拍摄到的图像，也可以是在自然的应用场景下拍摄到的图像。本实施例中，SSD模型采用VGG-16作为基础网络，加入辅助结构形成深度学习模型对原始拍摄图像进行车牌检测，采用矩形框标出原始拍摄图像中车牌所在的位置，以获取目标车牌图像，相比于其他深度学习模型，可保证车牌检测的效率和准确率。相对于MultiBox模型和YOLO模型等具有全连接层的深度学习模型，全连接层之后每个输出都会映射到整幅图像，使其检测过程较慢。本实施例中，采用无全连接层的SSD模型进行图像检测时，每个输出只会感受到目标周围的信息(如上下文信息)，从而加快图像检测速度并提高图像检测精度。此外，MultiBox模型和YOLO模型等深度学习模型中，全连接层会限制进入VGG-16网络结构的图像大小，即VGG-16网络结构预先配置其网络设计的输入大小，则进入VGG-16网络结构的图像的输入大小只能与网络设计的输入大小相同。而采用无全连接层的SSD模型进行图像检测时，由于无全连接层的限制，使输入VGG-16网络结构的图像大小而不受网络设计的输入大小的限制。本实施例中，SSD模型可根据具体任务和数据的分辨率设置合适的图像的输入大小来训练网络，如本实施例中设置图像的输入大小为512*512。如图2所示，步骤S10中，采用单次检测器(即SSD模型)对原始拍摄图像进行特征提取，获取目标车牌图像，具体包括如下步骤：S11：采用训练好的单次检测器对原始拍摄图像进行归一化处理，获取原始车牌图像。本实施例中，在对任何拍摄场景(包括固定的应用场景和自然的应用场景)下拍摄的原始拍摄图像进行特征提取之前，需预先训练好用于进行车牌检测的SSD模型，以便在车牌检测时，直接调用训练好的SSD模型对原始拍摄图像进行归一化处理，以提高车牌检测的效率和精度。其中，归一化处理是指将输入SSD模型的所有原始拍摄图像归一化为统一的尺寸大小，以使获取到的原始车牌图像更易于被检测，提高车牌检测的效率和准确率。在SSD模型的训练过程中，根据默认框(defaultbox)和真实框(groundturthbox)的重叠率来确定原始拍摄图像的正样本，然后通过裁剪、镜像、加噪声等操作扩充训练样本，从而获取更多训练样本，并基于获取到的所有训练样本对SSD模型进行训练，提高训练好的SSD模型进行检测车牌的准确性。进一步地，在SSD模型训练过程中，需对输入SSD模型的所有训练样本进行归一化处理，以将所有训练样本归一化为统一的尺寸大小，以提高SSD模型的训练效率。SSD模型的训练的具体过程如下：首先，本文档来自技高网...

【技术保护点】
一种基于深度学习的车牌识别方法，其特征在于，包括：采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；对所述目标车牌图像进行矫正处理，获取矫正车牌图像；采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息。

【技术特征摘要】
1.一种基于深度学习的车牌识别方法，其特征在于，包括：采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；对所述目标车牌图像进行矫正处理，获取矫正车牌图像；采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息。2.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像，包括：采用训练好的所述单次检测器对所述原始拍摄图像进行归一化处理，获取原始车牌图像；采用卷积层对所述原始车牌图像进行多尺度特征提取，获取若干层特征图，采用比例不同的若干个默认框分别对若干层所述特征图进行提取，获取每一所述默认框的分类结果；采用非极大值抑制准则对所述默认框的分类结果进行选取，获取目标车牌图像。3.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述对所述目标车牌图像进行矫正处理，获取矫正车牌图像，包括：获取所述目标车牌图像中的车牌轮廓；获取所述车牌轮廓的偏移角度，并判断所述偏移角度是否大于预设偏移值；若是，则对所述车牌轮廓进行旋转、仿射变换和统一尺寸处理，获取所述矫正车牌图像；若否，则对所述车牌轮廓进行统一尺寸处理，获取所述矫正车牌图像。4.根据权利要求3所述的基于深度学习的车牌识别方法，其特征在于，所述获取所述目标车牌图像中的车牌轮廓，包括：获取所述目标车牌图像中车牌区域与边缘区域的颜色相似度；判断所述颜色相似度是否大于预设相似度；若是，则取所述车牌区域作为所述车牌轮廓；若否，则对所述目标车牌图像进行灰度化、Sobel算子、二值化和闭操作，获取所述车牌轮廓。5.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标车牌信息，包括：对所述矫正车牌图像进行切割，获取多个条状特征图；采用卷积层对多个所述条状特征图进行特征提取，获取由多个所述条状特征图拼接而成的特征序列；采用双向长短期记忆模型对所述特征序列进行字符识别，获取字符特征；采用转译层对所述字符特征进行处理，获取所述目标车牌信息。6.一种基于深度学习的车牌识别装置，其特征在于，包括：车牌检测模块，用于采用单次检测器对原始拍摄图像进行特征提取，获取目标车牌图像；车牌矫正模块，用于对所述目标车牌图像进行矫正处理，获取矫正车牌图像；车牌识别模块，用于采用双向长短期记忆模型对所述矫正车牌图像进行识别，获取目标...

【专利技术属性】
技术研发人员：王健宗，马进，黄章成，吴天博，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44