一种非限制场景下的实时车牌检测识别系统技术方案

本发明专利技术公开了一种非限制场景下的实时车牌检测识别系统，应用于智能交通图像检测技术领域，其中包括：基于YOLOv5车牌检测网络与PDLPR车牌识别网络。在车牌检测模块使用当前目标检测效率较高的YOLOv5算法，在车牌识别模块使用本发明专利技术提出的PDLPR车牌识别算法，该方法包含一个能够提取全局特征信息的特征提取器，相比传统的特征提取方式，此方法能够提取丰富的语义信息；同时充分发挥多头注意力的优势，训练数据不需要逐个标注车牌中单个字符位置，车牌图片不需要辅助校正手段就可以进行精准识别，在车牌倾斜、光照条件恶劣、字符模糊等自然场景下都表现出良好的性能。自然场景下都表现出良好的性能。自然场景下都表现出良好的性能。

【技术实现步骤摘要】
一种非限制场景下的实时车牌检测识别系统


[0001]本专利技术涉及智能交通图像检测
，更具体的说是涉及一种非限制场景下的实时车牌检测识别系统。

技术介绍

[0002]车牌是机动车的一个重要的身份标识，对其的精准识别具有较高的应用价值，并成为最近的研究热点。车牌检测识别(LPDR)技术己经被广泛应用于车辆身份认证、智能收费、车辆密度统计、门禁管理、智能驾驶、交通管控和交通场景理解等方面。
[0003]车牌检测识别方法大致可分为传统方法(非深度学习方法)和深度学习方法。传统方法大多采用手工选取特征来定位车牌的位置,然后用形态学的方法将车牌中的字符分离出来对单个字符进行识别，但是这种方法准确率不高，尤其在复杂场景下对车牌检测识别精度较差。深度学习方法一般情况下分两个步骤，即两个网络：检测网络与识别网络，检测网络用于定位图片中的车牌位置，识别网络用于识别车牌图片中的字符序列。
[0004]尽管LPDR研究取得了很多进展，但是大部分现有算法仅在光照、拍摄距离和拍摄角度等相对固定的受限场景中识别效果较好，尤其是自然场景中的车牌识别容易受到各种外部条件的限制。这些复杂情况包括：1)拍摄距离，拍摄的距离不同会导致车牌在图片中的宽高、比例不同；2)倾斜角度，因摄像头拍摄角度问题，引起拍摄的车牌图片都存在不同程度的倾斜；3)光照强度，车牌所处环境光照强度很强引起的车牌过度曝光或者光照强度很弱引起的画面黑暗；4)天气情况，获取车牌图片时天气情况较差，在雨天雪天或者大雾天气，增加了车牌图片的噪声；5)图片模糊，拍摄的时候因为镜头抖动或者获取图片的时候车子运行速度过快引起字符模糊；6)字符残缺，因为车牌上有污渍或者车牌被遮挡导致的个别字符部分残缺。这些限制使得精确的车牌识别变得困难。
[0005]因此提出一种非限制场景下的实时车牌检测识别系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种非限制场景下的实时车牌检测识别系统，车牌图片不需要辅助校正手段就可以进行精准识别，在车牌倾斜、光照条件恶劣、字符模糊等自然场景下都表现出良好的性能。
[0007]为了实现上述目的，本专利技术提供如下技术方案：
[0008]一种非限制场景下的实时车牌检测识别系统，主要包括：基于YOLOv5车牌检测网络与PDLPR车牌识别网络；
[0009]基于YOLOv5车牌检测网络接受输入的整车图片，定位图片中的车牌位置，然后输出仅包含车牌信息的车牌图片；PDLPR车牌识别网络以车牌图片为输入，把车牌图片经过特征提取、编码器编码和解码器解码操作后得到车牌字符序列。
[0010]可选的，PDLPR车牌识别网络包括3个模块：
[0011]依次连接的改进的全局特征提取器IGFE、编码器Encoder、并行解码器Parallel Decoder。
[0012]可选的，PDLPR车牌识别网络进行识别的具体内容如下：
[0013]先将输入的车牌图片进行预处理，再把预处理完的图片输入到改进的全局特征提取器IGFE进行特征提取，预处理完的图片被转化为512*6*18的特征向量；在Encoder部分，位置编码器先把从IGFE部分得到的特征图进行位置编码，将得到的精确的位置编码与图像特征向量相加，再使用多头注意力机制把嵌入了位置编码的图像特征图进行编码；在并行解码器部分，训练时将真实车牌序列右移一位，然后加上对应的位置编码，再使用多头注意力机制Multi
‑
head attention把编码器输入的特征向量进行解码，预测每个字符的下一个位置的字符。
[0014]可选的，改进的全局特征提取器IGFE包括1个FocusStructure模块、2个ConvDownSampling模块和4个RESBLOCK模块。
[0015]可选的，FocusStructure模块用于：
[0016]在输入的图片中每隔一个像素取一个值，一张图片就被均等分成四张特征图，然后将这4张特征图沿通道方向进行连接操作，则一张原本只有3通道的图片变成了一张12通道且宽高均为原来一半的特征图，最后将得到的特征图再经过卷积操作，完成二倍下采样操作。
[0017]可选的，编码器包括残差连接的3个单元，每个单元包含4个子模块:CNN BLOCK1，Multi
‑
Head Attention，CNN BLOCK2和Add&Norm。
[0018]可选的，并行解码器包括3个完全相同的解码单元，每个单元包含4个子模块:Multi
‑
Head Attention，Masked Multi
‑
Head Attention，Feed
‑
Forward Network和Add&Norm。
[0019]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种非限制场景下的实时车牌检测识别系统，具有以下有益效果：
[0020](1)本专利技术提出一个YOLOv5
‑
PDLPR实时车牌检测识别算法，在车牌检测模块使用当前目标检测效率较高的YOLOv5算法，在车牌识别模块使用本专利技术提出的PDLPR车牌识别算法，该方法包含一个能够提取全局特征信息的特征提取器，相比传统的特征提取方式，此方法能够提取丰富的语义信息；
[0021](2)同时充分发挥多头注意力的优势，训练数据不需要逐个标注车牌中单个字符位置，车牌图片不需要辅助校正手段就可以进行精准识别，在车牌倾斜、光照条件恶劣、字符模糊等自然场景下都表现出良好的性能。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0023]图1为本专利技术提供的车牌检测与识别网络整体框架图；
[0024]图2为本专利技术提供的车牌识别网络整体框架图；
[0025]图3为本专利技术提供的IGFE网络结构图；
[0026]图4为本专利技术提供的FocusStructure切片过程示意图；
[0027]图5为本专利技术提供的leakyRelu和Relu；
[0028]图6为本专利技术提供的Encoder网络结构图；
[0029]图7为本专利技术提供的Decoder网络结构图
[0030]图8为本专利技术的部分车牌检测识别结果示意图；
[0031]图9为本专利技术的车牌识别热力图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非限制场景下的实时车牌检测识别系统，其特征在于，主要包括：基于YOLOv5车牌检测网络与PDLPR车牌识别网络；基于YOLOv5车牌检测网络接受输入的整车图片，定位图片中的车牌位置，然后输出仅包含车牌信息的车牌图片；PDLPR车牌识别网络以车牌图片为输入，把车牌图片经过特征提取、编码器编码和并行解码器解码操作后得到车牌字符序列。2.根据权利要求1所述的一种非限制场景下的实时车牌检测识别系统，其特征在于，PDLPR车牌识别网络包括3个模块：依次连接的改进的全局特征提取器IGFE、编码器Encoder、并行解码器ParallelDecoder。3.根据权利要求2所述的一种非限制场景下的实时车牌检测识别系统，其特征在于，PDLPR车牌识别网络进行识别的具体内容如下：先将输入的车牌图片进行预处理，再把预处理完的图片输入到改进的全局特征提取器IGFE进行特征提取，预处理完的图片被转化为512*6*18的特征向量；在Encoder部分，位置编码器先把从IGFE部分得到的特征图进行位置编码，将得到的精确的位置编码与图像特征向量相加，再使用多头注意力机制把嵌入了位置编码的图像特征图进行编码；在并行解码器部分，训练时将真实车牌序列右移一位，然后加上对应的位置编码，再使用多头注意力机制Multi
‑
headattention把编码器输入的特征向量进行解码，预测每个字符的下一个位置的字符。4.根据权...

【专利技术属性】
技术研发人员：铁治欣，洪顺贺，陶灵兵，林永兴，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：