基于深度学习融合网络的字符非分割模式车牌识别方法技术

本发明专利技术公开了一种基于深度学习融合网络的字符非分割模式车牌识别方法，包括以下步骤：对高速整车图像的车牌区域进行检测并构建高速公路车牌图像集；基于基于CTC损失函数与ResNet50

【技术实现步骤摘要】
基于深度学习融合网络的字符非分割模式车牌识别方法


[0001]本专利技术专利涉及智能交通，智慧高速研究领域，可应用于交通执法系统、停车管理系统、交通诱导系统、公路稽查系统、车辆调度系统和高速公路场景中货车智慧收费系统等多种场景，具体涉及一种基于深度学习融合网络的字符非分割模式车牌识别方法。

技术介绍

[0002]车牌识别技术是计算机视觉图像算法在车辆牌照识别中的一种应用。它是一种能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化管理、不停车收费等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实意义。
[0003]随着计算机技术的快速发展，基于深度学习的车辆号牌检测及识别技术得到迅速发展。深度学习相比于传统的机器学习算法相比，不需要手动的提取特征，因此具有良好的普适性和自适应性，得到了广泛应用。但由于车辆号牌的图像环境较为复杂，识别方式过于单一，使得现有的车牌识别模型在部分高速公路的露天场景特性下效果较差，尤其是在雨、雪、雾等特殊天气条件下，光线变化显著，图像噪声较多，大大降低了车辆号牌识别的准确率。因此，本文基于异常天气状况下的高速整车图像，提出了一种基于深度学习融合网络的字符非分割模式车牌识别方法，并使用FResNet50
‑
Attention深度学习融合网络模型作为模型的核心结构，进一步提升了字符非分割模式下车辆号牌的识别准确率，给车牌识别提供了有效的新思路。

技术实现思路

[0004]本专利技术的目的在于利用深度学习融合网络方法完成字符非分割模式下车辆号牌的识别与分类，提供了一种基于深度学习融合网络的字符非分割模式车牌识别方法。
[0005]本专利技术采用的技术方案为：一种基于深度学习融合网络的字符非分割模式车牌识别方法。包括以下步骤：
[0006]1)基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集；
[0007]2)基于CTC损失函数，构建字符非分割模式车牌识别框架；
[0008]3)构建ResNet50
‑
LPR卷积神经网络，对车辆号牌字符图像进行特征提取；
[0009]4)基于ResNet50
‑
LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50；
[0010]5)基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码
(Attention)模块，完成FResNet50
‑
Attention深度学习融合网络模型的构建；
[0011]6)使用高速公路车牌图像集对构建好的FResNet50
‑
Attention卷积神经网络模型进行训练，最终完成对车辆号牌的识别。
[0012]进一步的，所述步骤1)中检测车牌区域并构建高速公路车牌图像集的方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果。检测内容包括车窗、车脸和车牌，随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。最终构建异常天气条件下高速公路车牌数据集13733幅，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。
[0013]进一步的，所述步骤2)中基于CTC损失函数，构建字符非分割模式车牌识别框架的方法为：对于给定车牌图像中所存在的序列X＝[x1，x2，...，x
T
]以及标签数据Y＝[y1，y2，...，y
U
]，将输入序列X分割成若干个时间步，每个时间步可以得到一个输出，多个时间步经过组合可完成车牌所有字符的识别。同时，引入空白字符ε，用于表示字符间隔和隔开重复出现字符，此时CTC算法可以通过去除重复字符及空白字符ε来实现字符对齐，解决X、Y之间长度不等，难以对其的问题。由于重复字符和空白字符ε的存在，从X映射到Y有多种可能性，若要得到标签数据Y，最终需要使得X映射到Y的后验概率P(Y|X)最大，即使得从X得到Y每个时间步概率的和最大，后验概率表达式为：
[0014][0015]据此可形成CTC损失函数的具体表达式为：
[0016]L
CTC
＝max(∑
(X，Y)∈D
‑
log P(Y|X))
[0017]进一步的，所述步骤3)中构建ResNet50
‑
LPR卷积神经网络，提取车辆号牌字符图像特征的方法为：首先，搭建ResNet50卷积神经网络结构，该网络结构可以总结为5个Block模块，每个模块均有若干个卷积层与池化层组成，且均附加一个残差结构，进行支路连接；其次，将图像规格化为224
×
224
×
3并输入至该卷积神经网络中；最后，提取Block1、Block3、Block5输出的特征图，获得大小分别为64
×
56
×
56，512
×
28
×
28和2048
×1×
1的三张特征图矩阵。
[0018]进一步的，所属步骤4)中基于ResNet50
‑
LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50的方法为：在ResNet50
‑
LPR卷积神经网络结构的基础上对Block1、Block3和Block5提取出的特征图进行串联融合。首先，分别将这三个模块提取出的特征向量Reshape为4
×1×
16的特征、32
×1×
16的特征和128
×1×
16的特征；然后，将低层特征信息4
×1×
16、高层特征信息32
×1×
16、高层语义信息128
×1×
16三个特征进行合并，即可得到大小为164
×1×
16的特征，为后续的编码与识别操作做准备。
[0019]进一步的，所述步骤5)中基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码(Attention)模块，构造FResNet50
‑
Attention深度学习融合网络模型的方法为：首先对特征图进行全局池本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，包括以下步骤：1)基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集；2)基于CTC损失函数，构建字符非分割模式车牌识别框架；3)构建ResNet50
‑
LPR卷积神经网络，对车辆号牌字符图像进行特征提取；4)基于ResNet50
‑
LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50；5)基于车牌识别的注意力编码方式，在FResNet50融合模型后添加注意力编码Attention模块，完成FResNet50
‑
Attention深度学习融合网络模型的构建；6)使用高速公路车牌图像集对构建好的FResNet50
‑
Attention卷积神经网络模型进行训练，最终完成对车辆号牌的识别。2.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤1)中，检测车牌区域并构建高速公路车牌图像集的方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果；检测内容包括车窗、车脸和车牌，随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。3.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤2)中，基于CTC损失函数，构建字符非分割模式车牌识别框架的方法为：对于给定车牌图像中所存在的序列X＝[x1，x2，...，x
T
]以及标签数据Y＝[y1，y2，...，y
U
]，将输入序列X分割成若干个时间步，每个时间步得到一个输出，多个时间步经过组合完成车牌所有字符的识别。4.根据权利要求3所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，引入空白字符ε，用于表示字符间隔和隔开重复出现字符，此时CTC算法通过去除重复字符及空白字符ε来实现字符对齐，解决X、Y之间长度不等，难以对其的问题；由于重复字符和空白字符ε的存在，从X映射到Y有多种可能性，若要得到标签数据Y，最终需要使得X映射到Y的后验概率P(Y|X)最大，即使得从X得到Y每个时间步概率的和最大；据此形成CTC损失函数的具体表达式，并根据该损失函数进行模型框架的搭建。5.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤3)中，构建ResNet50
‑
LPR卷积神经网络，对车辆号牌字符图像进行特征提取的方法为：所述ResNet50
‑
LPR卷积神经网络由5个Block模块和两个全局平均池化层构成，每个Block模块均由若干卷积层和池化层构成；将图像规格化为224
×
224
×
3输入至该卷积神经网络中，经过5个Block模块时，Block1输出的特征图大小为64
×
56
×
56，Block3输出的特征图大小为512
×
28
×
28，最终Block5输出的特征向量大小为2048
×1×
1，每张车辆号牌图像提取到三张大小不一的特征图。6.根据权利要求1所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，所述步骤4)中，基于ResNet50
‑
LPR卷积神经网络block1、block3、block5这三层输出的车辆号牌图像特征向量进行串联融合，构建深度学习融合网络模型FResNet50的方法为：所述ResNet50
‑
LPR卷积神经网络主干结构与ResNet50
‑
LPR卷积神经网络相同，
在该网络结构的基础上对Block1、Block3和Block5提取出的特征图进行串联融合。7.根据权利要求6所述的一种基于深度学习融合网络的字符非分割模式车牌识别方法，其特征在于，...

【专利技术属性】
技术研发人员：赵池航，化丽茹，苏子钧，吴宇航，马欣怡，
申请(专利权)人：东南大学，
类型：发明
国别省市：