基于卷积神经网络模型的字符非分割模式车牌识别方法技术

本发明专利技术公布了基于卷积神经网络模型的字符非分割模式车牌识别方法，包括：基于异常天气状况下的高速整车图像，对车牌区域进行检测并构建高速公路车牌图像集；研究字符非分割模式车牌识别框架，优选基于CB损失函数的多分类字符非分割模式车牌识别框架进行模型构造；构建卷积神经网络模型进行车牌的特征提取，优选InceptionV3

【技术实现步骤摘要】
基于卷积神经网络模型的字符非分割模式车牌识别方法


[0001]本专利技术专利涉及智能交通，智慧高速信息感知领域，具体涉及一种基于卷积神经网络模型的字符非分割模式车牌识别方法。

技术介绍

[0002]为提升高速公路运输效率，高速公路不停车收费系统已成为实现高速智慧化和信息化的关键部分，其中高速公路场景中车辆全息信息感知，特别是车辆号牌识别是智慧高速公路不停车收费建设的重要内容之一。但由于车辆号牌的识别方式过于单一，使得现有的车牌识别模型在部分高速公路的露天场景特性下效果较差，尤其是在雨、雪、雾等特殊天气条件下，光线变化显著，图像噪声较多，大大降低了车辆号牌识别的准确率。智慧高速公路不停车收费系统亟需对车辆号牌的感知进行优化与创新，通过多种号牌识别方法来应对复杂多变的露天环境。因此，本文基于异常天气状况下的高速整车图像，构建多分类字符非分割模式车牌识别框架，并使用InceptionV3
‑
LPR
‑
CB卷积神经网络作为模型的核心结构，给车辆号牌识别提供了有效的新思路。

技术实现思路

[0003]专利技术目的：为了克服现有车辆牌照识别技术中存在的不足，提供一种基于卷积神经网络模型的字符非分割模式车牌识别方法，其在基于CB(有效样本数)损失函数的字符非分割模式车牌识别框架下，结合InceptionV3
‑
LPR
‑
CB卷积神经网络模型，实现了字符非分割模式下的车牌识别给公路场景下不停车收费系统提供了新的车辆感知技术支持。
[0004]技术方案：为实现上述目的，本专利技术提供的基于卷积神经网络模型的字符非分割模式车牌识别方法，包括如下步骤：
[0005]S1：基于异常天气状况下的高速整车图像，构建高速公路车牌图像集；
[0006]S2：基于CB(有效样本数)损失函数，构建多分类字符非分割模式车牌识别框架；
[0007]S3：构建卷积神经网络模型进行车牌的特征提取，优选InceptionV3
‑
LPR
‑
CB、ResNet50
‑
LPR
‑
CB、ResNeXt
‑
LPR
‑
CB和SENet
‑
LPR
‑
CB卷积神经网络模型完成车辆号牌的识别。
[0008]进一步的，所述步骤S1中基于异常天气状况下的高速整车图像，高速公路车牌图像集的构建方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果。检测内容包括车窗、车脸和车牌，随后对获取的车牌图像进行筛选和整理，并对车牌标签进行校正。最终构建异常天气条件下高速公路车牌数据集13733幅，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。
[0009]进一步的，所述步骤S2中基于CB(有效样本数)损失函数，构建多分类字符非分割模式车牌识别框架的具体构建步骤如下：
[0010]①
对各种类样本的有效数目进行统计，确定CB损失函数中的数目权重部分计算方式；
[0011]②
对各种样本的难易程度进行计算，确定CB损失函数中的难易权重部分计算方式；
[0012]③
形成CB损失函数的具体表达式，并根据该损失函数进行模型框架的搭建。
[0013]进一步的，所述步骤S3中构建卷积神经网络模型进行车牌的特征提取，优选InceptionV3
‑
LPR
‑
CB、ResNet50
‑
LPR
‑
CB、ResNeXt
‑
LPR
‑
CB和SENet
‑
LPR
‑
CB卷积神经网络模型完成车辆号牌识别的方法为：构造由Block1、Block2、Block3、Block4、Block5构成的InceptionV3
‑
LPR
‑
CB卷积神经网络模型，其损失函数采用基于CB(有效样本数)损失函数，主要网络结构采用InceptionV3的基本网络结构特征。构造由5个卷积模块(conv2d)构成的ResNet50
‑
LPR
‑
CB卷积神经网络，其损失函数采用基于CB(有效样本数)损失函数，主要网络结构采用ResNet50的基本网络结构特征。构造由5个卷积模块(conv2d)构成的ResNeXt
‑
LPR
‑
CB卷积神经网络，其损失函数采用基于CB(有效样本数)损失函数，主要网络结构在ResNet的基础上，保持第一个卷积模块不动，将第二至四个卷积模块前两层convolution kernel的数量提升了两倍。构造在ResNeXt网络上添加了SE模块的SENet
‑
LPR
‑
CB卷积神经网络，SE模块采用两个全连接层学习特征的重要性，该模块首先采用全局平均池化的方式将原为H
×
W
×
C的特征图变为1
×1×
C，其中C为通道数，其次采用全连接层将特征图的通道数大小变为原来的十六分之一，在采用带有ReLU激活函数的全连接层将通道数变为原来大小，最后采用Sigmoid激活函数将特征大小变为0和1之间，也就是权重。该卷积神经网络的损失函数采用基于CB(有效样本数)损失函数，主要网络结构在ResNeXt网络的每个残差模块中间，均添加上SE模块。
[0014]在由InceptionV3
‑
LPR
‑
CB、ResNet50
‑
LPR
‑
CB、ResNeXt
‑
LPR
‑
CB和SENet
‑
LPR
‑
CB模型完成车辆号牌图像特征提取之后，连接一个8
×
8的最大池化层，一个全连接层和一个Dropout层，随后再加上一个reshape层，一个全连接层和一个softmax函数实现车辆号牌的识别。识别时，应将输入图像规格化为299
×
299
×
3，经过Block1、Block2、Block3、Block4和Block5的卷积操作后得到8
×8×
2048维度的特征图，采用8
×
8核的全局最大池化层进行操作后，得到2048维度的特征向量，对该向量采用全连接层降维至910维，将910维向量reshape成7个130维向量，并采用全连接层将7个130维向量，降维至7个65维向量，最终在65对应的维度上采用softmax分类操作，就能得到该图像的7个字符在65类字符上的分布概率。概率最高者即为最终的车牌识别结果。
[0015]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，包括如下步骤：S1：基于异常天气状况下的高速整车图像，构建高速公路车牌图像集；S2：基于CB损失函数，构建多分类字符非分割模式车牌识别框架；S3：构建卷积神经网络模型进行车牌的特征提取，优选InceptionV3
‑
LPR
‑
CB、ResNet50
‑
LPR
‑
CB、ResNeXt
‑
LPR
‑
CB和SENet
‑
LPR
‑
CB卷积神经网络模型完成车辆号牌的识别。2.如权利要求1所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，所述步骤S1中基于异常天气状况下的高速整车图像，高速公路车牌图像集的构建方法为：基于YOLOv3的异常天气条件下高速公路车辆全息检测方法对所构建的车辆数据集进行检测，以获取多种天气条件下的车辆全息检测结果。3.如权利要求2所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，异常天气条件下高速公路整车数据集共有车辆图像13988幅，其中雾天车辆2372幅，雪天车辆2645幅，夜间车辆2248幅，雨天车辆2112幅，正常天气车辆4611幅；再使用YOLOv3目标检测模型进行车牌区域感知，并对车牌图像进行筛选和整理后，获得异常天气条件下高速公路车牌数据集，包括13733幅图像，其中雨天车牌图像共2144幅，雪天车牌图像共2505幅，雾天车牌图像共2151幅，夜间车牌图像共2256幅，正常天气条件下车牌图像共4677幅。4.如权利要求1所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，所述步骤S2中基于CB损失函数，构建多分类字符非分割模式车牌识别框架的具体步骤如下：
①
对各种类样本的有效数目进行统计，确定CB损失函数中的数目权重部分计算方式；
②
对各种样本的难易程度进行计算，确定CB损失函数中的难易权重部分计算方式；
③
形成CB损失函数的具体表达式，并根据该损失函数进行模型框架的搭建。5.如权利要求1所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，所述步骤S3中构建InceptionV3
‑
LPR
‑
CB卷积神经网络模型进行车牌的特征提取的方法为：所述InceptionV3
‑
LPR
‑
CB卷积神经网络模型由Block1、Block2、Block3、Block4、Block5构成，其损失函数采用基于CB损失函数，主要网络结构采用InceptionV3的基本网络结构特征；所述InceptionV3
‑
LPR
‑
CB卷积神经网络模型输入的车牌图像大小为299
×
299
×
3，经过Block1、Block2、Block3、Block4和Block5的卷积操作后得到8
×8×
2048维度的特征图，采用8
×
8核的全局最大池化层进行操作后，得到2048维度的特征向量。6.如权利要求1所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特征在于，所述步骤S3中构建ResNet50
‑
LPR
‑
CB卷积神经网络模型进行车牌的特征提取的方法为：所述ResNet50
‑
LPR
‑
CB卷积神经网络模型由5个卷积模块conv2d构成，其损失函数采用基于CB损失函数，主要网络结构采用ResNet50的基本网络结构特征；所述ResNet50
‑
LPR
‑
CB卷积神经网络模型输入的异常天气条件下高速公路车牌图像大小为224
×
224
×
3，经过conv1、conv2、conv3、conv4和conv5的卷积操作后得到7
×7×
2048维度的特征图，采用7
×
7核的全局平均池化层进行操作后，得到2048维度的特征向量。7.如权利要求1所述的基于卷积神经网络模型的字符非分割模式车牌识别方法，其特
征在于，所述步骤S3中构建ResNeXt
‑
LPR
‑
CB卷积神经网络模型进行车牌...

【专利技术属性】
技术研发人员：赵池航，苏子钧，化丽茹，吴宇航，马欣怡，
申请(专利权)人：东南大学，
类型：发明
国别省市：