一种基于yolov5的可变长车牌识别方法技术

本发明专利技术公开了一种基于yolov5的可变长车牌识别方法，包括步骤：车牌定位、车牌纠偏和车牌识别。本发明专利技术通过人工筛选获取合格的训练集，训练YOLOV5S神经网络以准确获得车牌定位的结果，再通过训练STN网络对变形扭曲的车牌进行纠正以获得更好的车牌特征，最终通过训练LPRNet网络对车牌进行识别以得到准确的车牌信息。信息。信息。

【技术实现步骤摘要】
一种基于yolov5的可变长车牌识别方法


[0001]本专利技术涉及车牌号码检测领域，尤其涉及一种基于yolov5的可变长车牌识别方法。

技术介绍

[0002]随在城市交通管理、视频监控、车辆识别和停车场管理中车牌识别是一项富有挑战而重要的任务，图像的清晰度、光照条件、天气因素、图像形变和车牌字符的多变性使车牌识别问题变的比较复杂。车牌识别技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节。在交通监视和控制中占有很重要的地位。
[0003]车牌识别技术的关键在于后面的三部分:车牌定位、车牌字符分割和车牌字符识别。
[0004]国内外的技术方案绝大多数都是利用文字纹理在车辆图像中的共性进行定位与识别，如国外的YuntaoCui提出了一种车牌识别系统，在车牌定位以后，利用马尔科夫场对车牌特征进行提取和二值化，其重点工作是放在二值化上，最后对其样本的识别达到了较高的识别率；国内都华南理工大学的骆雪超，刘桂雄等提出了一种基于车牌特征信息的二值化的方法，该系统对拍照效果较好的车牌的识别率达到96％。
[0005]然而现有技术中仍有一些难点需要解决，如：(1)拍摄车牌图像受环境因素干扰，如逆光、晚上光、光学成像发生衍射等，图片的质量很难保证；(2)其它字符区域的干扰，如车牌旁挂其它牌子，则车牌难以准确定位；(3)车牌出现污点变脏，字迹模糊和退色或者车牌磨损厉害，噪声污损严重；(4)车牌部分被遮挡和车牌变形；(5)图像背景复杂和一幅图像多车牌；(6)拍摄到的车牌是运动图像车牌，则车牌照片模糊失真，形成锯齿；(7)新型车牌识别模型迭代重新训练成本大。

技术实现思路

[0006]为克服现有技术的不足，本专利技术提出一种基于yolov5的可变长车牌识别方法。
[0007]本专利技术的技术方案是这样实现的：一种基于yolov5的可变长车牌识别方法，包括步骤：
[0008]S1：车牌定位；
[0009]所述S1包括步骤：
[0010]S11：数据准备，采集环境复杂多变情况下的车辆照片，制作成图片数据集；通过人工筛选方式，去除图片数据集中不含完整车牌的图片和损坏的图片，剔除相似度较高的图片，并对不同类型的车牌进行人工分类；对图片数据集中的每辆车图片样本，使用labelimg工具进行标签信息的标注，生成标注txt文件，所述txt文件中的数据集格式为yolo格式，txt文件中每行表示一个车牌的信息，包含车牌类别、车牌中心点横坐标、车牌中心点纵坐标、车牌宽度和车牌高度；将图片数据集中的图像分为训练数据集、验证数据集和测试数据集；
[0011]S12：训练YOLOV5S模型，所述YOLOV5S模型包括：ConvBNSiLU模块、BottleNeck1模块、BottleNeck2模块、C3模块和SPPF模块，其中所述ConvBNSiLU模块网络结构是由conv卷积层+bn层+silu激活层组成，所述BottleNeck1模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，再通过残差结构与初始输入相加，所述BottleNeck2模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，所述C3模块网络结构结构分为两支，一支经过ConvBNSiLU模块再经过多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，然后将两支进行concat操作，最后再经过ConvBNSiLU模块；所述SPPF模块包括3个串行的最大池化层，最大池化层的池化核大小均为5*5；
[0012]S2：车牌纠偏；
[0013]所述S2包括步骤：构建基于STN的网络模型结构，所述基于STN的网络输入为U，输出为V，所述基于STN的网络结构包括输入端、Localisation net、Grid generator和Sampler输出端，其中所述Localisation net输入U，输出变化参数Θ，参数Θ用来映射U和V的坐标关系；所述Grid generator根据V中的坐标点和变化参数Θ，计算出V相对于U中的坐标点；所述Sampler输出端根据Grid generator得到的一系列坐标和原图U来填充V；
[0014]S3：车牌识别；
[0015]所述S3包括步骤：使用LPRNet对车牌进行识别，所述LPRNet包括输入端、Backbone端、Neck端和Head，其中，所述输入端为94*24的RGB图片，所述Backbone端包括Small Basic Block模块、Convolution、MaxPooling、avg pool、Dropout，所述Neck端通过avg pool层对四个尺度进行融合，所述Head是一个1*1的卷积，输入通道数为448加上预测字母数字的类别数，输出通道数则是预测字母数字的类别数。
[0016]进一步地，所述S11中采集环境复杂多变情况下的车辆照片，包括步骤：采集雨天、阴天、倾斜、模糊环境下的车牌照片。
[0017]进一步地，所述S11中剔除相似度较高的图片数据，其相似度的计算是通过直方图计算图片的相似度。
[0018]进一步地，所述S11中对不同类型的车牌进行人工分类包括步骤：将车牌按照新能源车牌、黄牌、两地牌和普通蓝牌进行人工分类。
[0019]进一步地，所述S11中将图片数据集中的图像分为训练数据集、验证数据集和测试数据集，其比例为8∶1∶1。
[0020]进一步地，所述S12中YOLOV5S模型的损失函数为：Loss＝λ1L
cls
+λ2L
obj
+λ3L
loc
，其中λ1为0.5，λ2为1、λ3为0.05，L
cls
为正样本的分类损失、L
obj
为置信度损失、L
loc
为正样本的定位损失。
[0021]进一步地，所述S12还包括步骤：在训练YOLOV5S模型过程中，通过数据增强方法扩充训练数据集，所述数据增强方法包括图片旋转、图片平移、图片翻折以及图片随机裁剪。
[0022]进一步地，所述S12在训练YOLOV5S模型过程中，训练周期为100，learning_rate为0.01，每隔20个epoch调整一次学习率，momentum为0.9，并生成权值文件，挑选出最佳的模型权重参数作为最优yolov5模型的权值，得到最优yolov5模型。
[0023]进一步地，本专利技术一种基于yolov5的可变长车牌识别方法，还包括步骤：后处理解码，使用argmax找到序列中每个位置的最大概率对应的类别，得到一个长度为18的序列，再
对这个序列进行去除空白和去重重复，得到一个最终的预测序列。
[0024]本专利技术的有益效果在于，与现有技术相比，本专利技术通过人工筛选获取合格的训练集，训练YOLOV5S神经网络以准确获得车牌定位的结果，再通过训练STN网络对变形扭曲的车牌进行纠正以获得更好的车牌特征，最终通过训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于yolov5的可变长车牌识别方法，其特征在于，包括步骤：S1：车牌定位；所述S1包括步骤：S11：数据准备，采集环境复杂多变情况下的车辆照片，制作成图片数据集；通过人工筛选方式，去除图片数据集中不含完整车牌的图片和损坏的图片，剔除相似度较高的图片，并对不同类型的车牌进行人工分类；对图片数据集中的每辆车图片样本，使用labelimg工具进行标签信息的标注，生成标注txt文件，所述txt文件中的数据集格式为yolo格式，txt文件中每行表示一个车牌的信息，包含车牌类别、车牌中心点横坐标、车牌中心点纵坐标、车牌宽度和车牌高度；将图片数据集中的图像分为训练数据集、验证数据集和测试数据集；S12：训练YOLOV5S模型，所述YOLOV5S模型包括：ConvBNSiLU模块、BottleNeck1模块、BottleNeck2模块、C3模块和SPPF模块，其中所述ConvBNSiLU模块网络结构是由conv卷积层+bn层+silu激活层组成，所述BottleNeck1模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，再通过残差结构与初始输入相加，所述BottleNeck2模块网络结构包括依次连接1*1的ConvBNSiLU模块，然后再连接3*3的ConvBNSiLU模块，所述C3模块网络结构结构分为两支，一支经过ConvBNSiLU模块再经过多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，然后将两支进行concat操作，最后再经过ConvBNSiLU模块；所述SPPF模块包括3个串行的最大池化层，最大池化层的池化核大小均为5*5；S2：车牌纠偏；所述S2包括步骤：构建基于STN的网络模型结构，所述基于STN的网络输入为U，输出为V，所述基于STN的网络结构包括输入端、Localisation net、Grid generator和Sampler输出端，其中所述Localisation net输入U，输出变化参数Θ，参数Θ用来映射U和V的坐标关系；所述Grid generator根据V中的坐标点和变化参数Θ，计算出V相对于U中的坐标点；所述Sampler输出端根据Grid generator得到的一系列坐标和原图U来填充V；S3：车牌识别；所述S3包括步骤：使用LPRNet对车牌进行识别，所述LPRNet包括输入端、Backbone端、Neck端和Head，其中，所述输入端为94*24的RGB图片，所述Backbone端包括Small Basic Block模块、Convoluti...

【专利技术属性】
技术研发人员：陈琰，谢嘉健，赵瀚霖，许冠超，邱文斌，郑路璐，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：