一种弱光条件下的车牌识别方法技术

本发明专利技术涉及图像处理与光学字符识别技术领域，一种弱光条件下的车牌识别方法，建立YID网络，选择不同的车牌进行拍照，其中每一个车牌分别在弱光条件与正常光照条件下采用同样的拍照设备在同样的位置拍照一次，获得车牌分别在弱光条件与正常光照条件下拍摄的图像，对车牌分别在弱光条件与正常光照条件下拍摄的图像作为数据集训练YID网络，其中将整个数据集按照7:3的比例随机分为训练集与验证集，将数据集输入YID网络进行训练，获得训练完成的YID网络将需要识别的弱光条件下的车牌图像输入到YID网络中获得车牌的识别结果。入到YID网络中获得车牌的识别结果。入到YID网络中获得车牌的识别结果。

【技术实现步骤摘要】
一种弱光条件下的车牌识别方法


[0001]本专利技术涉及图像处理与光学字符识别
，特别是涉及一种弱光条件下的车牌识别方法。

技术介绍

[0002]目前，车牌识别的方法主要基于边缘、颜色、纹理、字符等，如基于canny算子的边缘检测方法来检测车牌、利用HSV空间颜色模型与直方图基于颜色来检测车牌、利用Haar特征基于图像纹理的车牌检测方法，现阶段，大部分车辆可行驶区域(如城市道路、高速公路等)都已配备摄像头，用以交通信息检测与调度。在光线充足的情况下，现有的检测系统可有效地识别车牌，即使在夜晚也会通过路灯的照明来辅助车牌检测，但在一些特殊路段(如夜间的高速公路、地下停车场等)无法匹配合适的照明设备，因此检测时车牌往往有模糊不清、被外界光线干扰、与背景融合等问题；同时，如果有特殊情况发生(如由气候问题引起的供电不足、电路检修等)，部分地区往往会限制供电，仅能维持必要的交通设施的运转(如关闭路灯，仅维持信号灯、交通摄像头的运行)，这也会对车牌检测造成一定的干扰。

技术实现思路

[0003]本专利技术的目的是为解决上述现有技术的不足之处而提供一种弱光条件下的车牌识别方法。
[0004]本专利技术所采用的技术方案是：一种弱光条件下的车牌识别方法，包括如下步骤步骤一、建立YID网络，YID网络的输入为车牌图像，YID网络的输出为车牌识别结果，YID网络包括生成
‑
判别模块、YOLO模块、车牌识别模块，车牌图像通过生成
‑
判别模块进行增强后获得增强后的特征图，将增强后的特征图输入到YOLO模块进行特征提取，然后将特征提取后得到的特征图输入到车牌识别模块获得车牌信息识别结果；
[0005]步骤二、选择多个(四千个)不同的车牌进行拍照，其中每一个车牌分别在弱光条件与正常光照条件下采用同样的拍照设备在同样的位置拍照一次，获得多个(四千个)车牌分别在弱光条件与正常光照条件下拍摄的(共计八千张)图像。步骤三、将步骤二中对(四千个不同的)车牌分别在弱光条件与正常光照条件下拍摄的(八千张)图像作为数据集训练YID网络，其中将整个数据集按照7:3的比例随机分为训练集与验证集，即四千个车牌中有两千八百个车牌所对应的五千六百张在弱光条件下与正常光照条件下分别拍摄的图像作为训练集，四千个车牌中有一千两百个车牌所对应的两千四百张在弱光条件下与正常光照条件下分别拍摄的图像作为验证集，将数据集输入YID网络进行训练，获得训练完成的YID网络；
[0006]步骤四、将需要识别的弱光条件下的车牌图像采用步骤二同样的图像预处理后，输入到YID网络中获得车牌的识别结果；
[0007]所述图像预处理为，比较待处理的图像长和宽的尺寸大小，将尺寸大的记为max，尺寸小的记录为min，按缩放比s＝a/max，将待处理的图像进行缩放，max缩小为a，将min缩
小为s*min，将缩放后的图像填充到尺寸为a*a的图像，缩放后的图像原有的像素值不变，新填充的像素值为0，获得RGB三通道的a*a大小的图片，其中，a为设定的正整数。
[0008]所述生成
‑
判别模块包括生成模块、判别模块、增强模块，所述生成模块包括3个卷积模块与3个反卷积模块，串联后的3个卷积模块与串联后的3个反卷积模块串联连接；所述判别模块包括4个成串联关系的卷积模块；所述增强模块包括5个基础特征增强模块，每个基础特征增强模块包括1个卷积模块和1个反卷积模块；每个卷积模块都包括1个Conv2d卷积层、1个BN批量归一化层、1个Silu激活层，每个反卷积模块包括1个ConvTranspose2d反卷积层、1个BN批量归一化层、一个Silu激活层；将弱光预处理图像输入到生成模块中，生成模块输出弱光生成图像，将弱光生成图像和正常光预处理图像共同输入到判别模块，获得判别图像，将判别图像输入到增强模块中，增强模块通过5个串联的卷积模块对判别图像进行特征提取，5个串联的卷积模块中每个卷积模块各输出给一个反卷积模块，5个串联的反卷积模块进行拼接，输出增强后的图像。
[0009]所述YOLO模块的输入即增强后的图像，经过3个串联的卷积模块处理后，输出结果再经过三个串联的ELAN
‑
MP模块处理，每个ELAN
‑
MP模块由一个高效层聚合网络模块ELAN和一个最大池化模块MP构成，每个高效层聚合网络模块ELAN都为双分支并行结构，高效层聚合网络模块ELAN的输入分为两个分支，一个分支经过一个卷积模块后和另一个分支经过三个串联的卷积模块后进行拼接作为高效层聚合网络模块ELAN的输出，高效层聚合网络模块ELAN的输出输入到一个最大池化模块MP，每个最大池化模块MP都为双分支并行结构，每个最大池化模块MP的输入分为两个分支，一个分支经过一个串联的卷积模块和一个最大池化层Maxpool后和另一个分支经过三个串联的卷积模块后进行拼接作为最大池化模块MP的输出，三个串联的ELAN
‑
MP模块中的第三个ELAN
‑
MP模块的最大池化模块MP的输出顺序经过一个卷积模块、一个上采样模块US后的输出与三个串联的ELAN
‑
MP模块中的第二个ELAN
‑
MP模块的最大池化模块MP的输出进行拼接，拼接后的输出顺序经过一个卷积模块、一个上采样模块US后的输出与三个串联的ELAN
‑
MP模块中的第一个ELAN
‑
MP模块的最大池化模块MP的输出进行拼接，拼接后的输出作为YOLO模块的提取的特征图，每个卷积模块都包括1个Conv2d卷积层、1个BN批量归一化层、1个Silu激活层。
[0010]所述车牌识别模块包括1个多任务卷积MTC层和2个BLSTM层，MTC层是一个卷积核为3，步长为1，channel为512的卷积层，MTC层将YOLO模块提取的特征图转为特征序列，然后经过2个BLSTM层，对特征序列进行预测，并输出预测结果。
[0011]总损失其中，N为预测输出值的总个数即网络可识别文字的种类总数，x
i
为预测输出值中的第i个值即对第i类文字种类的识别结果，x
o
为对应x
i
的真实值即实际情况下预测输出值中的第i个值是否是第i类文字，i为小于等于N的整数，生成
‑
判别模块损失旨在增强网络的底层图像增强部分；其中，YOLO模块损失旨在增强网络的特征提取能力；L3＝argmaxp(x
o
|x
i
),其中，x
i
为预测输出值中的第i个值即对第i类文字种类的识别结果，x
o
为对应x
i
的真实值即实际情况下预测输出值中的第i个值是否是第i类文字，i为小于等于N的整数，车牌识别模块损失旨在增强网络的文字识别能力。
[0012]生成
‑
判别模块的设计思路源于GAN生成对抗网络，传统的GAN生成对抗网络主要
由生成器(Generator)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱光条件下的车牌识别方法，其特征在于：包括如下步骤步骤一、建立YID网络，YID网络的输入为车牌图像，YID网络的输出为车牌识别结果，YID网络包括生成
‑
判别模块、YOLO模块、车牌识别模块，车牌图像通过生成
‑
判别模块进行增强后获得增强后的特征图，将增强后的特征图输入到YOLO模块进行特征提取，然后将特征提取后得到的特征图输入到车牌识别模块获得车牌信息识别结果；步骤二、选择多个不同的车牌进行拍照，其中每一个车牌分别在弱光条件与正常光照条件下采用同样的拍照设备在同样的位置拍照一次，获得多个车牌分别在弱光条件与正常光照条件下拍摄的图像；步骤三、将步骤二中对不同的车牌分别在弱光条件与正常光照条件下拍摄的图像作为数据集训练YID网络，其中将整个数据集按照7:3的比例随机分为训练集与验证集，将数据集和验证集输入YID网络进行训练和验证，获得训练完成的YID网络；步骤四、将需要识别的弱光条件下的车牌图像采用步骤二同样的图像预处理后，输入到YID网络中获得车牌的识别结果。2.根据权利要求1所述的一种弱光条件下的车牌识别方法，其特征在于：所述图像预处理为，比较待处理的图像长和宽的尺寸大小，将尺寸大的记录为max，尺寸小的记录为min，按缩放比s＝a/max，将待处理的图像进行缩放，max缩放为a，将min缩放为s*min，再将缩放后的图像填充到尺寸为a*a的图像，缩放后的图像新填充的像素值为0，获得RGB三通道的a*a大小的图片，其中，a为设定的正整数640。3.根据权利要求1所述的一种弱光条件下的车牌识别方法，其特征在于：所述生成
‑
判别模块包括生成模块、判别模块、增强模块，所述生成模块包括3个卷积模块与3个反卷积模块，串联后的3个卷积模块与串联后的3个反卷积模块串联连接；所述判别模块包括4个成串联关系的卷积模块；所述增强模块包括5个基础特征增强模块，每个基础特征增强模块包括1个卷积模块和1个反卷积模块；每个卷积模块都包括1个Conv2d卷积层、1个BN批量归一化层、1个Silu激活层，每个反卷积模块包括1个ConvTranspose2d反卷积层、1个BN批量归一化层、一个Silu激活层；将弱光预处理图像输入到生成模块中，生成模块输出弱光生成图像，将弱光生成图像和正常光预处理图像共同输入到判别模块，获得判别图像，将判别图像输入到增强模块中，增强模块通过5个串联的卷积模块对判别图像进行特征提取，5个串联的卷积模块中每个卷积模块各输出给一个反卷积模块，5个串联的反卷积模块进行拼接，输出增强后的图像。4.根据权利要求1所述的一种弱光条件下的车牌识别方法，其特征在于：所述YOLO模块的输入即增强后的图像，经过3个串联的卷积模块处理后，输出结果再经过三个串联的ELAN
‑
MP模块处理，每个ELAN
‑
MP模块由一个高效层...

【专利技术属性】
技术研发人员：丁洁，张峻祎，丁冰，郑德智，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：