一种针对雾霾天气环境的自动车牌识别方法技术

本申请提供了一种针对雾霾天气环境的自动车牌识别方法，首先上传雾霾天气环境下的有雾车辆图像，然后使用训练好的雾霾图像预处理模块对有雾车辆图像进行去雾处理，再采用车牌定位模块进行车牌定位，最后将定位出来的车牌输入到车牌识别模块进行车牌字符识别，并且输出识别结果。本申请提供的针对雾霾天气环境的自动车牌识别方法，在图像去雾方面，使用少量成对图像数据即可获得较好的去雾效果；针对雾霾天气环境下的车牌自动识别，适应性较强，识别准确率高，解决了现有对雾霾天气环境下车牌识别准确率较低的问题，具有广泛的应用前景。具有广泛的应用前景。具有广泛的应用前景。

【技术实现步骤摘要】
一种针对雾霾天气环境的自动车牌识别方法


[0001]本申请属于车牌识别
，更具体地说，是涉及一种针对雾霾天气环境的自动车牌识别方法。

技术介绍

[0002]随着智慧交通的不断发展以及机动车数量的迅速增长，车牌识别技术已经成为实现智慧交通必不可少的一环，并且在停车场管理，高速公路收费，违章拍照等任务中发挥着非常重要的作用。现有的车牌识别算法大致可分为传统方法和基于深度学习的方法。传统车牌识别算法通常使用基于图像处理的算法来进行车牌的定位和识别，识别准确率较低，并且仅适用单一场景。
[0003]近年来，随着机器学习技术的发展，基于深度学习模型的车牌识别算法在稳定性和识别准确率方面都有了很大程度上的提升。然而，由于车牌识别的应用场景较为复杂，目前的车牌识别技术在雾霾等恶劣气象环境的干扰下，仍存在识别准确率低，鲁棒性差等问题，因此，雾霾天气环境下车牌识别准确率低的问题是目前亟待解决的重点问题。

技术实现思路

[0004]为实现上述目的，本申请采用的技术方案是：提供一种针对雾霾天气环境的自动车牌识别方法，首先上传雾霾天气环境下的有雾车辆图像，然后使用训练好的雾霾图像预处理模块对有雾车辆图像进行去雾处理，再采用车牌定位模块进行车牌定位，最后将定位出来的车牌输入到车牌识别模块进行车牌字符识别，并且输出识别结果。
[0005]可选地，包括以下步骤：
[0006]步骤一，开始；
[0007]步骤二，在雾霾图像预处理模块对采集的有雾车辆图像进行去雾处理之前，首先对清晰无雾车牌图片进行加雾处理，批量生成与真实雾霾天气环境下的车辆图像类似的图片，并与原始清晰无雾车牌图像成对组合成训练集，作为Cycle GAN去雾模型的输入对模型进行训练；
[0008]上传雾霾天气下的有雾车辆图像至雾霾图像预处理模块，使用训练好的Cycle GAN去雾模型对上传的有雾车辆图像进行去雾处理；
[0009]步骤三，经过图像去雾网络，去除雾霾天气的干扰，生成清晰无雾的车辆图像，将该图像输入到基于YOLOv5的车牌定位模块进行车牌定位；
[0010]步骤四，车牌定位模块将定位出来的车牌输入到车牌识别模块中，车牌识别模块使用LPRNet网络进行端到端的车牌字符识别；
[0011]步骤五，结束。
[0012]可选地，步骤二中，Cycle GAN去雾模型包括两个镜像对称的生成式对抗网络，每个生成式对抗网络包括两个鉴别器和两个生成器。
[0013]可选地，Cycle GAN去雾模型用于进行有雾车牌图片到无雾车牌图片的变换；
[0014]设有雾图像为X域，无雾图像为Y域；
[0015]生成器一负责通过X域图片来生成Y域图片，生成器二负责通过Y域的图片来生成X域的图片；
[0016]两个鉴别器需要判别输入图像是X域还是Y域；
[0017]生成器尝试通过原域的图片学习到生成目标域的映射，鉴别器判断，在生成器和鉴别器对抗的过程中，使生成器生成的图片越来越接近真实的目标域图片。
[0018]可选地，生成式对抗网络为了保留生成器生成的目标域图片在某些特征上与原域的图片相似，又将生成的假的目标域的图片还原回原域，并进行损失函数计算，损失函数为对抗性损失函数和循环一致性损失函数；
[0019]对抗性损失函数，为学习原域与目标域之间的映射关系，用来保证图像从有雾图像映射到无雾图像，抗性损失函数如公式(1)所示：
[0020][0021]其中，x和y分别代表来自X域和Y域的图像，Gxy为负责从x域生成y域图像的生成器，Dy为鉴别器；
[0022]循环一致性损失函数，能够保证在图像域转换的过程中保留原图像在原域中的相应特征，循环一致性损失函数如公式(2)所示：
[0023][0024]其中，x和y分别代表来自X域和Y域的图像，Gxy为负责从x域生成y域图像的生成器，Gyx为负责从y域生成x域图像的生成器；
[0025]完整的损失函数是两个损失函数的总和，如公式(3)所示：
[0026]ψ(G
xy
,G
yx
,D
x
,D
y
)＝ψ
GAN
(G
xy
,D
y
,X,Y)+ψ
GAN
(G
yx
,D
x
,X,Y)+λψ
cyc
ꢀꢀꢀ
(3)
[0027]其中，Gxy为负责从x域生成y域图像的生成器，Gyx为负责从y域生成x域图像的生成器，Dx和Dy为鉴别器,λ为权重系数。
[0028]可选地，步骤三中，车牌定位模块使用YOLOv5进行车牌定位，YOLOv5包括Backbone模块、Neck模快、Head模块；
[0029]Backbone模块用于特征的提取；
[0030]Neck模块用于对特征进行混合与组合；
[0031]Head模块用于预测输出；
[0032]在backbone模块的CSP
‑
Darknet53中包含5个CSP模块，CSP模块在进行特征提取时不仅使用第五个CSP输出的特征图，还同时使用了其它CSP层输出的特征图。
[0033]可选地，车牌定位模块包括非极大值抑制，非极大值抑制首先将所有的预测框按不同类别进行分组，组内按照置信度的大小进行排序，选取置信度最大的预测框，再依次选取其他的预测框，判断该预测框与已选取的预测框的重叠区域是否大于预先设定好的阈值，若大于设定好的阈值，则判定为预测的是同一个车牌目标，删除该预测框，如果重叠部分小于设定好的阈值，则判定为预测的不是同一个车牌目标，保留该预测框；循环执行该算法，直至处理完所有的预测框。
[0034]可选地，步骤四中，车牌识别模块包括STN空间变换网络和LPRNet网络，STN空间变
换网络对输入的车牌图片进行矫正，LPRNet网络用于车牌字符识别。
[0035]可选地，STN空间变换网络对输入的车牌图片进行矫正方法为，首先将雾霾图像预处理模块裁剪出的车牌图片输入到STN空间变换网络中，使用池化层提取图像特征，将提取的特征传进全连接层，计算出变换参数；最后使用变换参数对输入图像进行矫正，矫正后的图片将作为LPRNet网络的输入。
[0036]可选地，LPRNet网络以94*24的RGB图片做输入，经过卷积运算和特征提取后，输出一段代表字符概率的序列；
[0037]采用CTC损失进行训练，应对输出的代表字符概率序列与车牌字符序列长度不一致的问题，识别变长字符序列；
[0038]对代表字符概率的序列进行解码操作，然后通过集束搜索和后过滤找到最可能的N个序列并返回与模板最匹配的字符序列进行输出，输出结果即为车牌号序列。
[0039]本申请的针对雾霾天气环境的自动车牌识别方法，在传统的车牌识别算法的基础上增加了雾霾图像预处理模块，使用Cycle GAN去雾模型生成式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对雾霾天气环境的自动车牌识别方法，其特征在于：首先上传雾霾天气环境下的有雾车辆图像，然后使用训练好的雾霾图像预处理模块对有雾车辆图像进行去雾处理，再采用车牌定位模块进行车牌定位，最后将定位出来的车牌输入到车牌识别模块进行车牌字符识别，并且输出识别结果。2.如权利要求1所述的一种针对雾霾天气环境的自动车牌识别方法，其特征在于：包括以下步骤：步骤一，开始；步骤二，在雾霾图像预处理模块对采集的有雾车辆图像进行去雾处理之前，首先对清晰无雾车牌图片进行加雾处理，批量生成与真实雾霾天气环境下的车辆图像类似的图片，并与原始清晰无雾车牌图像成对组合成训练集，作为Cycle GAN去雾模型的输入对模型进行训练；上传雾霾天气下的有雾车辆图像至雾霾图像预处理模块，使用训练好的Cycle GAN去雾模型对上传的有雾车辆图像进行去雾处理；步骤三，经过图像去雾网络，去除雾霾天气的干扰，生成清晰无雾的车辆图像，将该图像输入到基于YOLOv5的车牌定位模块进行车牌定位；步骤四，车牌定位模块将定位出来的车牌输入到车牌识别模块中，车牌识别模块使用LPRNet网络进行端到端的车牌字符识别；步骤五，结束。3.如权利要求2所述的一种针对雾霾天气环境的自动车牌识别方法，其特征在于：步骤二中，Cycle GAN去雾模型包括两个镜像对称的生成式对抗网络，每个生成式对抗网络包括两个鉴别器和两个生成器。4.如权利要求3所述的一种针对雾霾天气环境的自动车牌识别方法，其特征在于：Cycle GAN去雾模型用于进行有雾车牌图片到无雾车牌图片的变换；设有雾图像为X域，无雾图像为Y域；生成器一负责通过X域图片来生成Y域图片，生成器二负责通过Y域的图片来生成X域的图片；两个鉴别器需要判别输入图像是X域还是Y域；生成器尝试通过原域的图片学习到生成目标域的映射，鉴别器判断，在生成器和鉴别器对抗的过程中，使生成器生成的图片越来越接近真实的目标域图片。5.如权利要求4所述的一种针对雾霾天气环境的自动车牌识别方法，其特征在于：生成式对抗网络为了保留生成器生成的目标域图片在某些特征上与原域的图片相似，又将生成的假的目标域的图片还原回原域，并进行损失函数计算，损失函数为对抗性损失函数和循环一致性损失函数；对抗性损失函数，为学习原域与目标域之间的映射关系，用来保证图像从有雾图像映射到无雾图像，抗性损失函数如公式(1)所示：其中，x和y分别代表来自X域和Y域的图像，Gxy为负责从x域生成y域图像的生成器，Dy为鉴别器；
循环一致性损失函数，能够保证在图像域转换的过程中保留原图像在原域中的相应特征，循环一致性损失函数如公式(2)所示：其中，x和y分别代表来自X域和Y域的图像，Gxy为负责从x域生成y域图像的生成器，Gyx为负责从y域生成x域图像的生成器；完整的损失函数是两个损失函数的总和，如公式(3)所示：ψ(G
xy
,G
yx
...

【专利技术属性】
技术研发人员：王瑶，王佰玲，王家彬，王巍，王孝朋，
申请(专利权)人：威海天之卫网络空间安全科技有限公司，
类型：发明
国别省市：