一种基于颜色增广的实时车牌检测识别方法和装置制造方法及图纸

本发明专利技术公开了一种基于颜色增广的实时车牌检测识别方法和装置，该方法包括：步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过训练好的车牌检测模型推理得到车牌检测结果；步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。本发明专利技术实现方法简单，可移植性强，提高了车牌检测模型和车牌识别模型的准确率，增强了模型的泛化能力。型的泛化能力。型的泛化能力。

【技术实现步骤摘要】
一种基于颜色增广的实时车牌检测识别方法和装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于颜色增广的实时车牌检测识别方法和装置。

技术介绍

[0002]汽车作为重要的城市交通工具，给人们的生活带来了极大便利，我国汽车数量以每年10%以上的速度在增长，如何有效管理机动车是城市管理的关键和难点问题之一，迫切需要相应有效的手段去解决。利用深度学习技术解决车牌检测识别，是目前计算机视觉技术在城市管理中的研究热点。当前基于深度学习的图像检测识别算法都需要足够充分的训练样本。然而，现实中，实际数据不容易获得，采集过程缓慢，样本往往都有限，并且在将数据用于训练之前需要对数据进行处理和注释。为了获得更高的注释精度，还需要人工检查。如何采用有限的样本来训练高质量的检测识别算法是图像检测识别的难点。
[0003]基于样本有限，在深度学习中对图样采用数据增强的处理技术，它可以对有限样本数据进行适当加工，衍生出更多的补充训练样本，用以增强模型对训练样本特征的总结能力，然而在实际当中，样本收集与获取是有难度的、有代价的，导致可用样本具有明显的局限性，为了弥补样本，可以对已知图像进行适当的集合变换、像素调整(例如缩放、像素加工等)人为衍生出新的训练样本，这样的技术或者措施就是数据增强。然而，常用的增强手段，对于不同颜色车牌的检测识别效果并不明显。获得蓝色车牌是较为容易的，但采用常规的数据增强方式，用蓝色车牌数据进行训练得到的模型，根本检测识别不了黄色和绿色车牌。
[0004]RGB 是日常接触最多的颜色空间，由三个通道表示一幅图像，分别为红色(Red)，绿色(Green)和蓝色(Blue)。这三种颜色的不同组合可以形成几乎所有的其他颜色。HSV是基于 RGB 的，是作为一个更方便友好的方法创建出来的。HSV 表达彩色图像的方式由三个部分组成：色调（Hue）、饱和度（Saturation）、明度（Value）。HSV颜色空间模型是倒锥形模型，在圆锥上，角度代表色调H，饱和度S表示为点到中心竖线的距离，而亮度值V用中心竖线表示。 HSV对用户来说是一种直观的颜色模型。

技术实现思路

[0005]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于颜色增广的实时车牌检测识别方法，其具体技术方案如下：一种基于颜色增广的实时车牌检测识别方法，包括以下步骤：步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广的方式将检测训练集中包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，再使用基于深度卷积神经网络的车牌检测模型进行训练，获得训练好的车牌检测模型，通过训练好的车牌检测模型推理得到车牌检测结果；步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；
步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。
[0006]进一步的，所述步骤一，具体包括以下子步骤：步骤S101，车牌检测样本收集，制作检测训练数据集；步骤S102，对检测训练数据集进行颜色增广；步骤S103，采用颜色增广后的数据集训练车牌检测模型；步骤S104，测试车牌检测模型，获得车牌检测结果。
[0007]进一步的，所述步骤S102中的颜色增广，具体包括以下过程：（2.1）读取检测训练数据集中的蓝色车牌汽车图像M的RGB颜色空间；（2.2）将RGB颜色空间转换为HSV颜色空间；（2.3）随机产生一个[74，98]或者[23，89]范围内的数n；（2.4）将H空间的每个数减去n后再对180取模得到H1；（2.5）用H1替换图像M中的H得到转换后的图像M1；当过程（2.3）中随机数n在[74，98]范围内时，蓝色车牌汽车图像将转换为黄色车牌汽车图像；当过程（2.3）中随机数n在[23，89]范围内时，蓝色车牌汽车图像将转换为绿色车牌汽车图像。
[0008]进一步的，所述步骤二具体为：通过车牌检测模型获得车牌的水平框和四个角点的位置，按水平框的位置将车牌从原图像中剪切出来，然后根据车牌四个角点的位置利用仿射变换进行视图的变换，输出车牌正面视角的图像；所述车牌检测模型采用深度卷积神经网络YOLOv5s架构。
[0009]进一步的，所述仿射变换是指在向量空间中进行一次线性变换即乘以一个矩阵和一次平移即加上一个向量，变换到另一个向量空间的过程。
[0010]进一步的，所述步骤三，具体包括以下子步骤：步骤S301，车牌识别样本收集，制作识别训练数据集；步骤S302，对识别训练数据集进行颜色增广；步骤S303，采用颜色增广后的数据集训练车牌识别模型；步骤S304，测试车牌识别模型，获得车牌识别结果。
[0011]进一步的，所述步骤S302中的颜色增广，具体包括以下过程：（3.1）读取识别训练数据集中的蓝色车牌正面视角的图像M2的RGB颜色空间；（3.2）用255减去图像M2的RGB颜色空间的每个值后得到图像M3；（3.3）将图像M3的RGB颜色空间转换为HSV颜色空间；（3.4）随机产生一个[9，51]范围内的数n1；（3.5）将H空间的每个数加上n1后再对180取模得到H2；（3.6）用H2替换图像M3中的H得到转换后的图像M4；此时，蓝色车牌正面视角的图像M2就转化为绿色车牌正面视角的图像M4了。
[0012]一种基于颜色增广的实时车牌检测识别装置，包括一个或多个处理器，用于实现
所述的一种基于颜色增广的实时车牌检测识别方法。
[0013]一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种基于颜色增广的实时车牌检测识别。
[0014]根据以上技术方案，本专利技术的有益效果如下：本专利技术提供了一种针对车牌检测的车牌颜色增广方法，将包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，产生的数据更符合要求，避免由普通颜色增广产生的大量无效数据对训练效果的干扰；本专利技术是对原始图像进行颜色增广，不仅维护了训练样本的客观性，同时，可以增加其他颜色车牌的学习与训练机会，对车牌检测识别算法的检测识别能力起到积极的作用；本专利技术对训练好的车牌检测模型和车牌识别模型进行级联，能够更好地适应复杂多变的作业场所，具有实际的应用价值。
附图说明
[0015]图1为本专利技术的一种基于颜色增广的实时车牌检测识别方法流程示意图；图2为本专利技术实施例中车牌视图矫正的示例图；图3为本专利技术实施例的车牌检测识别的整体过程示意图；图4为本专利技术实施例的一种基于颜色增广的实时车牌检测识别装置的结构示意图。
具体实施方式
[0016]为了使本专利技术的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本专利技术作进一步详细说明。
[0017]本专利技术的一种基于颜色增广的实时车牌检测识别方法，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广将包含蓝色车牌的图像转为包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于颜色增广的实时车牌检测识别方法，其特征在于，包括以下步骤：步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广的方式将检测训练集中包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，再使用基于深度卷积神经网络的车牌检测模型进行训练，获得训练好的车牌检测模型，通过训练好的车牌检测模型推理得到车牌检测结果；步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。2.如权利要求1所述的一种基于颜色增广的实时车牌检测识别方法，其特征在于，所述步骤一，具体包括以下子步骤：步骤S101，车牌检测样本收集，制作检测训练数据集；步骤S102，对检测训练数据集进行颜色增广；步骤S103，采用颜色增广后的数据集训练车牌检测模型；步骤S104，测试车牌检测模型，获得车牌检测结果。3.如权利要求2所述的一种基于颜色增广的实时车牌检测识别方法，其特征在于，所述步骤S102中的颜色增广，具体包括以下过程：（2.1）读取检测训练数据集中的蓝色车牌汽车图像M的RGB颜色空间；（2.2）将RGB颜色空间转换为HSV颜色空间；（2.3）随机产生一个[74，98]或者[23，89]范围内的数n；（2.4）将H空间的每个数减去n后再对180取模得到H1；（2.5）用H1替换图像M中的H得到转换后的图像M1；当过程（2.3）中随机数n在[74，98]范围内时，蓝色车牌汽车图像将转换为黄色车牌汽车图像；当过程（2.3）中随机数n在[23，89]范围内时，蓝色车牌汽车图像将转换为绿色车牌汽车图像。4.如权利要求1所述的一种基于颜色增广的实时车牌检测识别方法，其...

【专利技术属性】
技术研发人员：徐芬，王军，曹卫强，徐晓刚，
申请(专利权)人：之江实验室，
类型：发明
国别省市：