一种基于深度学习的端到端车牌识别系统及其方法技术方案

本发明专利技术公开了一种基于深度学习的端到端车牌识别系统及其方法，主要涉及图像定位和图像识别模块，在原有基于卷积神经网络的检测模型上扩展多尺度检测的深度，提升车牌对于小物体的定位精度；另外，本文还利用双向门控循环单元与基于神经网络的时序类分类算法优化识别网络，完成对已定位车牌的无字符分割的识别任务，简化系统识别流程，提升了网络的收敛速度和识别准确率，同时对训练图片进行随机变化，以提高模型训练的有效性。相比于传统的车牌识别方法，本发明专利技术中提及的方法提高了复杂场景下的车牌识别速度和准确率，且鲁棒性较好。

An end-to-end license plate recognition system based on deep learning and its method

【技术实现步骤摘要】
一种基于深度学习的端到端车牌识别系统及其方法
本专利技术涉及一种车牌识别系统，具体的说是一种端到端车牌识别系统及其方法，属于图像识别

技术介绍
车牌识别LPR(LicensePlateRecognition)在许多实际应用中发挥着重要作用，如自动收费，交通执法，停车场访问控制和道路交通监控等。它具有从安全性到交通控制的各种潜在应用，近年来，车牌识别技术受到了广泛的关注和研究。商业化方案中，几个老牌的车牌识别公司都具有较好的商业化版本，应用也较为广泛，包括北京文通科技，北京易泊时代等，文通的技术源于清华的技术团队，研究早，商业化也比较完善，在车牌识别方案上应用广泛。成都的火眼臻视公司，做停车场卡口车牌识别，包括卡口相机，配套软件等，在停车场具有较高的市场占有率。北京精英智通科技主要针对智能泊车收费，其中车牌识别方案也具有较好的识别。目前市场上的车牌识别产品，大多采用检测，分割和识别联合的方案，这种方案依赖于分割的效果，对于图像模糊粘连处理有一定难度。虽然车牌识别技术已得到很大发展，但是仍然存在难点。这些难点集中体现在以下几个方面：(1)由于光照、大雾、沙尘暴等天气影响，导致采集到的图像质较低，字符受到噪声干扰，造成部分目标图像被背景图像掩盖，降低车牌字符识别的准确率。(2)我国车牌的特殊性。(a)我国车牌的字符包括中文、数字和英文字母。由于中文字符的笔画较为复杂，在对中文字符进行二值化处理后，容易造成笔画模糊，从而导致错误的识别。同时在对车牌字符识别时，需要对英文字母和数字进行混合识别，受部分英文字母和数字字符相似的影响，会造成英文字母和数字的误识。(b)我国车牌识别颜色的多样性，比如蓝色白底、黄底黑字、黑底白字等，在利用车牌颜色的特征时需要考虑多种情况，增加了额外的工作量。因此本专利技术利用改进的多尺度检测模块提升检测速度和精度，再利用双向门控循环单元与基于神经网络的时序类分类算法优化识别网络，加快网络的收敛速度，提升模型识别准确率。
技术实现思路
本专利技术的目的是提供一种基于深度学习的端到端车牌识别系统及其方法，以改进YOLOv3为检测网络，BGRU+CTC为识别网络构建整体的识别系统模型，通过检测网络获取目标车牌的AnchorBox，将该AnchorBox的相关坐标参数，及目标区域的内容以矩阵的形式传至识别网络，利用已经训练好的识别模型对目标区域的车牌内容进行文本识别，最终输出车牌定位的准确率，AnchorBox角点坐标，车牌识别准确率，系统识别时间等信息本专利技术的目的是这样实现的：一种基于深度学习的端到端车牌识别系统，包括车牌定位模块，车牌识别模块；所述的车牌定位模块，位于系统的数据入口，利用YOLOv3对原始含有车辆的图像进行初步的多尺度检测，获取目标车牌的AnchorBox和相应的坐标参数，再将目标区域的内容以矩阵的形式传至识别网络；所述的车牌识别模块，在对输入数据进行统一标准的格式化后，以检测网络返回的相关数据为基础，利用BGRU+CTC的联合方案对获取的目标车牌中的文本信息进行识别，最终输出车牌定位的准确率，AnchorBox角点坐标，车牌识别准确率，目标图像大小，系统识别时间等信息。一种基于深度学习的端到端车牌识别方法，包括车牌定位和车牌识别两部分；所述车牌定位包括以下步骤：步骤1：利用爬虫技术从互联网，或部分开源数据集等中获取训练数据DataSet；步骤2：使用开源数据标注工具对原始训练数据进行人工标注，生成相应的数据标记文件；步骤3：利用python脚本将数据标记文件生成相应的txt标签和list文件；步骤4：扩展YOLOv3的多尺度检测功能，提升其对小物体的定位准确率，并修改其对应的cfg文件中的网络参数；步骤5：调整YOLOv3相关的配置文件中的参数，初始化所有的数据路径，在cfg文件中开启网络的训练模式；步骤6：随着迭代次数的增加，在网络接近收敛，各项参数基本稳定的时候停止训练，获取检测网络的模型权重；步骤7：修改darknet.py文件，在其原本的基础上增加新功能，用以获取检测网络的参数计算量Bflops和帧率Fps等，并设置相应配置文件和模型权重的路径；步骤8：获取车牌定位的准确率，检测速度，AnchorBox角点坐标等，并将其传至识别网络；所述车牌识别包括以下步骤：步骤1：利用训练好的YOLOv3对原始训练集DataSet进行检测，并将获取的目标车牌图像裁剪并保存至指定文件夹；步骤2：对裁剪好的车牌图像数据集进行人工数据标注，生成数据集，按照9:1的比例分割新数据集，生成对应的训练集和验证集，并编写python脚本生成对应标签文件trainLabel.txt和vaidLabel.txt；步骤3：以BGRU+CTC的联合方案构建车牌识别模型；步骤4：将数据进行预处理操作后，根据识别模型入口参数对数据进行格式化；步骤5：调整模型训练的参数，修改模型存储路径，并设置批次间隔动态保存模型；步骤6：待网络模型基本收敛时，停止训练，获取识别模型的权重文件；步骤7：修改识别网络模型输入接口，与检测网络的输出接口进行匹配，进一步融合检测，识别两个模块；步骤8：利用开源数据集Open-ITS测试识别系统性能，输出车牌定位的准确率，AnchorBox角点坐标，车牌识别准确率，目标图像大小，系统识别时间等信息。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术扩展了YOLOv3的多尺度检测功能，改进识别网络，利用BGRU+CTC实现无需车牌字符分割的识别任务，其中，(1)本专利技术提出的模型可以在一次前向传播中完成车牌端到端的定位与识别任务，整个网络不需要依靠人工提取特征，全部可由深度神经网络自身进行学习，并进行精细化的自动提取操作，端到端的方式节约了车牌识别的时间，极大地提升了系统的识别效率；(2)模型联合车牌定位和识别功能，无需对车牌字符预先进行分割，再进行识别操作，简化了识别过程，提升了模型的识别效率；(3)本专利技术改进YOLOv3网络，并扩展多尺度检测的功能，细化定位精度，提升车牌定位效率；(4)本专利技术利用BGRU+CTC改进识别网络完成对已定位车牌的无字符分割的识别任务，明显缩短训练时间，提升了网络的收敛速度和识别准确率。附图说明图1为本专利技术系统架构示意图。图2为本专利技术中车牌定位模型图。图3为本专利技术中车牌识别模型图。图4为本专利技术中车牌识别模型参数图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：为了使本专利技术的目的，技术方案及优点更加清楚明白，便于本领域普通技术人员理解和实施本专利技术，以下结合附图1--系统架构示意图，附图2—车牌定位模型图，附图3-车牌识别模型图，和附图4-车牌识别模型参数图，通过具体实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。一种基于深度学习的端到端车牌识别系统及方法，所述车牌识别系统包括车牌定位模块100和车牌识别模块200；车牌定位模块100包括以下步骤：步骤101：在互联网上采取网络爬虫技术，利用python的scrapy框架以“车牌”为关键词进行大规模多线程的爬取，并对爬取的数据做清洗，整理和标注，另外在结合开源数据集CCPD，制作训练数据集DataSet；步骤102：使用本文档来自技高网...

【技术保护点】
1.一种基于深度学习的端到端车牌识别系统，其特征在于，包括车牌定位模块，车牌识别模块；所述的车牌定位模块，位于系统的数据入口，利用YOLOv3对原始含有车辆的图像进行初步的多尺度检测，获取目标车牌的Anchor Box和相应的坐标参数，再将目标区域的内容以矩阵的形式传至识别网络；所述的车牌识别模块，在对输入数据进行统一标准的格式化后，以检测网络返回的相关数据为基础，利用BGRU+CTC的联合方案对获取的目标车牌中的文本信息进行识别，最终输出车牌定位的准确率，Anchor Box角点坐标，车牌识别准确率，目标图像大小，系统识别时间等信息。

【技术特征摘要】
1.一种基于深度学习的端到端车牌识别系统，其特征在于，包括车牌定位模块，车牌识别模块；所述的车牌定位模块，位于系统的数据入口，利用YOLOv3对原始含有车辆的图像进行初步的多尺度检测，获取目标车牌的AnchorBox和相应的坐标参数，再将目标区域的内容以矩阵的形式传至识别网络；所述的车牌识别模块，在对输入数据进行统一标准的格式化后，以检测网络返回的相关数据为基础，利用BGRU+CTC的联合方案对获取的目标车牌中的文本信息进行识别，最终输出车牌定位的准确率，AnchorBox角点坐标，车牌识别准确率，目标图像大小，系统识别时间等信息。2.一种基于深度学习的端到端车牌识别方法，其特征在于，包括车牌定位和车牌识别两部分；所述车牌定位包括以下步骤：步骤1：利用爬虫技术从互联网，或部分开源数据集等中获取训练数据DataSet；步骤2：使用开源数据标注工具对原始训练数据进行人工标注，生成相应的数据标记文件；步骤3：利用python脚本将数据标记文件生成相应的txt标签和list文件；步骤4：扩展YOLOv3的多尺度检测功能，提升其对小物体的定位准确率，并修改其对应的cfg文件中的网络参数；步骤5：调整YOLOv3相关的配置文件中的参数，初始化所有的数据路径，在cfg文件中开启网络的训练模式；步骤6：随着迭代次数的增加，在网络接近收敛，各项参数基本稳...

【专利技术属性】
技术研发人员：史建伟，章韵，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32