基于级联神经网络的视频流实时车牌识别系统及方法技术方案

本发明专利技术提供了一种基于级联神经网络的视频流实时车牌识别系统及方法，方法包括：采用改进的yolov4

【技术实现步骤摘要】
基于级联神经网络的视频流实时车牌识别系统及方法


[0001]本专利技术涉及车牌识别
，特别涉及一种基于级联神经网络的视频流实时车牌识别系统及方法。

技术介绍

[0002]随着人们生活水平的不断提升，路上的车辆越来越多，车牌是车辆的重要身份识别信息；伴随着科学技术的进步，导致车牌识别的相关技术在越来越多的场景下被使用，例如各种停车场、道路卡口等，车牌识别技术的进步对于减少人工登记、违法监控和事后追溯等有极大的作用，但是，伴随着技术的不断进步和使用环境的不断变化对于车牌识别的时效性与准确性也提出了有极高的要求。
[0003]现有技术一，CN202010479156.8车牌识别方法、车牌识别装置、车牌识别设备及存储介质，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。
[0004]现有技术二，CN201410742690.8一种车牌识别方法及车牌识别设备，根据原始车牌分类器检测现场的无车场景，收集现场的静态负样本；将静态负样本添加到车牌识别设备的原始训练集中，得到第一训练集，根据第一训练集训练第一车牌分类器；根据第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将动态负样本添加到第一训练集中，得到第二训练集，根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别。这样，利用第二训练集训练的第二车牌分类器能够去除静态负样本和动态负样本，此时现场可能出现的绝大部分负样本都能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。
[0005]现有技术三，CN201911282626.5车牌识别模型的训练方法及装置、车牌识别方法及装置，该车牌识别模型的训练方法包括：获取车辆图像训练样本，车辆图像训练样本中包含具有车牌图像的正样本图像及不具有车牌图像的负样本图像；根据车辆图像训练样本提取第一目标训练特征；根据第一目标训练特征对第一深度学习网络模型进行训练，得到车牌识别模型；对车牌识别模型输出的车牌图像进行分割，得到目标训练字符；根据目标训练字符提取第二目标训练特征；根据第二目标训练特征对深度可分离卷积神经网络模型进行训练，得到深度可分离卷积车牌识别模型。通过采用可分离卷积神经网络模型，可以实现空间信息和深度信息解耦合，减少网络参数量，提高训练准确率。
[0006]目前现有技术一、现有技术二和现有技术三的车牌识别仅仅针对特定场景及角度，对设备的部署要求极高，使得应用具有局限性；车牌识别的精度依赖于图像清晰度，对
于高光、缺损、干扰等情况下的车牌识别的鲁棒性比较差，因而，本专利技术采用一个包含简化的yolov4
‑
tiny、简化的DenseNet和简化的DenseNet+CTC的级联神经网络，提高多环境的车牌识别的精度。

技术实现思路

[0007]为了解决上述技术问题，本专利技术提供了一种基于级联神经网络的视频流实时车牌识别方法，包括：
[0008]采用改进的yolov4
‑
tiny网络在整体车辆目标区域检测出车牌的目标区域；
[0009]基于单目视觉拍摄车辆的移动，得到车辆的视频流，利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；
[0010]采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正，得到车牌的正面图像；改进的网络密集连接的卷积网络和连接时序分类，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认。
[0011]可选的，改进的yolov4
‑
tiny网络去掉了yolov4
‑
tiny网络的rote层，增加一个yolo层，实现了对车辆大目标和车牌小目标的检测。
[0012]可选的，若不是真实车牌，则返回采用改进的yolov4
‑
tiny网络在整体车辆目标区域检测出车牌的目标区域；若是真实车牌，则进行采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正。
[0013]可选的，对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像。
[0014]可选的，控制器通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。
[0015]可选的，根据车辆和车牌的大小分别设置对应的候选框，在车辆目标模型识别时，采用了六个候选框；在车牌目标模型识别时，采用了九个候选框。
[0016]可选的，检测出整体车辆目标区域，即检测车辆的边界框，具体包括：
[0017]对输入的车辆及车牌的图像划分边界框，将车辆的图像分为多个单元格，在每个单元格预测出车辆边界框，车辆边界框的置信度的表达式为：
[0018][0019]式中，表示第i个单元格中的第j个边界框的置信度，P
r
(Object)表示单元格包含某类目标的概率，P
r
∈{0,1}，IOU表示预测边界框与真实边界框的交并比。
[0020]可选的，网络密集连接的卷积网络DenseNet包括：
[0021]密集连接模块，密集连接网络是在残差网络基础上演变而来的，残差网络的连接方式是每层与其前面的一或两层通过相加的方法进行短路连接，即增加了来自上一层的输入：
[0022]x
l
＝H
l
(x
l
‑1)+x
l
‑1；
[0023]与其不同的是网络密集连接的卷积网络采用密集连接机制，互相连接所有的层，每一层都会和前面的所有层在通道维度上进行连接，实现特征重用，即：x
l
＝H
l
[(x0,x1,
…
,
x
l
‑1)]；
[0024]其中，x
l
为第l层输入，接受前面所有层的所有卷积特征x0～x
l
‑1；(x0,x1,
…
,x
l
‑1)为输入层至l
‑
1层的输出特征图进行拼接的操作；H
l
()是非线性转化函数；
[0025]标准卷积模块，1个层的网络拥有L个连接；密集连接模块，通过前馈的方式来将层与层紧密相连；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联神经网络的视频流实时车牌识别方法，其特征在于，包括：采用改进的yolov4
‑
tiny网络在整体车辆目标区域检测出车牌的目标区域；基于单目视觉拍摄车辆的移动，得到车辆的视频流，利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正，得到车牌的正面图像；改进的网络密集连接的卷积网络和连接时序分类，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认。2.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，改进的yolov4
‑
tiny网络去掉了yolov4
‑
tiny网络的rote层，增加一个yolo层，实现了对车辆大目标和车牌小目标的检测。3.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，若不是真实车牌，则返回采用改进的yolov4
‑
tiny网络在整体车辆目标区域检测出车牌的目标区域；若是真实车牌，则进行采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正。4.如权利要求3所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像。5.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，控制器通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。6.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，根据车辆和车牌的大小分别设置对应的候选框，在车辆目标模型识别时，采用了六个候选框；在车牌目标模型识别时，采用了九个候选框。7.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，检测出整体车辆目标区域，即检测车辆的边界框，具体包括：对输入的车辆及车牌的图像划分边界框，将车辆的图像分为多个单元格，在每个单元格预测出车辆边界框，车辆边界框的置信度的表达式为：式中，表示第i个单元格中的第j个边界框的置信度，P
r
(Object)表示单元格包含某类目标的概率，P
r
∈{0,1}，IOU表示预测边界框与真实边界框的交并比。8.如权利要求1所述的基于级联神经网络的视频流实时车牌识别方法，其特征在于，网络密集连接的卷积网络Dens...

【专利技术属性】
技术研发人员：刘亚健，曾国卿，朱新潮，李威，胡振宏，刘佳宁，
申请(专利权)人：上海可深信息科技有限公司，
类型：发明
国别省市：