一种基于深度卷积神经网络的实时车牌检测方法技术

本发明专利技术涉及计算机视觉领域和深度学习领域，具体而言，涉及一种基于深度卷积神经网络的实时车牌检测方法，该方法包括：获取路面监控图像，选出多张符合要求的目标图像，对目标图像中的车牌的位置进行标记并按预设比例划分为训练集、测试集及验证集，对标记后的车牌进行数据增强，将数据增强处理后的训练集放入深度卷积神经网络中进行训练，结合Adam优化整个改进的SSD模型的损失函数，向训练后的深度卷积神经网络结构中输入一张车牌图像并进行网络计算，输出n*1*4和n*1*2的矩阵并进行非极大值抑制，得到最终的预测结果。如此，不仅能更好的兼具时间和性能两个优势，有效地提高了车牌检测的鲁棒性和网络的泛化能力。

A real-time license plate detection method based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的实时车牌检测方法
本专利技术涉及计算机视觉领域和深度学习领域，具体而言，涉及一种基于深度卷积神经网络的实时车牌检测方法。
技术介绍
近年来，随着我国经济实力的迅速提升，我国的机动车保有量逐年上升。机动车数量的持续增长在服务社会生产生活时，对机动车的管理工作也提出了更高的要求，为了有效地管理机动车辆，机动车号牌需要在交通管理部门申请登记，在这种情形下，需要一种高效、精确的车牌识别系统，用以对车牌号码等车牌信息进行快速采集获取，由此产生了车牌识别系统。车牌检测是车辆识别系统的重要组成部分，车牌检测的精度可以直接影响车牌识别的准确率。早期的车牌检测方法是利用人工提取特征，训练分类器，进行车牌检测，但这类方法在环境变化强烈的时候检测效果不理想。近年来，利用Faster-RCNN，SSD，YOLO来检测车牌，效果不错，可以轻微适应环境变化和车牌不全等问题，但是时间消耗、计算能力和设备存储消耗非常高。而最近公开了《CN106709486A-基于深度卷积神经网络的自动车牌识别方法》，主要采用常规卷积神经网络提取特征，并使用滑动窗口法定位车牌。过深的卷积神经网络会导致过大网络参数，降低模型速度，滑动窗口法会产生大量待预测候选框，极大的影响了模型速度。
技术实现思路
本专利技术提供了一种基于深度卷积神经网络的实时车牌检测方法，采用端到端的非级联结构，不仅能更好的兼具时间和性能两个优势，而且对光照等环境变化有更好的适应性，有效地提高了车牌检测的鲁棒性和网络的泛化能力，极大地降低了车牌检测的误检和漏检，并且在复杂场景下达到实时检测效果。本专利技术提供了一种基于深度卷积神经网络的实时车牌检测方法，所述方法包括：S1，获取路面监控图像，从所述路面监控图像中选出多张符合要求的目标图像，对所述目标图像中的车牌的位置进行标记，得到标记了车牌位置的已标记图像，将所述已标记图像按照按预设比例划分为训练集、测试集及验证集；S2，对标记后的车牌进行数据增强；S3，构建深度卷积神经网络结构，所述深度卷积神经网络结构包括一个主干及一个特征提取支路，所述主干及特征提取支路共计含有13个卷积层和4个池化层；S4，将数据增强处理后的训练集放入深度卷积神经网络结构中进行训练，结合Adam优化整个改进的SSD模型的损失函数，训练后使用验证集检验改进的SSD模型的速度与准确率；S5，向训练后的所述深度卷积神经网络结构中输入一张车牌图像并进行网络计算，输出n*1*4的矩阵和n*1*2的矩阵，所述输出n*1*4的矩阵和n*1*2的矩阵通过非极大值抑制，得到最终的预测结果。可选地，所述训练集、所述测试集和所述验证集的预设比例为：50％：40％：10％。可选地，所述数据增强方法包括：S21，颜色的数据增强，包括饱和度、亮度、曝光度、色调和对比度；S22，尺度变换，将每一轮送入改进的SSD模型进行训练的图片尺寸随机更改成32倍整倍数大小；S23，角度变换，图片每次随机旋转0～10度或者水平翻转或者垂直翻转；S24，随机噪声干扰，在原来的图片的基础上，随机叠加一些高斯噪声；S25，随机模糊干扰，在原来的图片的基础上，减少各像素值的差异实现图片模糊，实现像素的平滑化。可选地，所述将数据增强处理后放入深度卷积神经网络结构中进行训练的过程，包括：将输入图片resize到300*300，相当于输入维度为b*3*300*300的矩阵，b为batch_size，b*3*300*300的矩阵经过基础网络VggNet进行部分计算，记录结果为x；x经过basicRFB_s处理，记录结果为s；x经过basicRFB，记录结果为x1；x1经过basicRFB，记录结果为x2；x2经过basicRFB，记录结果为x3；x3经过两个basiConv，记录结果为x4；x4经过两个basicConv，记录结果为x5。可选地，所述将数据增强处理后放入深度卷积神经网络结构中进行训练的过程还包括：所述s，所述x1，所述x2，所述x3，所述x4，所述x5分别经过loc_layer得到六个向量，并对每个向量做cat操作，并view为n*1*4的矩阵；所述s，所述x1，所述x2，所述x3，所述x4，所述x5分别经过conf_layer得到六个向量，并向每个向量做cat操作，并view为n*1*2的矩阵。可选地，所述损失函数为：本专利技术与现有技术相比，具有的有益效果为：本专利技术提供了一种基于深度卷积神经网络的实时车牌检测方法，采用端到端的非级联结构，不仅能更好的兼具时间和性能两个优势，而且对光照等环境变化有更好的适应性，有效地提高了车牌检测的鲁棒性和网络的泛化能力，极大地降低了车牌检测的误检和漏检，并且在复杂场景下达到实时检测效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例所提供的一种基于深度卷积神经网络的实时车牌检测方法的流程图。图2为本专利技术实施例所提供的深度卷积神经网络模型结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。实施例：图1本专利技术实施例所提供的一种基于深度卷积神经网络的实时车牌检测方法的流程图，下面将对图1所示的具体流程进行详细阐述：S1，获取路面监控图像，从路面监控图像中选出多张符合要求的目标图像，对目标图像中的车牌的位置进行标记，得到标记了车牌位置的已标记图像，将已标记图像按照按预设比例划分为训练集、测试集及验证集。S2，对标记后的车牌进行数据增强。S3，构建深度卷积神经网络结构，深度卷积神经网络结构为一种端到端的非级联结构，深度卷积神经网络结构包括一个主干及一个特征提取支路，主干及特征提取支路共计含有13个卷积层和4个池化层。S4，将数据增强处理后的训练集放入深度卷积神经网络结构中进行训练，结合Adam优本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的实时车牌检测方法，其特征在于，所述检测方法的步骤包括：/nS1，获取路面监控图像，从所述路面监控图像中选出多张符合要求的目标图像，对所述目标图像中的车牌的位置进行标记，得到标记了车牌位置的已标记图像，将所述已标记图像按照按预设比例划分为训练集、测试集及验证集；/nS2，对标记后的车牌进行数据增强；/nS3，构建深度卷积神经网络结构，所述深度卷积神经网络结构包括一个主干及一个特征提取支路，所述主干及特征提取支路共计含有13个卷积层和4个池化层；/nS4，将数据增强处理后的训练集放入深度卷积神经网络结构中进行训练，结合Adam优化整个改进的SSD模型的损失函数，训练后使用验证集检验改进的SSD模型的速度与准确率；/nS5，向训练后的所述深度卷积神经网络结构中输入一张车牌图像并进行网络计算，输出n*1*4的矩阵和n*1*2的矩阵，对所述输出n*1*4的矩阵和n*1*2的矩阵进行非极大值抑制，得到最终的预测结果。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的实时车牌检测方法，其特征在于，所述检测方法的步骤包括：
S1，获取路面监控图像，从所述路面监控图像中选出多张符合要求的目标图像，对所述目标图像中的车牌的位置进行标记，得到标记了车牌位置的已标记图像，将所述已标记图像按照按预设比例划分为训练集、测试集及验证集；
S2，对标记后的车牌进行数据增强；
S3，构建深度卷积神经网络结构，所述深度卷积神经网络结构包括一个主干及一个特征提取支路，所述主干及特征提取支路共计含有13个卷积层和4个池化层；
S4，将数据增强处理后的训练集放入深度卷积神经网络结构中进行训练，结合Adam优化整个改进的SSD模型的损失函数，训练后使用验证集检验改进的SSD模型的速度与准确率；
S5，向训练后的所述深度卷积神经网络结构中输入一张车牌图像并进行网络计算，输出n*1*4的矩阵和n*1*2的矩阵，对所述输出n*1*4的矩阵和n*1*2的矩阵进行非极大值抑制，得到最终的预测结果。


2.根据权利要求1所述的一种基于深度卷积神经网络的实时车牌检测方法，其特征在于，所述训练集、所述测试集和所述验证集的预设比例为：50％：40％：10％。


3.根据权利要求1所述的一种基于深度卷积神经网络的实时车牌检测方法，其特征在于，所述数据增强方法包括：
S21，颜色的数据增强，包括饱和度、亮度、曝光度、色调和对比度；
S22，尺度变换，将每一轮送入改进的SSD模型进行训练的图片尺寸随机更改成32倍整倍数大小；
S23，角度变换，图片每次随机旋转0～10度或者水平翻转或者垂直翻转；
S24，随机噪声干扰...

【专利技术属性】
技术研发人员：张裕星，殷光强，候少麒，刘春辉，刘学婷，李慧萍，李超，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51