一种车牌过曝及有无牌车识别的方法、设备及计算机存储介质技术

本发明专利技术属于车牌识别技术领域，具体涉及一种车牌过曝及有无车牌识别的方法，利用共享的权值特征，同时进行车辆图像的是否过曝识别和有无车牌识别，然后融合两个分类任务的结果，得到模型识别的四种情况，分别是：不过曝有牌车、不过曝无牌车、过曝有牌车和过曝无牌车。其中真正的无牌车类别标签为“不过曝无牌车”，其余都归类为有牌车，从而降低车牌识别系统在夜间对“过曝有牌车”的误识别。本发明专利技术可在降低“过曝有牌车”误识别的前提下提高无牌车识别精确度，并且保证无牌车识别的召回率。

【技术实现步骤摘要】
一种车牌过曝及有无牌车识别的方法、设备及计算机存储介质
本专利技术属于车牌识别
，具体涉及一种车牌过曝及有无车牌识别的方法、设备及计算机存储介质。
技术介绍
在夜间卡口过车检测场景下，摄像头需要采集过往车辆信息进行识别，由于夜间环境黑暗，通常会使用闪光灯进行拍摄补光，但车辆尤其车牌区域对强光的漫反射，会导致采集到的图像车牌区域过曝，丢失车牌原本的特征，现有的车牌识别系统会因为检测不到车牌区域，或者无法识别车牌特征而误识别该车为无牌车。本专利技术针对此问题，开发一个高精度的夜间无牌车识别算法，旨在降低夜间车牌识别系统对无牌车的误检率。目前并没有有效的针对夜间无牌车识别方法，无牌车的识别作为车牌识别的一种负样本，依托于鲁棒性足够强的车牌识别系统中进行甄别，例如车牌区域固有的颜色、纹理、字符和形状等特征可被图像处理算法识别，从而判定为有牌车，对于无牌车则不存在上述特征，因此当图像处理算法无法检测到特征时，则判定为无牌车，这种方案在图像质量好，车牌特征明显时对有无牌车分类效果好，但是在夜间图像质量差，车牌区域过曝的条件下，无法有效区分有无牌车。基于传统的图像处理方法的车牌识别，例如：公开号为“CN201710549177.0”的专利技术专利，提出了一种基于改进的OSTU算法的夜间车牌二值化的方法，主要采用改进的阈值自适应微调的OSTU算法来进行二值化，根据图像平均灰度值对传统方法得出的阈值进行微调，并把该方法运用到夜间车牌的二值化阶段。该方法针对夜间环境光变化大的特点，改进OSTU算法进行车牌特征的检测，要求车牌区域特征明确，因此过曝、边缘特征、字符特征不明显的有牌车容易被误识别为无牌车。论文《用于卡口系统的车牌遮挡检测方法》中提出一种基于多特征和SVM训练结合的字符识别方法，使用该方法得到的字符识别置信度可以有效区分遮挡字符和正常字符。该方案要求车牌区域应具有字符特征，在夜间有牌车的车牌区域过曝情况下，字符特征很难被检测到，也容易识别为无牌车。基于深度学习方法的，通常利用目标检测手段定位车牌区域，例如：公开号为“CN201410831421.9”的专利技术专利，提出从视频中检测车辆目标，定位车辆目标的矩形车身区域，在所述的矩形区域中检测车牌，若未检测到车牌，则相应的车辆目标为无牌车目标。该方法主要利用目标检测定位车身位置，然后进一步对车身区域识别车牌，对于车牌特征不明显的夜间车辆图像，容易被误识别为无牌车。现有的车牌识别系统，绝大多数只对有牌车的检测与识别进行设计，没有针对无牌车识别或车牌质量进行判断，在白天光线充足或关照稳定的环境中无牌车识别效果不错，但在夜间卡口过车检测场景中，因为闪光灯或过往车辆灯光照射导致的车牌区域过曝，丢失大部分车牌颜色、车牌字符和车牌边缘等特征，现有的车牌识别系统很容易把车牌区域过曝的有牌车误判为无牌车，从而导致误检率大增。
技术实现思路
针对现有的卡口车牌识别系统夜间会对过曝的有牌车误识别为无牌车的问题，本专利技术设计了一种车牌过曝及有无车牌识别的方法。融合两个任务结果进行最终无牌车识别，从而提高无牌车识别准确率。本专利技术通过以下技术方案实现：一种车牌过曝及有无牌车识别的方法，其包括步骤：S1：数据集建立，所述数据集包括训练集和测试集，输入样本图像；S2：图像预处理；S3：网络模型训练，包括数据输入层、隐藏层、第一全连接层、第二全连接层、第一输出层、第二输出层和图像标签处理；其中，所述多任务卷积神经网络模型包括1个数据输入层input，7个卷积层，分别为conv1～conv7，3个批量归一化层norm1～norm3，4个池化层pool1～pool4和5个全连接层fc8、fc9_1、fc9_2、fc10_1、fc10_2；S3.1所述的数据输入层Input，用于输入预处理后的图像，控制图像输入尺寸和批量大小；S3.2：所述的隐藏层是多任务卷积神经网络的权值共享层，用于提供图像权值特征的共享；S3.3：所述的第一全连接层和第一输出层执行过曝分类任务部分，其中第一输出层输出的是Softmax计算的概率分布，分类0表示不过曝，分类置信度prob1_0；分类1为过曝，分类置信度prob1_1；S3.4：所述的第二全连接层和第二输出层执行有无牌车分类任务部分，其中第二输出层输出的是Softmax计算的概率分布，分类0表示无牌车，分类置信度prob2_0；分类1为有牌车，分类置信度prob2_1；S3.5：所述的图像标签处理，对数据集建立图像的多属性标签，对所述的多属性标签进行切片并转换成独热码形式；S3.6：在网络模型训练阶段，先对传入的数据进行前向计算，然后采用反向梯度传播对隐藏层和第一、第二全连接层的权值进行更新；S4：网络模型完成训练后，进行离线识别，对样本图像再次进行前向计算，由两个分类任务识别出最终类别与分类置信度。进一步地，在步骤S2中，所述图像预处理，包括步骤：S2.1：对上述样本图像进行了随机裁剪、0～5°的旋转和/或增加随机噪声操作；S2.2：根据网络模型输入需求把样本图像压缩为128*128或64*64分辨率。进一步地，所述的隐藏层由7个卷积层，分别为conv1～conv7，3个批量归一化层norm1～norm3，4个池化层pool1～pool4和1个全连接层fc8和8个激活函数层relu1～relu8构成。进一步地，所述的第一全连接层由1个全连接层fc9_1，1个激活函数层relu9_1构成，第一输出层为一个二分类全连接层层fc10_1。进一步地，所述的第二全连接层由1个全连接层fc9_2，1个激活函数层relu9_2构成，第二输出层为一个二分类全连接层层fc10_2。进一步地，所述多属性标签，包括“过曝-有牌车”、“过曝-无牌车”、“不过曝-有牌车”、“不过曝-无牌车”四种。进一步地，在步骤S1中，还包括：S1.1：预先经车辆关键点回归模型处理，并输出结果，包括：一张分辨率为64*128的车脸区域图像和一张分辨率为64*128的车牌区域图像。S1.2：将车脸区域图像和车牌区域图像垂直拼接成所述的样本图像，所述的样本图像的分辨率为128*128。进一步地，在步骤S4中，还包括：S4.1：根据步骤S3.5、S3.6多分类任务结果，可组合得到网络模型的四种分类结果，其中最终分类置信度由两个分类任务的联合概率表示：f＝prob_1*prob_2；S4.2：将网络模型识别结果分为两类“有牌车”和“无牌车”，分类为无牌车有两种情况：“不过曝无牌车”的联合概率f大于阈值T或“过曝无牌车”的联合概率f大于阈值T；其余情况都分类为有牌车。一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现车牌过曝及有无车牌识别的方法的步骤。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现车牌过曝及有无车牌识别的方法的步本文档来自技高网...

【技术保护点】
1.一种车牌过曝及有无牌车识别的方法，其特征在于，包括步骤：/nS1：数据集建立，所述数据集包括训练集和测试集，输入样本图像；/nS2：图像预处理；/nS3：网络模型训练，包括数据输入层、隐藏层、第一全连接层、第二全连接层、第一输出层、第二输出层和图像标签处理；其中，所述多任务卷积神经网络模型包括1个数据输入层input，7个卷积层，分别为conv1～conv7，3个批量归一化层norm1～norm3，4个池化层pool1～pool4和5个全连接层fc8、fc9_1、fc9_2、fc10_1、fc10_2；/nS3.1所述的数据输入层Input，用于输入预处理后的图像，控制图像输入尺寸和批量大小；/nS3.2：所述的隐藏层是多任务卷积神经网络的权值共享层，用于提供图像权值特征的共享；/nS3.3：所述的第一全连接层和第一输出层执行过曝分类任务部分，其中第一输出层输出的是Softmax计算的概率分布，分类0表示不过曝，分类置信度prob1_0；分类1为过曝，分类置信度prob1_1；/nS3.4：所述的第二全连接层和第二输出层执行有无牌车分类任务部分，其中第二输出层输出的是Softmax计算的概率分布，分类0表示无牌车，分类置信度prob2_0；分类1为有牌车，分类置信度prob2_1；/nS3.5：所述的图像标签处理，对数据集建立图像的多属性标签，对所述的多属性标签进行切片并转换成独热码形式；/nS3.6：在网络模型训练阶段，先对传入的数据进行前向计算，然后采用反向梯度传播对隐藏层和第一、第二全连接层的权值进行更新；/nS4：网络模型完成训练后，进行离线识别，对样本图像再次进行前向计算，由两个分类任务识别出最终类别与分类置信度。/n...

【技术特征摘要】
1.一种车牌过曝及有无牌车识别的方法，其特征在于，包括步骤：
S1：数据集建立，所述数据集包括训练集和测试集，输入样本图像；
S2：图像预处理；
S3：网络模型训练，包括数据输入层、隐藏层、第一全连接层、第二全连接层、第一输出层、第二输出层和图像标签处理；其中，所述多任务卷积神经网络模型包括1个数据输入层input，7个卷积层，分别为conv1～conv7，3个批量归一化层norm1～norm3，4个池化层pool1～pool4和5个全连接层fc8、fc9_1、fc9_2、fc10_1、fc10_2；
S3.1所述的数据输入层Input，用于输入预处理后的图像，控制图像输入尺寸和批量大小；
S3.2：所述的隐藏层是多任务卷积神经网络的权值共享层，用于提供图像权值特征的共享；
S3.3：所述的第一全连接层和第一输出层执行过曝分类任务部分，其中第一输出层输出的是Softmax计算的概率分布，分类0表示不过曝，分类置信度prob1_0；分类1为过曝，分类置信度prob1_1；
S3.4：所述的第二全连接层和第二输出层执行有无牌车分类任务部分，其中第二输出层输出的是Softmax计算的概率分布，分类0表示无牌车，分类置信度prob2_0；分类1为有牌车，分类置信度prob2_1；
S3.5：所述的图像标签处理，对数据集建立图像的多属性标签，对所述的多属性标签进行切片并转换成独热码形式；
S3.6：在网络模型训练阶段，先对传入的数据进行前向计算，然后采用反向梯度传播对隐藏层和第一、第二全连接层的权值进行更新；
S4：网络模型完成训练后，进行离线识别，对样本图像再次进行前向计算，由两个分类任务识别出最终类别与分类置信度。


2.根据权利要求1所述的一种车牌过曝及有无牌车识别的方法，其特征在于，在步骤S2中，所述图像预处理，包括步骤：
S2.1：对上述样本图像进行了随机裁剪、0～5°的旋转和/或增加随机噪声操作；
S2.2：根据网络模型输入需求把样本图像压缩为128*128或64*64分辨率。


3.根据权利要求1所述的一种车牌过曝及有无牌车识别的方法，其特征在于，所述的隐藏层由7个卷积层，分别为conv1～conv7，3个批量归一化层no...

【专利技术属性】
技术研发人员：麦志恒，贺迪龙，林焕凯，王祥雪，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东;44