一种整体与部件目标检测相结合的非约束车牌精准定位方法技术

一种整体与部件目标检测相结合的非约束车牌精准定位方法，首先利用YOLOv3算法同步检测以车牌顶点为中心的4类左上、右上、右下、左下顶点目标区域和车牌区域，然后通过定位车牌顶点区域间接实现对车牌顶点位置的预测，并结合忽略类别的非极大值抑制算法CF_NMS、顶点区域归类、单一缺失顶点预测的后处理操作获取准确的车牌区域。最后，为进一步提升整体与部件目标检测相结合的车牌定位算法的性能，将多模型融合、粗定位与精定位结合等策略融入定位算法中，并经过实验验证了策略的有效性。本发明专利技术设计的整体与部件目标检测相结合的车牌定位算法，在不改变YOLOv3模型结构，同时不增加额外计算量的基础上实现了车牌顶点目标的检测，实现车牌精准定位。实现车牌精准定位。实现车牌精准定位。

【技术实现步骤摘要】
一种整体与部件目标检测相结合的非约束车牌精准定位方法


[0001]本专利技术涉及图像处理
，具体涉及一种整体与部件目标检测相结合的非约束车 牌精准定位方法。

技术介绍

[0002]近年来，在高速收费站、停车场、小区出入口等固定场景下的车牌识别系统已经实现 了成熟的商业应用，但在手机等各种移动设备拍摄的复杂车牌图像上的效果还有待提升。 精准的车牌检测方法是正确识别车牌的前提，现有车牌检测方法采用矩形框对车牌进行标 注，如图1(a)所示，常会引入大量背景冗余区域，对车牌号识别造成困难。如图1(b) 所示，对非理想环境下的车牌进行精准选取，能够有效提高后续车牌号识别的准确率，在 非理想环境下的车牌识别问题中是最为关键的一步。现有的车牌检测方法主要分为两类， 一类是基于图像处理的传统方法，一类是基于深度学习的方法。
[0003]基于图像处理的传统方法通常利用人工设定的图像边缘、颜色、纹理等信息对车牌进 行检测。文献[1]但斌斌,梅文浩,伍世虔等.畸变车牌定位与矫正方法研究[J].制造业自动 化,2019,41(3):7
‑
11记载的霍夫变换方法，通过检测图像中的直线，找到车牌的四条边，然 后利用四边交点获取车牌顶点实现车牌精准定位。但该方法在图片较小和边缘模糊的情况 下，检测效果较差。
[0004]文献[2]陈宏照,谢正光,卢海伦.颜色与边缘纹理相结合的车牌定位方法[J].电脑硬件：现 代电子技术,2018,41(21):67
‑
70.记载的颜色特征方法，利用车牌大多为蓝底、黄底的特点， 根据车牌背景和字符固定颜色搭配，分割出车牌区域，然后利用数学形态学方法获取准确 的车牌区域。但在车牌反光情况下，或者是图片中出现类似于车牌的交通标识牌情况下， 易出现错检现象。
[0005]文献[3]郑贵林,吴黄子桑.基于MSER与边缘投影的车牌定位算法[J].计算机工程与设 计,2019,40(1):241
‑
244记载的基于MSER方法，将图片转化为灰度图，利用连通域分析获 取车牌位置，但若图中极值区域太多，定位的车牌区域会出现大量冗余区域。
[0006]从当前研究状况来看，基于传统图像处理方法存在以下局限性：
①
、人为设定的特征 比较单一，在应对非约束场景时很难在各种情况都实现较好的效果。
②
、对于车牌较小、 模糊、倾斜程度大的场景，传统方法很难处理。
③
、当场景中出现与车牌十分类似的交通 牌、广告牌等区域时，传统方法很容易受到干扰出现错检。
[0007]深度卷积神经网络(DCNN)近几年高速发展，其强大的多层次特征提取能力被广泛 应用于目标检测领域，现有的基于深度学习的车牌检测方法按照检测步骤可分为单阶段方 法和多阶段方法。单阶段方法是指通过一个网络模型直接预测车牌区域。
[0008]文献[4]Tian Y,Lu X,Li W X.License plate detection and localization in complex scenesbased on deep learning[A].2018 Chinese Control and Decision Conference(CCDC)[A].LosAlamitos:IEEE Computer Society Press,2018:6569
‑
6574.利用滑动窗口策略结合选择性搜索 算法获取车牌候选区域，最后使用支持向量机对候选
区域进行分类，从而确定车牌区域。 但当旋转角度大或车牌与相机距离较远等情况下，其定位效果还有待提升。
[0009]文献[5]Xu Z B,Yang W,Meng A J,et al.Towards end
‑
to
‑
end license plate detection andrecognition:A large dataset and baseline[A].European conference on computer vision[C]. Heidelberg:Springer,2018:261
‑
277.提出了一种用于车牌检测与识别的端到端网络RPNet， 该网络同时完成车牌定位与识别两个任务。为验证网络性能，作者构建了多场景下拍摄的 中国城市停车数据集(CCPD)，效果优于一些常见的目标检测网络。
[0010]文献[6]Xie L L,Ahmad T,Jin L W,et al.A new CNN
‑
based method for multi
‑
directionalcar license plate detection[J].IEEE Transactions on Intelligent Transportation Systems,2018, 19(2):507
‑
517.提出了一个基于CNN的多方向车牌检测框架，利用旋转角度预测机制确定 车牌的精确旋转矩形区域，该方法在检测精度和计算复杂度上均具有优势，但只适合处理 平面内的旋转问题，对于三维空间内的倾斜车牌仍然无法精确定位。
[0011]文献[7]中国专利“申请号：202010225652.0”设计了一种复杂环境下基于图像增强的 深度神经网络车牌定位方法，建立了一个全卷积神经网络作为车牌检测网络，然后对各种 复杂环境下如凌晨、黄昏、有雾等模糊图像下的车牌进行图像增强，提高了整个模型的车 牌检测准确率。但该方法只是对模糊车牌的粗定位有一定帮助，并没有解决倾斜车牌的精 准定位问题。
[0012]多阶段方法是通过多个网络模型对车牌进行定位，即先确定车牌候选区域，再在该区 域内定位车牌。文献[8]He K M,Gkioxari G,Doll
á
r P,et al.Mask R
‑
CNN[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2020,42(2):386
‑
397.提出一种基于 Mask
‑
RCNN结构的多阶段车牌检测方法，首先利用与GoogLeNet相似的卷积模块提取图 像特征，该模块在保证计算速度的同时提升了对细粒度特征检测能力；然后将提取到的特 征图输入到不包含分割步骤的Mask
‑
RCNN网络中，获取图像中的车牌候选区域，为适应 车牌检测，根据车牌尺寸大小及长宽比例，设置了12组anchor，该网络利用全连接层输出 两个分支的信息，即车牌和非车牌分类和边界框回归；最后过滤车牌和非车牌区域，使用 Mask
‑
RCNN中的RoI
‑
Align层，并将池化层大小设置为8
×
7，尽可能降低车牌误检情况。 该方法在多个公共车牌数据集上均达到了较高的检测精度，但对于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种整体与部件目标检测相结合的非约束车牌精准定位方法，其特征在于：通过YOLOv3目标检测算法，同步检测以车牌顶点为中心的目标区域和整体车牌区域；通过定位车牌顶点区域间接实现对车牌顶点位置的预测；然后结合忽略类别的非极大值抑制算法CF_NMS、车牌顶点区域归类以及单一缺失顶点预测等后处理操作，实现车牌区域精准定位；对于无法精准定位的车牌，直接保留其外接矩形区域。2.一种整体与部件目标检测相结合的非约束车牌精准定位方法，其特征在于包括以下步骤：步骤1：利用YOLOv3目标检测算法模型，对车牌顶点区域及整体车牌区域进行同步检测；步骤2：使用CF_NMS、车牌顶点区域归类及单一缺失顶点预测，对模型检测结果进行处理，从而得到精准的车牌区域。3.根据权利要求2所述一种整体与部件目标检测相结合的非约束车牌精准定位方法，其特征在于：该方法还包括融入多模型定位结果的融合策略，具体步骤如下：步骤1)：将两种具有不同输入尺寸的YOLOv3目标检测模型所检测到的车牌顶点区域目标边界框信息保留到集合D中，所有的目标边界框只包含矩形框的中心点、宽高和类别信息，在进行模型输出结果融合时，将所有车牌顶点区域视为同一类目标进行处理；步骤2)：建立空集合B，由于此时不存在置信度信息，因此随机取出集合D中的一个车牌顶点区域边界框将其放入集合B，将集合D中其余顶点区域边界框与其求IoU，如公式(1)，将IoU>0.45的顶点区域边界框信息从集合D中删除；步骤3)：重复步骤2)，直至集合D中包含的顶点区域个数为零，则最终得到的集合B中所有的顶点区域边界框，即为顶点区域融合的结果；步骤4)按照相同的方式，对两种具有不同输入尺寸的YOLOv3目标检测模型所检测到的车牌区域检测框进行融合，保留最终得到的车牌顶点区域及车牌区域融合结果。4.根据权利要求2所述一种整体与部件目标检测相结合的非约束车牌精准定位方法，其特征在于：所述步骤1中，采用自适应方式设定车牌4个顶点目标区域尺寸：A、B、C、D分别为车牌右下顶点、左下顶点、左上顶点、右上顶点，4个正方形框分别为4个顶点对应的车牌顶点目标区域；车牌顶点目标区域的边长与车牌大小相关，左上顶点C与左下顶点B对应的正方形区域边长相同，长度为2h
left
，右上顶点D与右下顶点A对应的区域边长相同，长度为2h
right
，其中：h
left
、h
right
分别为BC、AD的高度之差，使用上述方式将4张车牌的4个顶点区域截取出来，车牌的每一类顶点区域具有相似性，其包含车牌的区域皆位于同一直角方位，其余方位均为背景信息；最后将车牌外接矩形区域也作为一类，和车牌顶点区域共同作为模型训练的目标区域。5.根据权利要求2所述一种整体与部件目标检测相结合的非约束车牌精准定位方法，其特征在于：所述步骤2中，忽略类别的非极...

【专利技术属性】
技术研发人员：徐光柱，刘高飞，匡婉，万秋波，刘鸣，雷帮军，石勇涛，
申请(专利权)人：三峡大学，
类型：发明
国别省市：