一种复杂场景车牌检测方法技术

本发明专利技术属于车牌检测技术领域，涉及一种复杂场景车牌检测方法，先基于深度学习网络生成多尺度特征，在多尺度特征中嵌入语义特征从而极大的缩小问题域，利用多尺度特征弥补语义特征对于细节信息的缺失，为充分糅合语义特征与细节特征之间的互补优势，提出了语义特征与多尺度特征关系建模网络，通过图卷积网络GCN建模二者之间的特征关系，提升了复杂场景下车牌检测的精度，同时针对车牌检测网络采用单一分支优化难的问题，将车牌检测网络拆解为双流网络，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测，在CCPD数据集中精度达到97.9%。在CCPD数据集中精度达到97.9%。在CCPD数据集中精度达到97.9%。

【技术实现步骤摘要】
一种复杂场景车牌检测方法


[0001]本专利技术属于车牌检测
，涉及一种复杂场景车牌检测方法，尤其涉及一种基于语义特征引导的多尺度关系建模的复杂场景车牌检测方法。

技术介绍

[0002]随着社会的快速发展，在各行各业，机器以及代替人类从事各项活动，尤其是人工智能的出现，为机器提供了智能化的基础，尤其是智能交通领域的车牌检测，已经基本上代替人类，然而，在复杂场景下的车牌检测方面仍然存在精度不高的问题。
[0003]传统的车牌检测方法往往基于手工设计特征采集的方式对车牌检测，因为提取特征的能力有限，其精度没有较大提升。随着车牌检测大规模数据集的提出，基于数据驱动的深度学习方式逐渐成为主流，尤其是基于深度学习的物体检测领域，如，Faster rcnn，yolo等。虽然一些方法尝试将物体检测的算法迁入到车牌检测领域来提升车牌检测精度，取得了非常好的效果，但是，其算法并不是针对车牌检测问题设计，尤其是在困难场景下的车牌检测往往效果差强人意。
[0004]由于车牌拍摄条件的复杂性，导致拍摄的车牌图片并不是理想，现有基于深度学习的方式通过融合不同尺度的特征达到检测不同大小车牌的目的，然而，其融合的方式并不能充分发挥车牌检测尺度的优势，尤其是针对复杂场景下的车牌检测，如车牌倾斜、低对比度、雨雪天气等，导致检测精度低。现有方法针对这种困难场景下的车牌检测方法，往往通过在网络中嵌入针对特定问题的处理模块，从而提升车牌检测的精度，针对车牌形变问题引入变形卷积，针对低对比度问题引入图像增强算法，这种方式仅仅在一种困难场景下起作用，在新的困难场景下，仍然存在精度低的问题。
[0005]由此可见，针对不同场景下的车牌检测技术，亟需一种新的车牌检测方法，提升不同场景下车牌检测的精度。

技术实现思路

[0006]本专利技术的目的在于克服现有技术存在的缺点，设计提出一种复杂场景车牌检测方法，解决传统车牌检测方法对于多尺度特征蕴含的深层信息挖掘不充分、问题域大的问题，提高复杂场景下车牌检测的鲁棒性。
[0007]为实现上述目的，本专利技术具体包括如下步骤：（1）构建车牌检测数据集采用复杂场景下的车牌图像构建车牌检测数据集，并对车牌图像进行标注，将车牌检测数据集划分为训练集、验证集和测试集；（2）多尺度特征提取将车牌图像依次经过归一化和去均值预处理后输入到深度学习Backbone网络，将深度学习Backbone网络不同层的侧输出Conv_0、Conv_1、Conv_2、Conv_3和Conv_4作为不同尺度特征；
（3）语义特征粗定位在深度学习Backbone网络的语义分支最后一层引入不同膨胀因子的膨胀卷积以及类别分支和回归分支，并计算与水平矩形框之间的位置敏感loss_1；（4）多尺度特征自适应融合将深度学习Backbone网络不同层的侧输出通过卷积层以及下采样层和上采样层转变为统一大小的多尺度特征层；（5）语义特征引导多尺度特征增强将多尺度特征层输入语义引导的特征增强模块进行多尺度特征增强；（6）基于图结构的车牌区域细化将步骤（5）增强后的多尺度特征输入图卷积网络，基于图结构对车牌区域细化，在精细化分支输出层后引入类别分支和回归分支，并计算与畸变框之间的精细化loss_2；（7）训练网络使用步骤（1）训练集作为网络的拟合数据，将批量车牌检测图像数据输入到网络中，语义分支的输出结果为车牌类别置信度和回归坐标位置；精细化分支的输出结果为车牌类别置信度和回归坐标位置，采用FocalLoss计算车牌Class 损失，Smooth L1 Loss计算车牌位置误差；经过设定56次完整训练集训练迭代后，保存精度最高的模型参数；（8）测试网络使用步骤（1）测试集作为网络的拟合数据，以长宽比例为基准将车牌图像填充后将批量车牌检测图像数据输入网络中，并加载步骤（7）训练好的模型参数，网络输出车牌类别置信度和回归坐标位置，设置阈值过滤掉低置信度的车牌，最后使用非极大抑制删除网络输出的冗余的框，实现复杂场景车牌检测。
[0008]作为本专利技术的进一步技术方案，步骤（1）对车牌图像标注的内容包含车牌的四个顶点位置坐标，对车牌图像标注采用倾斜矩形框坐标和水平矩形框坐标两种标注。
[0009]作为本专利技术的进一步技术方案，步骤（4）所述卷积层的卷积核为，得到的特征层为： ，其中为卷积操作，为上采样或下采样操作，为深度学习Backbone网络不同层的侧输出。
[0010]作为本专利技术的进一步技术方案，步骤（5）所述语义引导的特征增强模块为：，其中为经过膨胀卷积后的特征，T代表转置操作，代表矩阵点乘法，代表矩阵叉乘。
[0011]作为本专利技术的进一步技术方案，步骤（6）的具体过程为：先构建图卷积网络的节点（i，j）之间的相似性度量为：，再构建网络图：
其中，i和j分别为中层特征的索引。
[0012]与现有技术相比，本专利技术先基于深度学习网络生成多尺度特征，在多尺度特征中嵌入语义特征从而极大的缩小问题域，利用多尺度特征弥补语义特征对于细节信息的缺失，在语义特征引导的基础上，为充分糅合语义特征与细节特征之间的互补优势，提出了语义特征与多尺度特征关系建模网络，通过图卷积网络（GCN）建模二者之间的特征关系，凭借GCN对于非规则物体的建模的优势，极大的提升了复杂场景下车牌检测的精度，同时针对车牌检测网络采用单一分支优化难的问题，将车牌检测网络拆解为双流网络，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测，在CCPD数据集中精度达到97.9%。
附图说明
[0013]图1为本专利技术所述语义引导的特征增强模块结果结构框架示意图。
[0014]图2为本专利技术实现复杂场景车牌检测所采用的整个网络结构图。
[0015]图3为本专利技术实现复杂场景车牌检测的流程框图。
[0016]图4为本专利技术提供的车牌检测结果一，其中（a）为baseline方法，（b）为本专利技术方法。
[0017]图5为本专利技术提供的车牌检测结果二，其中（a）为baseline方法，（b）为本专利技术方法。
[0018]图6为本专利技术提供的车牌检测结果三，其中（a）为baseline方法，（b）为本专利技术方法。
具体实施方式
[0019]下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0020]实施例：本实施例通过主干网络提取不同层侧输出特征作为多尺度特征，而网络最后一层的特征富含高层语义信息，且对位置敏感，能够精确的定位车牌，而底层多尺度信息富含细节信息，辅助车牌精细化检测（如，尺度变化大，低对比度等复杂场景），为充分糅合语义与底层细节之间的互补优势，通过在多尺度信息中引入语义信息能够极大的缩小问题域，同时，多尺度信息能够弥补语义特征对于细节信息的缺失，本实施例在语义引导的多尺度信息融合的基础上，将二者进行关系建模以精细化车牌检测，首先将二者映射到高纬度空间，然后，凭借GCN对于非规则物体的建模的优势，引入图卷积网络（GCN）建模二者之间的特征关系。针本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景车牌检测方法，其特征在于，具体包括如下步骤：（1）构建车牌检测数据集采用复杂场景下的车牌图像构建车牌检测数据集，并对车牌图像进行标注，将车牌检测数据集划分为训练集、验证集和测试集；（2）多尺度特征提取将车牌图像依次经过归一化和去均值预处理后输入到深度学习Backbone网络，将深度学习Backbone网络不同层的侧输出作为不同尺度特征；（3）语义特征粗定位在深度学习Backbone网络的语义分支最后一层引入不同膨胀因子的膨胀卷积以及类别分支和回归分支，并计算与水平矩形框之间的位置敏感loss_1；（4）多尺度特征自适应融合将深度学习Backbone网络不同层的侧输出通过卷积层以及下采样层和上采样层转变为统一大小的多尺度特征层；（5）语义特征引导多尺度特征增强将多尺度特征层输入语义引导的特征增强模块进行多尺度特征增强；（6）基于图结构的车牌区域细化将步骤（5）增强后的多尺度特征输入图卷积网络，基于图结构对车牌区域细化，在精细化分支输出层后引入类别分支和回归分支，并计算与畸变框之间的精细化loss_2；（7）训练网络使用步骤（1）训练集作为网络的拟合数据，将批量车牌检测图像数据输入到网络中，语义分支的输出结果为车牌类别置信度和回归坐标位置；精细化分支的输出结果为车牌类别置信度和回归坐标位置，采用FocalLoss计算车牌C...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，董玉超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：