一种面向数据不均匀场景的轻量化端到端车牌识别方法技术

本发明专利技术公开一种面向数据不均匀场景的轻量化端到端车牌识别方法，属于计算机视觉识别技术领域。本发明专利技术包括以下步骤：数据增强：加入假车牌生成系统，利用符合外国车牌规则的假车牌进行预训练；车牌定位：利用基于提出的跨域空洞卷积网络的检测网络对车牌进行定位，获得含有最少背景的完整车牌图片；车牌矫正：利用透视投影变换算法矫正车牌图片所在坐标系矫正基准向量，将矫正后车牌送入到识别网络；车牌识别：使用ResNet18对图像进行特征提取，送入Transformer后进行车牌字符进行识别。本发明专利技术与现有技术相比，主要解决了车牌识别算法对较小车牌进行检测时准确度不够高，检测算法速度较慢，在训练数据量不足的情况下训练效果不够好的问题。够好的问题。够好的问题。

【技术实现步骤摘要】
一种面向数据不均匀场景的轻量化端到端车牌识别方法


[0001]本专利技术涉及一种面向数据不均匀场景的轻量化端到端车牌识别方法，属于计算机视觉识别


技术介绍

[0002]车牌识别是计算机图像视频识别技术在车辆监控、识别中的一种应用；随着社会的迅速发展，城市交通事业的发展也逐渐步入快节奏，车辆监控和车辆自动识别成为研究者们的重点研究问题，其中车牌识别技术成为智能交通领域中最重要的部分之一；同时，在经济全球化飞速发展的今天，外籍入境车辆管理也成为国家相关部门重点关注问题，外籍车辆车牌不规范、用于训练的数据集不足等问题严重阻碍外籍车辆自动化管理系统的建设；车牌号的识别为当今社会交通带来了很大的便利。当前，在人工智能的发展下，尤其是基于轻量化网络、TensorFlow框架等技术的高速发展与升级，便捷地搭建轻量化、高精度深度神经网络成为可能，这为快速部署神经网络识别算法提供了强有力的支持。
[0003]现有的车牌识别算法对较小车牌进行检测时准确度不够高，检测算法速度较慢，在训练数据量不足的情况下训练效果不够好，因此需要一种车辆车牌识别算法对上述问题进行改善。

技术实现思路

[0004]本专利技术提供了一种面向数据不均匀场景的轻量化端到端车牌识别方法，以用于解决上述
技术介绍
中提出的问题，具体步骤如下：Step1: 数据增强，以车牌底面、字符规则为模板，通过程序随机生成大量的伪车牌输入网络模型进行预训练，以提高真实数据输入后的训练效果。
[0005]Step2：车牌检测，利用跨域空洞卷积网络的检测网络对车牌进行定位，获得含有最少背景的完整车牌图片。
[0006]本专利技术所述跨域空洞卷积网络为：首先，引用ConvNext Block并对ConvNext Block进行轻量化改进；然后，由深度卷积和最大池化组成的下采样方法，最后，提出跨域空洞卷积残差模块，上述三个部分构成跨域空洞卷积网络。
[0007]所述Step2使用提出的跨域空洞卷积网络进行车牌定位的具体步骤如下：Step2.1：使用SConvNext（Small ConvNext）作为主要特征提取模块，对ConvNext结构进行修改，将7
×
7的深度卷积替换成5
×
5的深度卷积，同时将通道扩充从4倍减小到3倍，将ConvNext中的层归一化替换为批归一化，并将GELU激活函数替换为SiLU激活函数；从而降低网络模型的计算量和参数量，提高总体识别速度。
[0008]为更好适配整个检测网络，将ConvNext中的层归一化替换为批归一化，并将GELU激活函数替换为SiLU激活函数。
[0009]Step2.2：将特征图进行深度卷积，然后采用最大池化的通道拼接方法进行下采样，该下采样方法在减少计算量N的同时也保留了重要的特征信息；
；其中，M表示输入通道的数量，表示卷积核的大小。
[0010]Step2.3：考虑到轻量化后网络的检测性能会下降，需要增强网络的学习能力，才能保证车牌检测的准确度；在检测网络的CSP结构中增加一条具有空洞卷积残差边，增加特征提取的感受野；首先经过标准卷积将通道数压缩为最终通道数的1/4，然后经过两个深度可分离卷积进行特征提取，深度可分离卷积包括深度卷积和逐点卷积；第二个深度可分离卷积加入了空洞率为3的空洞深度卷积，等同于7
×
7卷积的感受野，作为扩充感受野的分支；最后将3个分支用Concat通道拼接进行特征融合。
[0011]Step3：车牌矫正，采用透视投影变换算法矫正车牌图片所在坐标系的基准向量。
[0012]Step4：车牌识别，利用ResNet与改进后的Transformer网络进行车牌字符识别，完成车牌图片到车牌字符序列的端到端识别。
[0013]所述Step3车牌矫正的具体步骤如下：Step3.1：首先进行三维空间坐标变换，定义单位向量、任意向量，将绕向量旋转角度，根据罗德里格斯公式得到旋转后的向量为：；将表示为矩阵乘积，令K为：；所以， 为：；Step3.2：计算图片中每个像素在矫正后坐标系中的坐标，设置图像关键点，一旦关键点构成的几何形状满足要求，则结束透视投影变换。
[0014]优选的，上述步骤采用遗传算法求解角最优值，包含的定义编码方式，确定适应度函数，选择操作，交叉，变异五个部分，其中，前三个部分可以按所需情况自行设计，后两个步骤为常规方法。
[0015]本专利技术所述方法采用二进制编码方式，在确定标记点后，适应度函数公式转化为斜率K值之间的关系，本专利技术将车牌的四个顶点设为标记点，设置适应度函数公式为、，在迭代计算中求得函数最值进而得到最优解。
[0016]本专利技术所述方法在进行选择操作时，本专利技术采用轮盘赌法，即做不等概率有放回抽样；将个体的适应度值做归一化计算，归一化公式为：；其中，x是遗传算法中种群的个体，f是适应度值；然后进行有放回的抽样，直到抽样规模达到种群的规模时停止，种群中每个个体被选中的概率由其适应度决定。
[0017]所述步骤Step4车牌识别的具体步骤如下：首先使用ResNet18对车牌图片进行特征提取，之后把提取出的特征送入Transformer进行车牌字符序列的识别，从而实现从车牌
图片到车牌序列的端到端识别；考虑到车牌文本没有明显规律，只在Transformer网络的解码器中保留了context
‑
attention，移除了self
‑
attention，减少网络计算量。
[0018]本专利技术的有益效果是：解决了训练数据不平衡问题，即部分类别数据量过少问题；在保证模型精度的前提下减小了网络计算量，提高了检测速度；在进行字符识别前矫正图片，提高字符识别精确度；使用端到端的方法进行字符识别，减少了字符标注的复杂度；对较小车牌进行检测时准确度高，在训练数据量不足的情况下保证训练效果，在加快识别速度的同时增加了车牌检测精度。
附图说明
[0019]图1是本专利技术总流程图；图2是假车牌系统生成示例图；图3是车牌检测算法网络结构图。
实施方式
[0020]下面结合附图和具体实施例对本专利技术作进一步详细说明，但本专利技术的保护范围并不限于所述内容。
实施例
[0021]如附图1所示，一种面向数据不均匀场景的轻量化端到端车牌识别方法，所述方法的具体步骤如下：Step1: 数据增强，以车牌底面、字符规则为模板，通过程序随机生成大量的伪车牌输入网络模型进行预训练，以提高真实数据输入后的训练效果；Step2：车牌检测，利用跨域空洞卷积网络的检测网络对车牌进行定位，获得含有最少背景的完整车牌图片；所述跨域空洞卷积网络的检测网络对车牌进行定位的具体步骤如下：Step2.1：使用SConvNext（Small ConvNext）作为主要特征提取模块，对ConvNext结构进行修改，将7
×
7的深度卷积替换成5
×
5的深度卷积，同时将通道扩充从4倍减小到3倍，从而降低网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向数据不均匀场景的轻量化端到端车牌识别方法，其特征在于，具体步骤如下：Step1: 数据增强，以车牌底面、字符规则为模板，通过程序随机生成大量的伪车牌输入网络模型进行预训练；Step2：车牌检测，利用跨域空洞卷积网络的检测网络对车牌进行定位，获得含有最少背景的完整车牌图片；Step3：车牌矫正，采用透视投影变换算法矫正车牌图片所在坐标系的基准向量；Step4：车牌识别，利用ResNet与改进后的Transformer网络进行车牌字符识别，完成车牌图片到车牌字符序列的端到端识别。2.根据权利要求1所述的一种面向数据不均匀场景的轻量化端到端车牌识别方法，其特征在于：所述步骤Step2车牌检测的具体步骤如下：Step2.1：使用SConvNext作为主要特征提取模块，对ConvNext结构进行修改，将7
×
7的深度卷积替换成5
×
5的深度卷积，同时将通道扩充从4倍减小到3倍，将ConvNext中的层归一化替换为批归一化，并将GELU激活函数替换为SiLU激活函数；Step2.2：将特征图进行深度卷积，然后采用最大池化的通道拼接方法进行下采样，该下采样方法在减少计算量N的同时也保留了重要的特征信息；；其中，M表示输入通道的数量，表示卷积核的大小；Step2.3：在检测网络的CSP结构中增加一条具有空洞卷积残差边，增加特征提取的感受野；首先经过标准卷积将通道数压缩为最终通道数的1/4，然后经过两个深度可分离卷积进行特征提取，第二个深度可分离卷积加入了空洞率为3的空洞深度卷积，等同于7
×
7卷积的感受野，作为扩充感受野的分支；最后将3个分支用Concat通道拼接进行特征融合。3.根据权利要求1所述的面向数据不均匀场景的轻量化端到端车...

【专利技术属性】
技术研发人员：王青旺，宋昊宸，沈韬，曾凯，汪志锋，陶智敏，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：