一种端到端的车牌矫正及识别方法技术

本发明专利技术公开了一种端到端的车牌矫正及识别方法，属于图像处理技术领域，包括：获取车牌图像，并作为车牌矫正及识别融合模型的输入，所述车牌矫正及识别融合模型包括基干网络、车牌矫正头和车牌字符识别头，车牌矫正头和车牌字符识别头共享基干网络；基干网络对于车牌图像进行多尺度低级及高级特征提取并融合，得到车牌特征图F；车牌矫正头基于车牌特征图F进行车牌矫正，得到矫正车牌；车牌字符识别头基于车牌特征图F，识别出车牌字符。本发明专利技术将车牌矫正和车牌识别步骤融合到一个端到端的深度学习模型中，在简化车牌矫正步骤的同时，提高对困难车牌的识别精度。困难车牌的识别精度。困难车牌的识别精度。

【技术实现步骤摘要】
一种端到端的车牌矫正及识别方法


[0001]本专利技术涉及图像处理
，特别涉及一种端到端的车牌矫正及 识别方法。

技术介绍

[0002]车牌识别是智慧城市的核心技术之一，在出入口计费、违章抓拍、 车辆追踪等场景有着广泛的应用。
[0003]近年来，车牌识别算法发展势头良好，深度学习方法全面普及，使 得识别精度有了较大的提升。然而，由于卷积网络缺乏旋转不变性，同 时，常用的车牌识别网络在模型设计时，默认车牌方向是水平的，如CTC 系列方法，使得现有车牌识别方法在处理严重畸变、大角度倾斜等困难 车牌时，识别性能会显著降低。而通用的解决方法是引入额外的车牌矫 正步骤。
[0004]目前车牌矫正的主流算法包括两种：一种是基于颜色分割、边缘检 测、直线检测等传统图像处理的方法，确定车牌图像的矫正矩阵；这类 方法对简单样本处理效果较好，但对困难样本鲁棒性较差。另一种是基 于深度学习的方法，通过卷积网络直接预测车牌图像的矫正矩阵；这种 方法性能较好，且泛化能力较强，但需要大量的车牌角点标注图像，且 会增加额外的算力要求。
专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端的车牌矫正及识别方法，其特征在于，包括：获取车牌图像，并作为车牌矫正及识别融合模型的输入，所述车牌矫正及识别融合模型包括基干网络、车牌矫正头和车牌字符识别头，车牌矫正头和车牌字符识别头共享基干网络；基干网络对于车牌图像进行多尺度低级及高级特征提取并融合，得到车牌特征图F；车牌矫正头基于车牌特征图F进行车牌矫正，得到矫正车牌；车牌字符识别头基于车牌特征图F，识别出车牌字符。2.如权利要求1所述的端到端的车牌矫正及识别方法，其特征在于，所述基干网络包括下采样层、特征金字塔层、上采样层和两卷积块CBL，下采样层用于提取不同尺寸的车牌特征图，特征金字塔层用于对下采样层提取的不同尺寸的车牌特征图进行增强，一卷积块CBL对特征金字塔层输出的特征图进行增强后作为上采样层的输入，上采样层基于特征金字塔层的输出和一卷积块CBL的输出，恢复出车牌特征，另一卷积块CBL对上采样层输出的特征图进行增强，得到所述车牌特征图F。3.如权利要求1所述的端到端的车牌矫正及识别方法，其特征在于，所述车牌矫正头包括车牌生成器和车牌判别器，车牌生成器用于仿真生成真实矫正车牌图像，车牌判别器用于判断车牌生成器所生成的矫正车牌是真实矫正车牌图像还是仿真矫正车牌图像。4.如权利要求1所述的端到端的车牌矫正及识别方法，其特征在于，所述车牌字符识别头包括残差网络、Resize函数、Softmax函数和CTC解网络，其中：残差网络用于对所述车牌特征图F特征进行压缩，得到压缩特征；将压缩特征按列进行通道合并Resize操作，得到顺序特征图；采用全连接结构将顺序特征图按列进行压缩至N维，并使用Softmax操作对每一列进行置信度激活，得到每一列位置各识别字符的执行度；对每一列位置各识别字符的执行度进行CTC解码，得到车牌字符识别结果。5.如权利要求1
‑
4任一项所述的端到端的车牌矫正及识别方法，其特征在于，在所述获取车牌图像，并作为车牌矫正及识别融合模型的输入之前，还包括：获取车牌数据集合，所述数据集合包括真实车牌图像、标注得到的车牌号标签以及通过仿真生成的矫正图像；利用车牌数据集合对所述车牌矫正及识别融合模型进行训练，学习模型参数。6.如权利要求5所述的端到端的车牌矫正及识别方法，其特征在于，还包括：采用识别损失函数Loss
ctc
、生成损失函数Loss
g
以及判别损失函数Loss
d
对所述模型参数进行优化，其中，识别损失函数用于优化所述基干网络和所述车牌字符识别头的模型参数，生成损失函数用于优化所述基干网络和...

【专利技术属性】
技术研发人员：戴亮亮，何佳，张卡，尼秀明，
申请(专利权)人：安徽清新互联信息科技有限公司，
类型：发明
国别省市：