一种无约束场景下的小目标车牌识别方法技术

本发明专利技术涉及一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，针对车牌区域图像检测、车牌分类、车牌内容识别，分别引入神经网络进行应用，通过样本训练，获得各应用下的模型，结合检测形状矫正技术，实现无约束场景下的小目标车牌识别，整个方案应用高效的图像分析技术，能够准确识别出车牌长宽在40

【技术实现步骤摘要】
一种无约束场景下的小目标车牌识别方法


[0001]本专利技术涉及一种无约束场景下的小目标车牌识别方法，属于智能视频和图像分析


技术介绍

[0002]自动车牌识别已在道路交通、停车场、小区中得到广泛应用，然而，这些应用基本都是在限定场景下进行的，主要体现在：对于道路交通、停车场出入口等用于识别车牌的摄像机，在工程实施和安装方面有着严格的要求，并且所拍摄车牌照片都相对正面、清晰，由此才能确保识别的准确率。
[0003]在现实情况下，人们常常需要在无约束场景下对小目标车牌进行准确识别，“无约束场景”是指对摄像机的角度、清晰度、光照条件等没有明确要求，照片可能在大角度下拍摄的、图像中的车牌可能会受光照影响甚至是失真的情况；“小目标车牌”是指车牌在整个视频或图像中占比较小，以至于常规算法无法检测出车牌的情况。
[0004]无约束场景下的小目标车牌识别是一件极具挑战性的工作，但对于道路交通、公安刑侦等应用有着非常重要的实用价值。。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种无约束场景下的小目标车牌识别方法，采用多种图像分析技术相结合，能够有效提高图像分析效率，获得更高的车牌识别精度。
[0006]本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种无约束场景下的小目标车牌识别方法，包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；
[0007]步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i2；
[0008]步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；
[0009]步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；
[0010]步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；
[0011]步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；
[0012]步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；
[0013]步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；
[0014]步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。
[0015]作为本专利技术的一种优选技术方案：所述步骤i1包括如下步骤i1
‑
1至步骤i1
‑
2；
[0016]步骤i1
‑
1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1
‑
2；
[0017]步骤i1
‑
2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。
[0018]作为本专利技术的一种优选技术方案：所述各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。
[0019]作为本专利技术的一种优选技术方案：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；
[0020]包含车牌区域图像最小矩形框的回归损失函数：
[0021][0022]式中，CIoU
Loss
表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和b
gt
分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；
[0023][0024]式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，w
gt
表示真实最小矩形框的宽度，h
gt
表示真实最小矩形框的高度；
[0025]车牌区域图像四个角点坐标的检测损失函数：
[0026][0027]式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，表示x对应的检测损失函数。
[0028]作为本专利技术的一种优选技术方案：还包括如下步骤i1
‑
i2，执行完步骤i1之后，进入步骤i1
‑
i2；
[0029]步骤i1
‑
i2.根据各场景样本图像中分别对应的车牌区域图像，以及车牌区域图像的四个角点坐标，按规则1.预设大尺寸范围车牌区域图像、规则2.预设小尺寸范围车牌区域图像、规则3.倾斜角度超出预设角度阈值的车牌区域图像、规则4.倾斜角度未超出预设角度阈值的车牌区域图像，针对各幅场景样本图像，划分为如下四类别：
[0030]类别1.满足规则3、规则2的车牌区域图像；
[0031]类别2.满足规则3、规则1的车牌区域图像；
[0032]类别3.满足规则4、规则2的车牌区域图像；
[0033]类别4.满足规则4、规则1的车牌区域图像，然后进入步骤i2；
[0034]所述步骤i2包括如下步骤i2
‑
1至步骤i2
‑
4；
[0035]步骤i2
‑
1.以相等选取概率，分别从四个类别中随机选择各幅场景样本图像，作为各幅训练场景样本图像，并进入步骤i2
‑...

【技术保护点】

【技术特征摘要】
1.一种无约束场景下的小目标车牌识别方法，其特征在于：包括执行如下步骤i1至步骤i2，获得车牌区域图像检测模型，以及执行如下步骤ii1至步骤ii3，获得车牌内容识别模型；然后基于车牌区域图像检测模型、车牌内容识别模型，执行如下步骤A至步骤C，实现对目标场景中目标车牌内容的识别；步骤i1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i2；步骤i2.以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对第一指定神经网络进行训练，获得车牌区域图像检测模型；步骤ii1.依次连接深度卷积神经网络模型构成的卷积层、双向循环神经网路构成的循环层、连接时序分类模型构成的转录层，构建车牌内容识别初始模型，然后进入步骤ii2；步骤ii2.收集各幅车牌区域样本图像，并获得各车牌区域样本图像中的车牌号码，然后进入步骤ii3；步骤ii3.以各幅车牌区域样本图像为输入，各幅车牌区域样本图像中的车牌号码为输出，针对车牌内容识别初始模型进行训练，获得车牌内容识别模型；步骤A.获取目标场景图像，并应用车牌区域图像检测模型，检测获得目标场景图像中的目标车牌区域图像、以及目标车牌区域图像四个角点坐标，然后进入步骤B；步骤B.根据目标车牌区域图像四个角点坐标，将目标车牌区域图像矫正至矩形形状，更新目标车牌区域图像，然后进入步骤C；步骤C.应用车牌内容识别模型，针对目标车牌区域图像进行识别，获得目标车牌区域图像所对应的车牌号码。2.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i1包括如下步骤i1
‑
1至步骤i1
‑
2；步骤i1
‑
1.收集各幅包含指定各类型车牌的场景样本图像，并获得各场景样本图像中分别对应包含的车牌区域图像，以及获得车牌区域图像的四个角点坐标，然后进入步骤i1
‑
2；步骤i1
‑
2.分别针对各幅场景样本图像，采用指定各图像变形方法，获得场景样本图像所对应的各幅变换场景样本图像，并建立该各幅变换场景样本图像分别与该场景样本图像中车牌区域图像、车牌区域图像四个角点坐标的对应关系，再将该各幅变换场景样本图像作为各幅场景样本图像；然后进入步骤i2。3.根据权利要求2所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述各指定图像变形方法包括执行亮度变化、对比度变化、饱和度变化、噪声变化的光照畸变方法，执行随机缩放、裁剪、旋转的几何畸变方法，以及执行光照畸变与几何畸变的联合方法。4.根据权利要求1所述一种无约束场景下的小目标车牌识别方法，其特征在于：所述步骤i2中，针对包含车牌区域图像的最小矩形框，根据最小矩形框中包含车牌区域图像的置信度损失函数、以及如下该最小矩形框的回归损失函数、车牌区域图像四个角点坐标的检测损失函数，结合各损失函数的预设溢出条件，以各幅场景样本图像为输入，各幅场景样本图像中车牌区域图像、以及车牌区域图像四个角点坐标为输出，针对作为第一指定神经网络的深度卷积网络YoloV5进行训练，获得车牌区域图像检测模型；包含车牌区域图像最小矩形框的回归损失函数：
式中，CIoU
Loss
表示包含车牌区域图像的最小矩形框的检测损失，IoU表示检测最小矩形框与真实最小矩形框的交并比，v表示检测最小矩形框与真实最小矩形框长宽比的距离，α表示权重系数，ρ表示检测最小矩形框与真实最小矩形框中心点之间的欧几里得距离，b和b
gt
分别表示检测最小矩形框、真实最小矩形框的中心点，c表示检测最小矩形框与真实最小矩形框的外接矩形的对角线的长度；式中，w表示检测最小矩形框的宽度，h表示检测最小矩形框的高度，w
gt
表示真实最小矩形框的宽度，h
gt
表示真实最小矩形框的高度；车牌区域图像四个角点坐标的检测损失函数：式中，x表示检测所获四个角点坐标所构四边形的对角线相交点与真实四个角点坐标所构四边形的对角线相交点之间的距离，表示x对应的检测损失函数。5.根据权利要求1至4...

【专利技术属性】
技术研发人员：马小骏，贺安鹰，朱永成，刘超，白波，邬志烨，
申请(专利权)人：江苏东大金智信息系统有限公司，
类型：发明
国别省市：