本发明专利技术涉及智能交通技术领域，具体公开了一种基于关键点与旁路矫正的车牌识别方法、装置及存储介质，包括：获取待检测车牌图像；将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。本发明专利技术提供的基于关键点与旁路矫正的车牌识别方法能够提升车牌检测精度。矫正的车牌识别方法能够提升车牌检测精度。矫正的车牌识别方法能够提升车牌检测精度。
【技术实现步骤摘要】
基于关键点与旁路矫正的车牌识别方法、装置及存储介质
[0001]本专利技术涉及智能交通
，尤其涉及一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质。
技术介绍
[0002]当下，由于传统的交通规范与监管模式暴露出信息反馈不及时、不全面等缺陷，智能交通系统成为未来的趋势。如何有效获取车辆关键信息则是智能交通系统研究的热点之一。而在车辆信息提取任务中，车牌的定位则是重要一环，车牌作为车辆的身份证，如何对车牌进行准确的定位是车牌信息提取的关键也是后续车牌识别任务的基础。
[0003]车牌检测的目的是准确定位车牌在图像中的位置，通过提取车牌区域图像以进行下一步的识别。目前车牌检测主要分为基于传统方法的检测和基于深度学习的检测。
[0004]基于传统方法的检测由于需要大量的图像像素处理等方式导致消耗大量时间。而目前基于深度学习等检测方式，虽然检测效率能够提升，但是由于在图像采集时基于矩形框的检测方式，这种检测方式非常依赖于拍摄角度，如拍摄角度有倾斜等，则会导致矩形框检测准确度低，进而影响最终的车牌检测精度。
[0005]因此，如何能够解决当前矩形框检测导致无法拟合倾斜车牌轮廓而导致车牌检测精度低的问题成为本领域技术人员亟待解决的技术问题。
技术实现思路
[0006]本专利技术提供了一种基于关键点与旁路矫正的车牌识别方法、基于关键点与旁路矫正的车牌识别装置及存储介质，解决相关技术中存在的车牌检测精度低的问题。
[0007]作为本专利技术的第一个方面，提供一种基于关键点与旁路矫正的车牌识别方法，其中，包括：
[0008]获取待检测车牌图像；
[0009]将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
[0010]根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
[0011]将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。
[0012]进一步地，将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果，包括：
[0013]将所述待检测车牌图像进行预处理，获得预处理车牌图像；
[0014]将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。
[0015]进一步地，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果，包括：
[0016]对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；
[0017]根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；
[0018]对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。
[0019]进一步地，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：
[0020]根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；
[0021]构建关键点初始对角线斜率损失函数；
[0022]根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：
[0023][0024]其中，L
kpt
表示关键点总损失函数，L
dig
表示关键点目标对角线斜率损失函数，所述关键点包括车牌的四个顶点，且x
tl
和y
tl
、x
tr
和y
tr
、x
bl
和y
bl
以及x
br
和y
br
分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，和和和以及和分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；
[0025]根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：
[0026][0027]其中，L
kpt
表示关键点总损失函数，表示关键点目标距离损失函数。
[0028]进一步地，根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像，包括：
[0029]根据所述目标对角线斜率损失函数对所述车牌区域检测图像对应的关键点位置进行矫正；
[0030]根据矫正后的关键点位置确定车牌第一次矫正图像。
[0031]进一步地，所述车牌识别网络包括旁路分支网络和字符预测网络，将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果，包括：
[0032]将所述车牌第一次矫正图像输入至旁路分支网络进行第二次图像矫正，获得车牌第二次矫正图像；
[0033]将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果。
[0034]进一步地，将所述车牌第一次矫正图像输入至车牌识别网络中的旁路分支网络进行第二次矫正，获得车牌第二次矫正图像，包括：
[0035]将所述车牌第一次矫正图像输入至旁路卷积网络进行计算处理，并将计算处理后
的结果输入至旁路全连接回归层；
[0036]将全连接回归层的输出结果通过矫正参数进行自学习处理后，获得车牌第二次矫正图像；其中，所述矫正参数的计算公式为：
[0037][0038]其中，表示仿射变换矩阵，和表示车牌第一次矫正图像的坐标，和表示车牌第二次矫正图像的坐标。
[0039]进一步地，将所述车牌第二次矫正图像输入至字符预测网络，获得车牌字符预测结果，包括：
[0040]对所述第二次矫正图像中的字符进行切割；
[0041]根据多头自注意力机制对切割后的字符进行语义关联，获得车牌字符预测结果，其中多头自注意力机制中的每一个注意力头分别对应一种语义信息。
[0042]作为本专利技术的另一个方面，提供一种基于关键点与旁路矫正的车牌识别装置，用于实现前文所述的基于关键点与旁路矫正的车牌识别方法，其中，包括：
[0043]获取模块，用于获取待检测车牌图像；
[0044]车牌检测模块，用于将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；
[0045]第一次矫正模块，用于根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；
[0046]车牌识别与第二次矫正模块，用于将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于关键点与旁路矫正的车牌识别方法，其特征在于，包括：获取待检测车牌图像；将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果；根据所述车牌关键点预测结果对所述车牌区域检测图像进行第一次矫正，获得车牌第一次矫正图像；将所述车牌第一次矫正图像输入至车牌识别网络进行第二次图像矫正后，获得车牌字符预测结果。2.根据权利要求1所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，将所述待检测车牌图像进行预处理后输入至车牌检测网络，获得车牌区域检测图像和车牌关键点预测结果，包括：将所述待检测车牌图像进行预处理，获得预处理车牌图像；将所述预处理车牌图像输入至车牌检测网络，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果。3.根据权利要求2所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，所述车牌检测网络能够对所述预处理车牌图像进行车牌区域检测以及车牌关键点预测以获得车牌区域检测图像和车牌关键点预测结果，包括：对所述预处理车牌图像进行特征提取并对提取后的特征进行注意力机制处理，获得车牌区域特征；根据提取后的车牌区域特征进行多尺度特征融合，获得融合特征；对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果。4.根据权利要求3所述的基于关键点与旁路矫正的车牌识别方法，其特征在于，对所述融合特征进行车牌区域检测和关键点预测，获得车牌区域检测图像和车牌关键点预测结果，包括：根据边界框预测结果确定车牌区域检测图像，并对车牌关键点坐标进行预测；构建关键点初始对角线斜率损失函数；根据所述关键点初始对角线斜率损失函数对预测的车牌关键点坐标和车牌真实形状关键点坐标进行约束优化，获得关键点目标对角线斜率损失函数，其中所述关键点目标对角线斜率损失函数的计算公式为：，其中，表示关键点总损失函数，表示关键点目标对角线斜率损失函数， 所述关键点包括车牌的四个顶点，且和、和、和以及和分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的预测坐标值，和、和、和以及和分别表示车牌左上角顶点开始顺时针方向旋转的各个顶点的实际坐标值；
根据关键点目标对角线斜率损失函数和关键点目标距离损失函数确定关键点总损失函数，其中关键点总损失函数的计算公式为：，其中，表示关键点总损失函数，表示关键点目标距离损失函数。5.根据权利要求4所述的基于关键点与旁路矫正...
【专利技术属性】
技术研发人员：孙俊，杨震南，
申请(专利权)人：匀熵智能科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。