适用于复杂光照环境的车辆车牌智能识别方法及装置制造方法及图纸

本发明专利技术实施例公开一种适用于复杂光照环境的车辆车牌智能识别方法及装置，该方法包括：获得待检测图像；利用预设边缘检测算法，对待检测图像进行边缘检测，确定待检测图像对应的待检测梯度图像；利用待检测图像、待检测梯度图像以及预先训练的车牌检测模型，确定待检测图像是否包含车牌，并在确定待检测图像包含车牌的情况下，确定待检测图像所包含车牌的位置信息，其中，预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型，以实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。

Vehicle license plate intelligent recognition method and device for complex lighting environment

【技术实现步骤摘要】
适用于复杂光照环境的车辆车牌智能识别方法及装置
本专利技术涉及图像检测
，具体而言，涉及一种适用于复杂光照环境的车辆车牌智能识别方法及装置。
技术介绍
车牌检测技术是在安防以及智慧城市等领域中对车辆管理的关键技术之一，在学术研究和工业领域产品中都具有重要意义。目前，车牌检测技术一般依赖于深度学习技术实现对图像中车牌的检测，即利用大量包含车牌的样本图像以及包含所对应样本图像中车牌所在位置的位置信息的标定信息，训练得到基于深度卷积神经网络算法的车牌检测网络模型，其中，该车牌检测网络模型学习到样本图像中车牌所在区域图像的图像特征；进而，利用该车牌检测网络模型对待检测图像进行车牌检测，利用该车牌检测网络模型学习到样本图像中车牌所在区域图像的图像特征，确定出待检测图像中的车牌及其位置信息。然而，基于深度卷积神经网络算法的车牌检测网络模型学习到的图像特征，一般是图像的纹理特征，而光照的变化以及阴影会导致图像中车牌的纹理特征出现一定的变化，这就导致在复杂光照环境，例如光照变化较大的环境场景下，容易出现车牌漏检的情况。
技术实现思路
本专利技术提供了一种适用于复杂光照环境的车辆车牌智能识别方法及装置，以实现提高在复杂光照环境，例如光照变化较大的环境场景下的车牌检测的检出率。具体的技术方案如下：第一方面，本专利技术实施例提供了一种适用于复杂光照环境的车辆车牌智能识别方法，方法包括：获得待检测图像；利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。可选的，所述利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像的步骤，包括：利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。可选的，在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤之前，所述方法还包括：训练得到所述预先训练的车牌检测模型的过程，其中，所述过程，包括：获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。可选的，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；所述利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型的步骤，包括：将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层和特征回归与识别层的预先训练的车牌检测模型。可选的，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；所述利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值的步骤，包括：针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本原始图像对应的样本梯度图像对应的第二损失值；并利用该样本图像包括的样本原始图像对应的第一损失值，以及该样本原始图像对应的样本梯度图像对应的第二损失值，确定该样本图像对应的目标损失值。可选的，所述预先训练的车牌检测模型对应至少一组锚点尺寸信息，每组锚点尺寸信息包括至少一对宽高信息，其中，每组锚点尺寸信息包括的至少一对宽高信息为：根据训练得到所述预先训练的车牌检测模型的样本原始图像中样本车牌的车牌尺寸信息聚类得到的；所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤，包括：将所述待检测图像和所述待检测梯度图像输入预先训练的车牌检测模型的特征提取层，获得所述待检测图像对应的第一尺寸的第一特征图和所述待检测梯度图像对应的所述第一尺寸的第二特征图；利用所述第一特征图、所述第二特征图、预先训练的车牌检测模型的特征回归与识别层以及所述至少一组锚点尺寸信息包括的至少一对宽高信息中的每一对宽高信息，确定所述待检测图像是否包含车牌；若确定所述待检测本文档来自技高网...

【技术保护点】
1.一种适用于复杂光照环境的车辆车牌智能识别方法，其特征在于，所述方法包括：/n获得待检测图像；/n利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；/n利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。/n

【技术特征摘要】
1.一种适用于复杂光照环境的车辆车牌智能识别方法，其特征在于，所述方法包括：
获得待检测图像；
利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像；
利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含车牌的位置信息，其中，所述预先训练的车牌检测模型为：基于标注有样本车辆所在位置的样本原始图像以及该样本原始图像对应的样本边缘图像，训练所得的模型。


2.如权利要求1所述的方法，其特征在于，所述利用预设边缘检测算法，对所述待检测图像进行边缘检测，确定所述待检测图像对应的待检测梯度图像的步骤，包括：
利用第一滤波算子对所述待检测图像进行水平方向上的边缘检测，确定所述待检测图像对应的第一梯度图像；
利用第二滤波算子对所述待检测图像进行垂直方向上的边缘检测，确定所述待检测图像对应的第二梯度图像；
利用所述第一梯度图像和所述第二梯度图像，确定所述待检测图像对应的待检测梯度图像。


3.如权利要求1所述的方法，其特征在于，在所述利用所述待检测图像、所述待检测梯度图像以及预先训练的车牌检测模型，确定所述待检测图像是否包含车牌，并在确定所述待检测图像包含车牌的情况下，确定所述待检测图像所包含的车牌的位置信息的步骤之前，所述方法还包括：
训练得到所述预先训练的车牌检测模型的过程，其中，所述过程，包括：
获得多张样本原始图像及其标定信息，其中，每一样本原始图像包含车牌，每一标定信息包括：所对应样本原始图像中样本车牌所在位置的标定位置信息、标定类别信息和标定置信度信息；
利用所述预设边缘检测算法，对每一样本原始图像进行边缘检测，确定每一样本原始图像对应的样本梯度图像；
利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型。


4.如权利要求3所述的方法，其特征在于，所述初始的车牌检测模型包括：特征提取层以及特征回归与识别层；
所述利用每一样本原始图像、每一样本原始图像对应的样本梯度图像以及每一样本原始图像对应的标定信息所包括的标定位置信息，训练初始的车牌检测模型，得到所述预先训练的车牌检测模型的步骤，包括：
将每一样本图像输入所述特征提取层，得到每一样本图像对应的样本图像特征，其中，每一样本图像包括：一样本原始图像及其对应的样本梯度图像；
将每一样本图像对应的样本图像特征输入所述特征回归与识别层，得到每一样本图像中样本车牌所在位置的检测信息，其中，所述检测信息包括：检测位置信息、检测类别信息和检测置信度信息；
利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值，其中，每一样本图像对应的标定信息为：该样本图像所包括的样本原始图像对应的标定信息；
利用每一样本图像对应的目标损失值以及预设损失阈值，调整初始的车牌检测模型的网络参数，直至所述初始的车牌检测模型收敛，得到包含所述特征提取层和特征回归与识别层的预先训练的车牌检测模型。


5.如权利要求4所述的方法，其特征在于，每一样本图像中车牌所在位置的检测信息包括：该样本图像包括的样本原始图像中车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本原始图像对应的样本梯度图像中车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息；
所述利用预设损失函数、每一样本图像中样本车牌所在位置的检测位置信息、检测类别信息和检测置信度信息，以及每一样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定每一样本图像对应的目标损失值的步骤，包括：
针对每一样本图像，利用该样本图像包括的样本原始图像中样本车牌所在位置的第一检测位置信息、第一检测类别信息和第一检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置信度信息，确定该样本图像包括的样本原始图像对应的第一损失值；
并利用该样本图像包括的样本原始图像对应的样本梯度图像中样本车牌所在位置的第二检测位置信息、第二检测类别信息和第二检测置信度信息，以及该样本图像对应的标定信息所包括的标定位置信息、标定类别信息和标定置...

【专利技术属性】
技术研发人员：都荣胜，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东;37