一种基于深度学习的车牌识别方法及装置制造方法及图纸

本发明专利技术实施例公开一种基于深度学习的车牌识别方法及装置，能够在采样得到视频图像后，计算每张视频图像对应的梯度概率直方图，并与预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板进行对比，确定视频图像的清晰度置信度，进而可以仅对清晰度置信度较大的视频图像进行车牌识别，因此可以提高车牌识别的准确性。并且，在根据多张视频图像确定最终的车牌识别结果时，可以结合各视频图像对应的清晰度置信度进行计算，从而可以进一步提高车牌识别的准确性。本实施例中的卷积神经网络输出的车牌识别结果包含的字符位数与车牌数目一致，从而可以避免多识别或少识别字符的情况，提高车牌识别的准确性。

A license plate recognition method and device based on deep learning

【技术实现步骤摘要】
一种基于深度学习的车牌识别方法及装置
本专利技术涉及图像处理
，具体而言，涉及一种基于深度学习的车牌识别方法及装置。
技术介绍
在视频监控领域，通常需要在监控视频中进行车牌识别，以对车辆进行跟踪等。已知的方法中，可以基于监控视频的识别方案投票处理。具体的，在监控视频中采样得到视频图像，进而通过对所有的视频图像进行车牌识别，最终采纳所有的识别结果进行投票处理，得到车牌识别结果。然而，上述方法中，由于可能存在运动模糊和散焦模糊的视频图像，这将导致车牌识别准确性较低。因此，为了提高车牌识别的准确性，亟需一种车牌识别方法。
技术实现思路
本专利技术提供了一种基于深度学习的车牌识别方法及装置，以提高车牌识别的准确性。具体的技术方案如下。第一方面，本专利技术实施例提供一种基于深度学习的车牌识别方法，所述方法包括：在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。可选的，所述根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像的步骤包括：根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值G（x，y）：Gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值，Gy为所述任一目标视频图像对应的y边缘图像中该点的像素值；所述将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像的步骤包括：根据以下公式，对各所述梯度图像的像素值进行更新：。可选的，所述计算所述各统计数量占该归一化梯度图像总像素点数量的概率值的步骤包括：根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：bj为该归一化梯度图像中像素值为j的像素点数量。可选的，所述计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离的步骤包括：根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离：xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。可选的，所述根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度的步骤包括：当所述第一余弦距离大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离；当所述第一余弦距离不大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。可选的，所述根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果的步骤包括：按照所述车牌识别结果的排列顺序，针对所述目标车牌中第h个字符，当所述视频图像中部分图像第h个字符首选识别结果均为k，且各部分图像的首选后验概率Sk与对应归一化梯度图像的清晰度置信度乘积之和最大时，确定所述目标车牌第h个字符的最终识别结果为k。可选的，所述清晰车牌图像梯度概率直方图分布模板和所述模糊车牌图像梯度概率直方图分布模板的构建过程包括：获取样本视频图像，将清晰度大于预设阈值的样本视频图像确定为清晰图像，将清晰度不大于所述预设阈值的样本视频图像确定为模糊图像；计算各所述清晰图像对应的梯度概率直方图，以及各所述模糊图像对应的梯度概率直方图；计算各所述清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值，构建得到包含各所述第一平均值的清晰车牌图像梯度概率直方图分布模板；计算各所述模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值，构建得到包含各所述第二平均值的模糊车牌图像梯度概率直方图分布模板。可选的，所述卷积神经网络采用梯度反向传播算法进行训练，所述卷积神经网络的损失函数为：其中，T为字符类别总数量，M为一个车牌中包含的字符位数，当得到分类结果正确时，yj的取值为1，否则为0；Sj为所述卷积神经网络输出的首选后验概率：ak为所述卷积神经网络估计得到的识别为字符k的距离，aj为所述卷积神经网络估计得到的识别为字符j的距离。第二方面，本专利技术实施例提供一种基于深度学习的车牌识别装置，所述装置包括：视频采样模块，用于在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；灰度转换模块，用于将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；滤波运算模块，用于通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；直方图统计模块，用于将各所述梯度图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车牌识别方法，其特征在于，所述方法包括：/n在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；/n将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；/n通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；/n将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；/n获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；/n将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。/n...

【技术特征摘要】
1.一种基于深度学习的车牌识别方法，其特征在于，所述方法包括：
在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；
将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；
通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；
将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；
获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；
将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。


2.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像的步骤包括：
根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值G（x，y）：




Gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值，Gy为所述任一目标视频图像对应的y边缘图像中该点的像素值；
所述将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像的步骤包括：
根据以下公式，对各所述梯度图像的像素值进行更新：

。


3.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述计算所述各统计数量占该归一化梯度图像总像素点数量的概率值的步骤包括：
根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：



bj为该归一化梯度图像中像素值为j的像素点数量。


4.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离的步骤包括：
根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离：




xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。


5.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度的步骤包括：
当所述第一余弦距离大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离；
当所述第一余弦距离不大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。


6.根据权利要求1所述的基于深度学习的车牌识别方法，其特征在于，所述根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果的步骤包括：
按照所...

【专利技术属性】
技术研发人员：刘近平，王俊昌，李晓娜，徐洋，孟稳，
申请(专利权)人：安阳工学院，
类型：发明
国别省市：河南;41