一种基于深度学习的车牌识别方法技术

本发明专利技术涉及一种基于深度学习的车牌识别方法，属于车牌识别技术领域。本发明专利技术通过前方摄像头采集的图片(或者视频)，然后采用卷积神经网络(CNN)对图片进行特征提取从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符。本发明专利技术采用多标签分类的方法对车牌字符进行识别，避免了车牌字符分割过程中出现的分割不准确而造成最终识别率低问题。本方法对摄像头的位置要求不高，大多数场合都能使用，具有广泛的应用场景。

【技术实现步骤摘要】
一种基于深度学习的车牌识别方法
本专利技术涉及一种基于深度学习的车牌识别方法，属于车牌识别

技术介绍
传统的目标检测方法大概分为区域选择（滑窗）、特征提取（SIFT、HOG等）、采用提取的特征来训练一个分类器三个部分；同时传统的车牌识别会对牌照字符分割完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行车牌字符识别，采用的方法主要有基于模板匹配算法。传统目标检测主要问题有两方面：一方面滑窗选择策略没有针对性、时间复杂度高，窗口冗余；另一方面手工设计的特征鲁棒性较差；车牌字符识别算法复杂，并且对摄像头的安装角度有很大的要求，应用场景受限。现有的车牌识别方法主要是通过固定特定摄像头的位置，只对车牌区域进行拍照检测，然后通过传统的视觉检测算法来获取车牌的区域，获取到车牌后对车牌进行一个仿射变换得到一个归整的车牌区域；然后对车牌区域进行二值化后进行字符分割得到当个字符，最后进行字符识别，其中字符识别方法主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符的尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，选择最佳匹配作为结果。基于人工神经网络的算法有两种：一种是先对字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把图像输入网络，由网络自动实现特征提取直至识别出结果。从而得到车牌的字符。
技术实现思路
本专利技术提出了一种基于深度学习的车牌识别方法，通过前方摄像头采集的图片(或者视频)，然后采用卷积神经网络(CNN)对图片进行特征提取从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符。本专利技术为解决其技术问题采用如下技术方案：一种基于深度学习的车牌识别方法，包括如下步骤：步骤1：利用摄像头采集路上车辆数据，对采集后的车辆数据进行数据清洗并对车辆数据进行标注，利用清洗和标注后的车辆数据进行车辆检测模型的训练；步骤2：采用步骤1中训练好的检测模型来对包含有车辆的图像进行车辆框的预测及车辆类别分类；步骤3：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域，并将所有截取得到的车辆区域作为车牌检测模型的训练集进行模型训练，从而得到车牌检测模型；得到车牌检测模型后，传入步骤2检测得到的车辆框区域，从而检测得到车牌区域；步骤4：通过步骤3得到的车牌区域作为车牌识别模型的输入，从而得到车辆字符，最终得到车牌信息。步骤1的具体过程如下：步骤1.1:加载预先训练好的目标检测网络模型，即在微软开源的用于目标检测训练的数据集，即COCO数据集训练好的检测模型，作为预训练模型；步骤1.2:预处理将要参与模型训练的包含有车辆的图像。步骤2的具体过程如下：步骤2.1：根据深度学习提取框架主干网络，提取图像中的车辆特征；步骤2.2:对提取的图像中的特征进行目标检测，获取包含有车辆的框及车辆类别。步骤3的具体过程如下：步骤3.1:通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域；步骤3.2：将所有截取得到的车辆框区域作为车牌检测模型训练的训练集进行模型训练，得到车牌检测模型；步骤3.2:采用训练好的目标检测网络对步骤3.1中的车辆区域进行特征提取；步骤3.3:根据步骤3.2中的提取到的特征对存在车牌的检测框进行回归，回归的是预测框相对于标注框的偏移量，根据公式：X=sigmoid(tx)+Cx;Y=sigmoid(ty)+Cy;W=exp(tw)*anchor_w;H=exp(th)*anchor_h来获取到车牌检测框，其中：X表示检测框中心点的横坐标，Cx表示网格的横坐标偏移量，tx表示网络学习的横坐标目标；Y表示检测框中心点的纵坐标，Cy表示网格的纵坐标偏移量，ty表示网络学习的纵坐标目标；anchor_w表示锚框的宽，tw表示网络学习的目标框的宽，W表示的是最终目标框的宽；anchor_h表示锚框的高，th表示网络学习的目标框的高，H表示的是最终目标框的高，exp(*)表示的是以自然常数e为底的指数函数；sigmoid(*)表示的是逻辑函数；步骤3.5：根据步骤3.4中的回归结果计算出真实的车牌检测框。步骤4的具体过程如下：步骤4.1：通过步骤3获取的车牌检测框在获取的车辆区域内来截取车牌区域；步骤4.2：加载预先训练好的多标签分类网络；步骤4.3：将步骤4.1的车牌区域作为步骤4.2的输入，对车牌区域进行多标签分类，从而得到车牌的字符。本专利技术的有益效果如下：1、采用了神经网络对图像特征进行提取，解决了手工对图像特征提取带来的特征点扎堆现象，从而导致图像某一块位置提取到的特征点特别多，而其他区域提取到的点特别少，甚至是没有。这在实际应用当中会导致估算相对姿态变换出现较大的偏差，影响定位精度。2、采用多标签分类的方法对车牌字符进行识别，避免了车牌字符分割过程中出现的分割不准确而造成最终识别率低问题。3、本方法对摄像头的位置要求不高，大多数场合都能使用，具有广泛的应用场景。4、本方法采用神经网络技术，效果稳定，鲁棒性高。附图说明图1是本专利技术方法的流程图。具体实施方式下面结合附图对本专利技术创造做进一步详细说明。如图1所示，本专利技术的方法对输入图像进行预处理，并对处理后的图像做为车辆检测模型的训练集进行训练，将训练得到的模型对输入图像进行车辆检测得到车辆检测框，根据得到的车辆检测框在输入图像上截取车辆区域；采用所有截取得到的车辆区域做为车牌检测模型的训练集对车牌检测模型进行训练，将训练得到车牌检测模型对截取的车辆区域进行检测得到车牌区域，将车牌区域做为多标签分类模型的输入，最终得到车牌字符信息，从而实现车牌识别。本专利技术的基于深度学习的车牌识别方法，仅需要通过前方摄像头采集的图片(或者视频)，然后采用基于锚框及卷积神经网络(CNN)技术对图片进行特征提取，采用的目标检测算法名称为yolov4，在该算法的输入层，我们结合原始的缩放图像的基础上采用的是融合层，这有利于我们最大程度的保存了原始图像该有的特征，并且在算法的锚框的获取上采用的是以宽高比为标准的聚类算法并加上了遗传算法对anchor(锚框)进行最优选择，从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符，该方法是将车牌的每个字符划分为类别，例如，当车牌字符为“皖A12345”时，将第一字符分为省份缩写那一类，第二个字符分为26个大写字母一类，第三个字符归为0~9这10个数字这一类，同理……，这样就形成了多标签分类。该专利技术技术具有很强的针对性、鲁棒性并且对摄像头的安装角度要求很低，具有很广泛的应用场景。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车牌识别方法，其特征在于，包括如下步骤：/n步骤1：利用摄像头采集路上车辆数据，对采集后的车辆数据进行数据清洗并对车辆数据进行标注，利用清洗和标注后的车辆数据进行车辆检测模型的训练；/n步骤2：采用步骤1中训练好的检测模型来对包含有车辆的图像进行车辆框的预测及车辆类别分类；/n步骤3：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域，并将所有截取得到的车辆区域作为车牌检测模型的训练集进行模型训练，从而得到车牌检测模型；得到车牌检测模型后，传入步骤2检测得到的车辆框区域，从而检测得到车牌区域；/n步骤4：通过步骤3得到的车牌区域作为车牌识别模型的输入，从而得到车辆字符，最终得到车牌信息。/n

【技术特征摘要】
1.一种基于深度学习的车牌识别方法，其特征在于，包括如下步骤：
步骤1：利用摄像头采集路上车辆数据，对采集后的车辆数据进行数据清洗并对车辆数据进行标注，利用清洗和标注后的车辆数据进行车辆检测模型的训练；
步骤2：采用步骤1中训练好的检测模型来对包含有车辆的图像进行车辆框的预测及车辆类别分类；
步骤3：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域，并将所有截取得到的车辆区域作为车牌检测模型的训练集进行模型训练，从而得到车牌检测模型；得到车牌检测模型后，传入步骤2检测得到的车辆框区域，从而检测得到车牌区域；
步骤4：通过步骤3得到的车牌区域作为车牌识别模型的输入，从而得到车辆字符，最终得到车牌信息。


2.根据权利要求1所述的一种基于深度学习的车牌识别方法，其特征在于，步骤1的具体过程如下：
步骤1.1:加载预先训练好的目标检测网络模型，即在微软开源的用于目标检测训练的数据集，即COCO数据集训练好的检测模型，作为预训练模型；
步骤1.2:预处理将要参与模型训练的包含有车辆的图像。


3.根据权利要求1所述的一种基于深度学习的车牌识别方法，其特征在于，步骤2的具体过程如下：
步骤2.1：根据深度学习提取框架主干网络，提取图像中的车辆特征；
步骤2.2:对提取的图像中的特征进行目标检测，获取包含有车辆的框及车辆类别。


4.根据权利要求1所述的一种基于深度学习的车牌识别方法，其特征在于，步骤3的具体过程如下：
步骤3.1：通过步骤2获取得到车...

【专利技术属性】
技术研发人员：汪全伍，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32