基于深度学习网络共享的车牌识别方法技术

本发明专利技术的基于深度学习网络共享的车牌识别方法，包括以下步骤：步骤一：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；步骤二：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；步骤三：根据车牌检测阈值图和车牌检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。本发明专利技术的有益效果是，（1）对于识别方法的处理图像无图像大小限制，在图像不为空的情况下即可进行处理；（2）融合了车牌信息和字符信息同时进行车牌识别，更容易排除误检，增加准确率，减少后续判断的计算复杂程度；（3）对于深度学习网络进行了最大限度的共享网络结构和共享网络参数，减少了训练和应用的复杂度。

【技术实现步骤摘要】
基于深度学习网络共享的车牌识别方法
本专利技术涉及车牌识别技术和机器学习
，具体为一种基于深度学习网络共享的车牌识别方法。
技术介绍
车牌号的准确快速识别具有非常重要的现实意义。车牌信息是车辆的唯一标识之一，被广泛应用到需要进行车辆监控的各个领域，例如，高速路卡口、车辆违章抓拍和小区和商场出入口监控等。车牌识别方法的研究也具有一定的理论价值。车牌作为牌照的一类，车牌识别方法能够被扩展应用到其它类别牌照的识别中。深度学习作为快速兴起的一种机器学习方法，被广泛应用到计算机视觉、语音识别、自动驾驶等各个领域，尤其是在计算机视觉领域中具有非常出色的表现，在很多问题上优于传统的机器学习和图像处理方法。近年来，针对于深度学习的硬件的发展也促进了深度学习的应用，例如英伟达公司的TX2、华为公司的麒麟970和英特尔公司的KnightsMill等。车牌识别作为计算机视觉中一项重要研究领域对于深度学习方法的研究和应用也是未来发展趋势。传统的车牌识别方法通常包括定位、矫正、分割和识别等步骤。定位通常是找出图像中完整车牌所在的区域。车牌在图像中相对于图像的垂直和水平方向有一定的倾斜角度或者车牌有一定的畸变会影响车牌分割和识别的准确度，车牌矫正能够很大程度上去除这些影响。车牌分割是获取到车牌每一个字符的图像。车牌识别是对单个的字符图像进行分类，然后把识别结果进行综合从而得到车牌识别结果。随着深度学习的出现，近些年来有一些使用深度学习的方法对图像处理的方法进行了一定程度的改进和替代。主要表现为，车牌识别中某一个或者某几个步骤被深度学习方法替代，现有的基于深度学习车牌识别方法还存在一些问题：（1）对于识别方法的处理图像有一定的大小限制；（2）直接利用字符信息进行车牌定位和检测需要对全图进行字符检测，在背景复杂或者背景图像中含有一些字符的场景中会更加容易出现误检从而增加计算复杂度；（3）对于算法中深度学习网络中的参数共享还不够充分，即，车牌识别方法的不同过程充分共享网络结构和网络参数。本文将针对这三个问题提出一种基于深度学习的方法。
技术实现思路
本专利技术为了弥补现有技术的不足，提供了一种结构简单、使用方便的基于深度学习网络共享的车牌识别方法，对处理图像的大小无限制，充分融合了图像中车牌和字符信息，并设计了能够共享网络深度学习网络的结构和参数的方法。本专利技术是通过如下技术方案实现的：本专利技术的基于深度学习网络共享的车牌识别方法，其特征在于：包括以下步骤：步骤一：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；步骤二：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；步骤三：根据车牌检测阈值图和车牌检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。步骤一与步骤二中的深度学习网络共享网络层，共享的网络层为深度学习网络的底层网络，即车牌检测深度学习网络与字符检测深度学习网络从数据输入层到接下来的卷积层和非线性激活层都进行网络结构和网络参数的共享，只有到最后一个卷积层时车牌检测网络和字符检测网络才有各自卷积层结构或卷积层参数，当只有卷积层参数不同的情况下，车牌区域阈值图的生成以及字符阈值图区域的生成共享同一个深度学习网络结构。步骤一与步骤二中的深度学习网络，对于源图像的输入无图像的大小限制，但是不能为空，对于图像尺寸过小难以进行满足网络中卷积操作的图像大小要求的图像能够进行直接排除或进行放大后仍然能够进行处理。车牌阈值图标注方法，对于一张图像，生成一张车牌阈值图，没有车牌的区域为无车牌的类型值，整个车牌区域的像素值标记为车牌的类型值，不同类型的车牌标记不同的类型值，不同的类型值范围互不重叠。字符阈值图标注方法，对于一张图像，生成一张车牌字符阈值图，没有车牌的区域为无车牌的类型值，整个字符所在区域或者字符所在区域的中心位置有字符的类型值，不同字符具有不同的类型值，类型值在不同类型值范围互不重叠。共享网络训练时阈值图的标注方法为，字符阈值图和车牌阈值图中替换掉字符阈值图中存在字符类型值为无车牌类型值的阈值图。共享网络的训练方法，对于共享网络顶层添加一层专门用于网络训练的图像卷积层作为网络输出层，共享网络训练阈值图作为标记图像进行训练，输入为源图像，输出为阈值图像，代价函数根据阈值图与网络输出阈值图计算用于优化网络。代价函数为标准阈值图与网络生成阈值图之间的欧氏距离。对于车牌阈值网络，需要固定共享网络的参数，在共享网络后加入一个卷积层来组成生成车牌阈值图的网络，训练方法与共享网络的训练方法相同。对于字符阈值网络，需要固定共享网络的参数，在共享网络后加入一个卷积层来组成车牌字符阈值图的网络，训练方法与共享网络的训练方法相同。对于车牌阈值图和字符阈值图的融合主要包括：对于在经过网络计算生成的车牌阈值图中表现为没有车牌代表的类型值的区域的字符进行排除，对于经过网络计算生成的字符阈值图中表现为没有字符的区域的车牌进行排除，对于既属于存在车牌，又存在字符的联通区域作为最终目标区域，进行结果判定处理。对于最终目标区域结果判定处理包括，对车牌阈值部分进行取值矫正，对每一个像素的值都取与它最相近的车牌类型值，然后对每一个车牌类型值相同的连通域取得其最小外接矩形框，然后对这些外接矩形框进行非极大值抑制处理，获得最后的车牌外接矩形框，对该区域的每一类车牌类型值的像素个数进行统计处理，从而得到该区域内每一类车牌类型的像素个数与整个目标区域的像素个数的比值，取得取值最大的车牌类型值来判定车牌的类型。对于最终目标区域结果判定处理包括，对于字符阈值部分进行取值矫正，对每一个像素的值都取与它最相近的字符类型值，然后对每一个字符类型值相同的连通域取得其最小外接矩形框，然后对这些外接矩形框进行非极大值抑制处理，获得最后的字符外接矩形框，该框所对应的类型值即为字符识别的结果，把这些单个字符的识别结果，按照从上到下从左到右的顺序进行排列，得到区域中字符识别结果和字符排列位置。根据车牌类型识别结果和区域中字符识别的结果和字符排列位置，对车牌颜色、类型等信息进行判定，对字符识别结果的进行修正。本专利技术的有益效果是，（1）对于识别方法的处理图像无图像大小限制，在图像不为空的情况下即可进行处理；（2）融合了车牌信息和字符信息同时进行车牌识别，更容易排除误检，增加准确率，减少后续判断的计算复杂程度；（3）对于深度学习网络进行了最大限度的共享网络结构和共享网络参数，减少了训练和应用的复杂度；（4）能够输出车牌号的同时，输出车牌的颜色和类型信息；（5）网络中没有对字符分割矫正等要求，对于污损、模糊、缺损和倾斜等类型的的字符，按照本只要在训练时加入该种类型的样本，就能够在识别时具有一定的鲁棒性。附图说明附图1为本专利技术工作流程图；附图2为实施例深度学习网络共享结构的示意图。附图3为实施例中目标矩形框获取的示意图。具体实施方式附图为本专利技术的一种具体实施例。本专利技术的基于深度学习网络共享的车牌识别方法，步骤如下。步骤101：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；步骤102：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；步骤103：根据车牌检测阈值图和字符检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。车牌检测和字本文档来自技高网...

【技术保护点】
一种基于深度学习网络共享的车牌识别方法，其特征在于：包括以下步骤：步骤一：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；步骤二：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；步骤三：根据车牌检测阈值图和车牌检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。

【技术特征摘要】
1.一种基于深度学习网络共享的车牌识别方法，其特征在于：包括以下步骤：步骤一：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；步骤二：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；步骤三：根据车牌检测阈值图和车牌检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。2.根据权利要求1所述的基于深度学习网络共享的车牌识别方法，其特征在于：步骤一与步骤二中的深度学习网络共享网络层，共享的网络层为深度学习网络的底层网络，即车牌检测深度学习网络与字符检测深度学习网络从数据输入层到接下来的卷积层和非线性激活层都进行网络结构和网络参数的共享，只有到最后一个卷积层时车牌检测网络和字符检测网络才有各自卷积层结构或卷积层参数，当只有卷积层参数不同的情况下，车牌区域阈值图的生成以及字符阈值图区域的生成共享同一个深度学习网络结构。3.根据权利要求1所述的基于深度学习网络共享的车牌识别方法，其特征在于：步骤一与步骤二中的深度学习网络，对于源图像的输入无图像的大小限制，但是不能为空，对于图像尺寸过小难以进行满足网络中卷积操作的图像大小要求的图像能够进行直接排除或进行放大后仍然能够进行处理。4.根据权利要求1所述的基于深度学习网络共享的车牌识别方法，其特征在于：车牌阈值图标注方法，对于一张图像，生成一张车牌阈值图，没有车牌的区域为无车牌的类型值，整个车牌区域的像素值标记为车牌的类型值，不同类型的车牌标记不同的类型值，不同的类型值范围互不重叠。5.根据权利要求1所述的基于深度学习网络共享的车牌识别方法，其特征在于：字符阈值图标注方法，对于一张图像，生成一张车牌字符阈值图，没有车牌的区域为无车牌的类型值，整个字符所在区域或者字符所在区域的中心位置有字符的类型值，不同字符具有不同的类型值，类型值在不同类型值范围互不重叠。6.根据权利要求1所述的基于深度学习网络共享的车牌识别方法，其特征在于：共享网络训练时阈值图的标注方法为，字符阈值图和车牌阈值图中替换掉字符阈值图中存在字符类型值为无车牌类型值的阈值图；共享网络的训练方法，对于共享网络顶层添加一层专门用于网络训练的图像卷积层作为网络输出层，共享网络训练阈值图作为...

【专利技术属性】
技术研发人员：韩哲，闫晓葳，刘琛，安晓博，尹萍，
申请(专利权)人：济南中维世纪科技有限公司，
类型：发明
国别省市：山东,37