一种基于多特征融合的车牌定位与识别方法技术

本发明专利技术公开了一种基于多特征融合的车牌定位与识别方法，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；利用车牌粗定位图像，融合车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；对车牌区域内的车牌字符进行归一化处理；训练样本，得到训练好的网络，分别使用汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取已经定位好的车牌图像特征，读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。本发明专利技术可以提高车牌识别的准确率。

A method of license plate location and recognition based on multi feature fusion

The invention discloses a vehicle license plate location based on multi feature fusion and recognition method, extract color features, the license plate image edge features and texture features of license plate character projection; edge feature and character fusion of license plate image texture projection feature, mathematical morphology operation, the coarse positioning of the plate; the plate location image, color feature of license plate image fusion, fine mapping of the license plate, the plate region complete; license plate character on the license plate area is normalized; get the training samples, the trained network, using letters, numbers, letters, Chinese characters number four on a sample of four sub networks for training, get the number of nodes and the corresponding weights, one has to locate the license plate image feature extraction well, read the number of nodes and the corresponding weights, the After the normalization, the characters of the license plate are sent to the corresponding network to recognize and output the recognition results. The invention can improve the accuracy of license plate recognition.

【技术实现步骤摘要】
一种基于多特征融合的车牌定位与识别方法
本专利技术涉及一种车牌识别领域,特别是一种基于多特征融合的车牌定位与识别方法。
技术介绍
随着人类社会的快速发展，世界各国汽车拥有量不断攀升，大中城市交通状况日益严峻，交通拥堵、事故多发、管理效率低等问题受到人们的重视。有效的交通管理成为各国政府及相关部门关注的焦点。为解决这些问题，智能交通系统(IntelligentTransportationSystem，ITS)应运而生。它可以加强道路、车辆、驾驶员和管理人员之间的联系，实现道路交通管理自动化和车辆行驶的智能化，增强交通安全，减少交通堵塞，提高运输效率，减少环境污染，节约能源，提高经济活力。作为ITS的关键技术之一的汽车牌照自动识别(LicensePlateAutomaticRecognition，LPAR)的准确性和速度将直接影响ITS的整体性能。目前，国内外车牌定位与识别方法使用单一特征主要包括：纹理特征[1]、边缘特征[2-5]、形态学特征[6]、颜色特征[7-9]及灰度投影特征[10]。纹理特征、边缘特征和灰度投影特征易受噪声影响，而颜色特征易受到光照及环境的影响，导致复杂场景下的车辆图像的定位与识别效果不理想。为避免车牌定位与识别过程中单一特征的环境适应性差，很难达到准确定位与识别车牌以及满足实时性识别的要求问题，一些研究采用融合两种特征来进行车牌定位与识别[11-13]，在一些特殊环境下效果差。如汽车的颜色是蓝色，车牌颜色也是蓝色，则融合颜色特征的车牌定位与识别方法效果会差很多。。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于多特征融合的车牌定位与识别方法，提高车牌识别的准确率。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于多特征融合的车牌定位与识别方法，包括以下步骤：1)对车辆图像进行预处理，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；2)融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；3)利用上述粗定位得到的车牌粗定位图像，融合所述车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；4)对所述车牌区域内的车牌字符进行归一化处理；5)选取N幅精细定位后的车牌图像作为训练样本，利用深度学习算法训练样本，得到训练好的网络，分别使用归一化处理后的车牌字符内的汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取车牌区域的图像特征，然后从相应的文件中读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。步骤1)中，车牌图像的色差特征提取具体过程包括：对于蓝底白字的车牌，采用下式提取蓝色色差：S(x,y)＝B(x,y)-min{R(x,y),G(x,y)}；其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的蓝色色差像素值，B(x,y)，R(x,y)，G(x,y)分别为(x,y)点蓝、红、绿对应的像素值；对于黄底黑字组成的车牌，采用下式提取黄色色差：其中，S'(x,y)为色差提取后的车牌图像坐标点(x,y)的黄色色差像素值，R，G，B分别为(x,y)点红、绿、蓝对应的像素值；对于白底车牌，采用下式提取白色色差：其中，S″(x,y)为色差提取后的车牌图像坐标点(x,y)的白色色差像素值，T1为阈值；对于黑底车牌，采用下式提取黑色色差：其中，S*(x,y)为色差提取后的车牌图像坐标点(x,y)的黑色色差像素值，T2为阈值；对于白底红字或者黑底红字的车牌，采用下式提取红色色差：S**(x,y)＝R(x,y)-min{B(x,y),G(x,y)}，其中，S**(x,y)为色差提取后的车牌图像坐标点(x,y)的红色色差像素值。步骤1)中，提取车牌字符的峰谷峰跳变数作为车牌字符的纹理投影特征。步骤2)的具体实现过程包括：1)使用Canny边缘算子提取车辆图像的边缘特征，得到车辆的轮廓；2)对所述车牌的轮廓运用形态学运算，得到包含车牌区域的连通区域；3)对所述连通区域进行平滑处理，得到平滑连通区域；4)利用深度优先遍历方法筛选所述平滑连通区域，获得车牌区域，去除不相干的结构，得到车牌粗定位图像。利用深度优先遍历方法筛选所述平滑连通区域的具体实现过程为：根据标准车牌设定阈值，当平滑连通区域长度和高度符合长宽比时，选中为候选区域，否则予以舍弃；对所述候选区域，融合车牌字符的投影特征并对车牌图像进行倾斜校正，得到车牌粗定位图像。步骤3)的具体实现过程包括：1)采用统计彩色色差像素点的方法，从所述车牌粗定位图像中分割出合理的车牌区域；2)确定车牌底色RGB对应的各自灰度范围，然后在行方向统计在各自灰度范围内的像素点数量，设定合理的阈值(根据定位时的色差特征来选取T1或者T2)，确定车牌在行方向的合理区域；3)在分割出的行区域内，统计列方向车牌底色像素点的数量，最终确定完整的车牌区域。合理的车牌区域设定为：黄色车牌的合理的车牌区域的彩色色差为100以上；蓝色车牌蓝色分量取150以上，红色和绿色分量小于50，色彩在100以上；白色车牌的合理的车牌区域的彩色色差为10以下；黑色车牌的合理的车牌区域的彩色色差为5以下；红色车牌的合理的车牌区域的彩色色差为100以上。N＝100；T1＝10；T2＝5。与现有技术相比，本专利技术所具有的有益效果为：本专利技术提出的基于多特征融合的快速车牌定位与识别方法能在多种光照条件下采集的车辆牌照图像、车牌受污损程度比较严重、牌照存在倾斜和扭曲与变形、运动导致车牌模糊、背景与车牌颜色相似度高、背景复杂等情况下均能取得较好的定位效果。由于在车牌定位时采用了边缘特征、水平与垂直投影分析和阈值技术有效检测了车牌图像的上下左右边框、旋转角度，很好地实现了车牌图像的粗定位；采用融合彩色色差特征来实现车牌图像的精细定位可以提高定位精度同时减少算法运行时间。在车牌识别时采用了深度学习算法可以进一步提高车牌识别的准确率。该方法应用范围较广，对图像质量要求较低。附图说明图1为本专利技术车牌识别原理图；图2为本专利技术粗定位的车牌图像；其中，(a)提取的边缘特征；(b)形态学运算后的图像；(c)车牌字符垂直投影(含边框)；(d)车牌字符水平投影(含边框)；(e)1.8721°倾斜校正后车牌字符垂直投影(含边框)；(f)1.8721°倾斜校正后车牌字符水平投影(含边框)；(g)1.8721°倾斜校正后车牌字符垂直投影(不含边框)；(h)平滑后的连通区域；(i)粗定位后的车牌区域图3为本专利技术精细定位后的车牌图像；其中，(a)行方向的合理区域；(b)精细定位后的彩色车牌图像；图4为本专利技术车牌字符分割结果图；图5为本专利技术归一化处理后的车牌字符结果图；图6为本专利技术车牌识别结果。具体实施方式车辆图像包括车辆图像的灰度化、车辆图像二值化、车辆图像增强、车辆图像去噪、倾斜校正、灰度修正、运动模糊校正等。由于彩色图像含有大量的颜色信息，不但存储开销大，而且处理时会降低系统的运行速度，因此，车牌识别过程中经常将彩色图像转变为灰度图像，以加快处理速度。经过灰度变换的图像像素的动态范围增加，对比度得以扩展，图像变得更加清晰、细腻、易于识别。车牌图像二值化的过程是将整幅图像转换为黑、本文档来自技高网...

【技术保护点】
一种基于多特征融合的车牌定位与识别方法，其特征在于，包括以下步骤：1)对车辆图像进行预处理，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；2)融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；3)利用上述粗定位得到的车牌粗定位图像，融合所述车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；4)对所述车牌区域内的车牌字符进行归一化处理；5)选取N幅精细定位后的车牌图像作为训练样本，利用深度学习算法训练样本，得到训练好的网络，分别使用归一化处理后的车牌字符内的汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取车牌区域的图像特征，然后从相应的文件中读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。

【技术特征摘要】
1.一种基于多特征融合的车牌定位与识别方法，其特征在于，包括以下步骤：1)对车辆图像进行预处理，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；2)融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；3)利用上述粗定位得到的车牌粗定位图像，融合所述车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；4)对所述车牌区域内的车牌字符进行归一化处理；5)选取N幅精细定位后的车牌图像作为训练样本，利用深度学习算法训练样本，得到训练好的网络，分别使用归一化处理后的车牌字符内的汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取车牌区域的图像特征，然后从相应的文件中读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。2.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，步骤1)中，车牌图像的色差特征提取具体过程包括：对于蓝底白字的车牌，采用下式提取蓝色色差：S(x,y)＝B(x,y)-min{R(x,y),G(x,y)}；其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的蓝色色差像素值，B(x,y)，R(x,y)，G(x,y)分别为(x,y)点蓝、红、绿对应的像素值；对于黄底黑字组成的车牌，采用下式提取黄色色差：其中，S'(x,y)为色差提取后的车牌图像坐标点(x,y)的黄色色差像素值，R，G，B分别为(x,y)点红、绿、蓝对应的像素值；对于白底车牌，采用下式提取白色色差：其中，S”(x,y)为色差提取后的车牌图像坐标点(x,y)的白色色差像素值，T1为阈值；对于黑底车牌，采用下式提取黑色色差：其中，S*(x,y)为色差提取后的车牌图像坐标点(x,y)的黑色色差像素值，T2为阈值；对于白底红字或者黑底红字的车牌，采用下式提取红色色差：S**(x,y)＝R(x,y)-min{B(x,y),G(x,y)}，其中，S**(x,y)为色差提取后的车牌图像坐标点(x,y)的红色色差像...

【专利技术属性】
技术研发人员：王智文，蒋联源，张灿龙，欧阳浩，黄镇谨，唐博文，胡振寰，
申请(专利权)人：广西科技大学，
类型：发明
国别省市：广西,45