通用车牌识别方法技术

本发明专利技术涉及一种通用车牌识别方法，通过触发相机进行视频拍摄、运动图像去模糊、车牌定位提取车牌轮廓区域图像、对拍摄到的车牌在图像的倾斜度仿射矫正、车牌内部区域分割提取信息、字符/图标识别达到各种车牌的识别。本方法对车辆与相机的相对位置无严格要求。该方法在识别车牌时不局限于某一特定国家车牌特点，无论哪国车牌都能进行车牌有效信息的提取，对背景或复杂、或简单的车牌均可正确识别。

General license plate recognition method

The invention relates to a universal method of license plate recognition, triggered by the camera video capture, motion image deblurring, image contour extraction of license plate location license plate, the license plate photographed in the tilt correction, image affine interior region of license plate segmentation to extract information, character / icon recognition to license plate recognition. The method has no strict requirement for the relative position between the vehicle and the camera. The method is not limited to the license plate characteristics of a particular country in the recognition of the license plate. The license plate can be used to extract the valid information of the license plate, and the background or complex or simple license plate can be correctly identified.

【技术实现步骤摘要】
通用车牌识别方法
本专利技术涉及一种图像处理技术，特别涉及一种通用车牌识别方法。
技术介绍
目前基于计算机视觉的车牌自动识别系统很常见，比如在停车库车辆入口处、道路桥梁收费等处，通过对车牌区域进行拍照并进行图像识别自动获取车牌。在目前应用中，通常触发相机启动的方法是通过传感器触发，传感器主要有类似红外和压力二种，比如在收费口一般是红外或超声波触发，例如红外触发基于车辆经过挡住了发射和接收波之间的线路、超声波则检测到发射波与接收到的反射回波之间距离在特定范围时触发相机启动；在道路中比如闯红灯、随意变道行为的抓拍则大多采用是地面安装压力传感器，当压力传感器测量数据满足一定条件时启动相机。这些启动相机的触发方式决定了拍照时相机与车辆的位置是大体相对固定的。如果出现并非在传感器埋设地的车辆需要记录车牌(如道路上肇事逃逸)，通常是把这段视频截取下来另外用计算机视觉算法做车牌识别出来。在第二步对车牌进行识别时，目前识别方法主要是针对特定某一国车牌进行识别，比如国内车牌的主要特点是只有一行，车牌背景色为单色或者单一色度渐变背景车牌(如电动车车牌)，即使个性车牌也是如此。对来自其它国家车辆车牌格式明显不同的车辆，识别率很低。
技术实现思路
本专利技术是针对现在的车牌识别存在的问题，提出了一种通用车牌识别方法，通过视频检测进行拍照、对图像进行计算机视觉处理，对车辆与相机的相对位置无严格要求。该方法在识别车牌时不局限于某一特定国家车牌特点，无论哪国车牌都能进行车牌有效信息的提取，对背景或复杂、或简单的车牌均可正确识别。本专利技术的技术方案为：一种通用车牌识别方法，具体包括如下步骤：1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；2)运动图像去模糊：视频所得图像清晰，则进入步骤3)，如视频所得图像清晰度不够，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；3)车牌定位，得到车牌区域轮廓二值化图I1；4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I进行仿射变换得到仿射变换后车牌图像I2；5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。所述步骤1)中(A)光流法获得运动前景并提取关键特征点的具体实现步骤如下(A1)至(A6)：设当前帧为f，该帧的前帧为fp，该帧的后帧为fn，(A1)对视频当前帧f利用光流法检测前景目标；(A2)如果当前帧f中出现了前景目标，找关键特征点，如果特征点数目大于门限值I，则跳转至步骤(A3)；否则忽略该帧，将该帧标记为前帧fp、将该帧的后帧fn标记为当前帧f，依此类推，然后跳转至步骤(A1)；(A3)历遍当前帧每个关键特征点，对各点分别记录以下三组参数：其在当前帧f的坐标(x,y)、截止当前帧该特征点共出现的次数、相对运动坐标-即该特征点在fp帧中坐标(xp,yp)与其在当前帧f中坐标(x,y)之间的差值dx＝x-xp，dy＝y-yp，若该特征点是首次出现，则直接设其相对运动坐标为(0，0)；记录该特征点相对运动坐标时，将数据存放在一个链表中，链表的每一项是该点在二帧间相对运动坐标，x为行坐标，y为列坐标；(A4)历遍(A3)中关键特征点，检查每个特征关键点的运动位置变化量，若相对运动坐标中dx或者dy的绝对值大于门限II则判断可能是匹配错误，将该关键特征点及在步骤(A3)获得的关于该点的参数全部删除，继续检查下一个关键特征点；否则保留该关键特征点及其参数；(A5)历遍(A4)中保留下来的各关键特征点，检查若某关键特征点截止当前帧f出现的次数大于门限值III，说明跟踪的运动目标不是突发的运动干扰而是稳定的运动目标，将在本步骤中大于门限值III的所有关键特征点及其参数传给进程(B)，然后转至步骤(A6)；(A6)将当前帧改记为fp、将fn帧改记为f，……，依此类推，然后转至步骤(A1)。所述步骤1)中(B)关键特征点聚类后聚焦拍照，具体步骤如下(B1)至(B4)：(B1)对来自进程(A)的所有关键特征点，根据其参数中相对运动坐标中的行坐标符号进行第一次分类，分类规则如下：只选取满足如下条件的关键特征点：关键特征点连续多帧相对运动坐标中行坐标dx的符号相同，即均为正或者均为负；对选取的点进行分类：将dx为正的所有关键特征点分为一类，称正待分类集合；dx为负的所有关键特征点分为一类，称负待分类集合；这二类集合中点所属车辆运动方向相反；(B2)分别对(B1)中的二个待分类集合继续进行第二次分类，目的是将关键特征点聚类，满足一定条件的关键特征点被分到一类并被认为属于同一车辆，以便将相机焦距对准需要拍照的车辆；对(B1)中二个待分类集合分别进行(B2)步骤第二次分类，(B2)的具体步骤如下(B2-1)至(B-3)：(B2-1)初始化：只建立一个已知分类，该已知分类中只有一个关键特征点，是从该待分类集合中随机选出的，同时将该关键特征点从待分类集合中删除，重复步骤(B2-2)-(B2-3)直到该待分类集合为空；(B2-2)从同一待分类集合中任意取出一个点，记为特征点Pany，如果该特征点与某个已知分类中特征点在连续二帧中记录相对运动坐标中dx坐标之差的绝对值小于门限IV、并且dy坐标之差绝对值小于门限V，则将该点放入该已知分类中，并从待分类集合中删除该点，转至(B2-2)；否则继续步骤(B2-3)；其中门限V和门限IV与道路限速有关，当道路限速高时将这二个门限值略微大点，但不超过30；(B2-3)如没有已知分类中的特征点与Pany之间满足步骤(B2-2)中的判决关系，则新创建一个已知分类，将该特征点从待分类集合中删除并放入新创建的已知分类中，转至(B2-2)；(B3)整理分类结果，删除不合理分类：对(B2)得到的所有已知分类结果进行检查：(1)每个已知分类中特征点数目若小于5个，则认为该已知分类不合理，对该已知分类予以删除；(2)如果该已知分类中所有特征点在当前帧中所围轮廓面积小于门限VI，门限VI取决于相机架设位置和分辨率，物体太小没有拍照的意义，则删除该已知分类；(B4)将保留下来的每个已知分类中各关键特征点当作属于同一车辆的关键特征点，聚焦于同一已知分类中各点围成区域进行拍照，同时对该已知分类中各关键特征点相对运动坐标链表中最后一组(dx、dy)，即当前帧与前面一帧的运动位置变化量，分别求平均，平均值分别标记为(avedx，avedy)。所述步骤5)所示车牌内部区域分割，提取信息的具体步骤如下(E1)-(E5)：(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib；前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-本文档来自技高网...

【技术保护点】
一种通用车牌识别方法，其特征在于，具体包括如下步骤：1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；2)运动图像去模糊：视频所得图像清晰，则进入步骤3)，如视频所得图像清晰度不够，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；3)车牌定位，得到车牌区域轮廓二值化图I1；4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I进行仿射变换得到仿射变换后车牌图像I2；5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。

【技术特征摘要】
1.一种通用车牌识别方法，其特征在于，具体包括如下步骤：1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；2)运动图像去模糊：视频所得图像清晰，则进入步骤3)，如视频所得图像清晰度不够，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；3)车牌定位，得到车牌区域轮廓二值化图I1；4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I进行仿射变换得到仿射变换后车牌图像I2；5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。2.根据权利要求1所述通用车牌识别方法，其特征在于，所述步骤1)中(A)光流法获得运动前景并提取关键特征点的具体实现步骤如下(A1)至(A6)：设当前帧为f，该帧的前帧为fp，该帧的后帧为fn，(A1)对视频当前帧f利用光流法检测前景目标；(A2)如果当前帧f中出现了前景目标，找关键特征点，如果特征点数目大于门限值I，则跳转至步骤(A3)；否则忽略该帧，将该帧标记为前帧fp、将该帧的后帧fn标记为当前帧f，依此类推，然后跳转至步骤(A1)；(A3)历遍当前帧每个关键特征点，对各点分别记录以下三组参数：其在当前帧f的坐标(x,y)、截止当前帧该特征点共出现的次数、相对运动坐标-即该特征点在fp帧中坐标(xp,yp)与其在当前帧f中坐标(x,y)之间的差值dx＝x-xp，dy＝y-yp，若该特征点是首次出现，则直接设其相对运动坐标为(0，0)；记录该特征点相对运动坐标时，将数据存放在一个链表中，链表的每一项是该点在二帧间相对运动坐标，x为行坐标，y为列坐标；(A4)历遍(A3)中关键特征点，检查每个特征关键点的运动位置变化量，若相对运动坐标中dx或者dy的绝对值大于门限II则判断可能是匹配错误，将该关键特征点及在步骤(A3)获得的关于该点的参数全部删除，继续检查下一个关键特征点；否则保留该关键特征点及其参数；(A5)历遍(A4)中保留下来的各关键特征点，检查若某关键特征点截止当前帧f出现的次数大于门限值III，说明跟踪的运动目标不是突发的运动干扰而是稳定的运动目标，将在本步骤中大于门限值III的所有关键特征点及其参数传给进程(B)，然后转至步骤(A6)；(A6)将当前帧改记为fp、将fn帧改记为f，……，依此类推，然后转至步骤(A1)。3.根据权利要求1或2所述通用车牌识别方法，其特征在于，所述步骤1)中(B)关键特征点聚类后聚焦拍照，具体步骤如下(B1)至(B4)：(B1)对来自进程(A)的所有关键特征点，根据其参数中相对运动坐标中的行坐标符号进行第一次分类，分类规则如下：只选取满足如下条件的关键特征点：关键特征点连续多帧相对运动坐标中行坐标dx的符号相同，即均为正或者均为负；对选取的点进行分类：将dx为正的所有关键特征点分为一类，称正待分类集合；dx为负的所有关键特征点分为一类，称负待分类集合；这二类集合中点所属车辆运动方向相反；(B2)分别对(B1)中的二个待分类集合继续进行第二次分类，目的是将关键特征点聚类，满足一定条件的关键特征点被分到一类并被认为属于同一车辆，以便将相机焦距对准需要拍照的车辆；对(B1)中二个待分类集合分别进行(B2)步骤第二次分类，(B2)的具体步骤如下(B2-1)至(B-3)：(B2-1)初始化：只建立一个已知分类，该已知分类中只有一个关键特征点，是从该待分类集合中随机选出的，同时将该关键特征点从待分类集合中删除，重复步骤(B2-2)-(B2-3)直到该待分类集合为空；(B2-2)从同一待分类集合中任意取出一个点，记为特征点Pany，如果该特征点与某个已知分类中特征点在连续二帧中记录相对运动坐标中dx坐标之差的绝对值小于门限IV、并且dy坐标之差绝对值小于门限V，则将该点放入该已知分类中，并从待分类集合中删除该点，转至(B2-2)；否则继续步骤(B2-3)；其中门限V和门限IV与道路限速有关，当道路限速高时将这二个门限值略微大点，但不超过30；(B2-3)如没有已知分类中的特征点与Pany之间满足步骤(B2-2)中的判决关系，则新创建一个已知分类，将该特征点从待分类集合中删除并放入新创建的已知分类中，转至(B2-2)；(B3)整理分类结果，删除不合理分类：对(B2)得到的所有已知分类结果进行检查：(1)每个已知分类中特征点数目若小于5个，则认为该已知分类不合理，对该已知分类予以删除；(2)如果该已知分类中所有特征点在当前帧中所围轮廓面积小于门限VI，门限VI取决于相机架设位置和分辨率，物体太小没有拍照的意义，则删除该已知分类；(B4)将保留下来的每个已知分类中各关键特征点当作属于同一车辆的关键特征点，聚焦于同一已知分类中各点围成区域进行拍照，同时对该已知分类中各关键特征点相对运动坐标链表中最后一组(dx、dy)，即当前帧与前面一帧的运动位置变化量，分别求平均，平均值分别标记为(avedx，avedy)。4.根据权利要求3所述通用车牌识别方法，其特征在于，所述步骤5)所示车牌内部区域分割，提取信息的具体步骤如下(E1)-(E5)：(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib；前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-背景边界被设定为1，背景经过Sobel算子处理后，相邻像素之间差异值很小，背景-背景边界在二值化后会被设定为0；(E2)、提取主信息：将主信息与未剔除的图案区进行区分，提取主信息，具体实现方法如下步骤(E2-1)至(E2-3)：(E2-1)首先对图像Ib检测闭合区域，然后对闭合区域做种子填充，闭合区域内部所有像素点用“1”填充，这样得到的图像称为模板图像Ic，再将Ic与图像I2进行“与”操作，得到图Id，Id中有主、辅助信息、强边缘的背景图；(E2-2)对应模板Ic中像素值为1的位置，在...

【专利技术属性】
技术研发人员：侯俊，苏乾，蒋睿杰，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31