基于图像融合和盲反卷积的模糊车牌图像识别算法制造技术

本发明专利技术涉及计算机视觉领域，特指一种基于图像融合和盲反卷积的模糊车牌图像识别算法。本算法包括5个步骤：1.多帧图像融合增强车牌低照度图像的可辨识度；2.基于盲反卷积算法的模糊图像处理；3.车牌定位及倾斜估计；4.车牌字符的分割；5.车牌字符分割后的字符识别并输出。本发明专利技术的车牌识别算法在夜晚低照度，或因车辆超速等原因造成的车牌模糊不清，车牌图像成像质量低的情况下对车牌字符读取可靠性高，识别度好，鲁棒性好，同时步骤计算简单，能保持高效率，实时性也能满足需求。

【技术实现步骤摘要】
基于图像融合和盲反卷积的模糊车牌图像识别算法
本专利技术涉及计算机视觉领域，特指一种基于图像融合和盲反卷积的模糊车牌图像识别算法。
技术介绍
随着现代化交通的发展，车辆牌照自动识别技术越来越受到人们的重视，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。车辆牌照自动识别系统可用于公路收费站、停车场、十字路口等场所的车辆管理，对于道路交通和停车场车辆管理具有重要的促进作用。车牌识别技术包括车牌定位、字符分割和字符识别3个基本环节，其中车牌定位是字符分割和字符识别的前提，而车牌字符分割是车牌识别的基础。车牌识别系统在国内外研究都有一段时间了，普通的车牌识别系统在各种情况下都有一定的应用，但是对于特殊环境条件下的车牌识别，国内总体上来说还处于实验室阶段，离实际的工程应用还有一段距离。现实中，特殊环境条件下的车牌识别，往往是杜绝安全隐患的关键所在。比如车辆在晚间超速行驶，由于环境、时间、以及车辆本身超速的诸多因素综合影响，导致事故频发，损失巨大。同时，如果由于环境原因导致食品监控系统无法识别相关的车辆车牌信息，这无疑会给各方面的安全管理，带来很大的不变。同时，国内的车牌不统一、汉字识别难度大等因素也导致了车牌识别，尤其是在特殊条件环境下的车牌识别带来了很大的困难。
技术实现思路
本专利技术要解决的技术问题在于提供一种能够提高监控系统的特殊条件下车牌识别的准确程度的基于图像融合和盲反卷积的模糊车牌图像识别算法，并使得监控系统能够满足实时性要求。为了解决上述技术问题，本专利技术的具体技术方案包括以下步骤：步骤(1)通过多帧图像融合增强低照度车牌图像的可辨识度；步骤(2)采用基于盲反卷积算法处理模糊图像；步骤(3)车牌定位与倾斜估计；步骤(4)采用灰度投影法进行车牌字符分割；步骤(5)采用基于联合HOG特征的车牌字符识别算法进行车牌分割字符识别。作为本专利技术技术方案的优选，所述步骤(1)包括：(1.1)对进行前ISP(ImageSignalProcessor)处理后输出的多帧图像进行Surf特征点匹配获得校准图像；所述前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像；(1.2)对多帧连拍车牌图像采用加权累积方式进行累加，使得每幅图像权重相等。作为本专利技术技术方案的优选，所述步骤(2)为采用一种盲复原方法，首先估计出模糊点扩散函数PSF，然后进行模糊处理，具体包括：(2.1)估计点扩散函数，首先利用计算得到模糊长度和角度得到点扩散函数，然后对模糊图像的点扩散函数进行估计；(2.2)计算图像支持域，所述支持域为包括原始图像的非零像素值最小的矩形区域，具体采用动量矩和平均值算法进行计算，设原图像矩阵为f，支持域内矩阵为则使用在迭代中恢复图像；(2.3)设定约束条件，采用能量约束以加快算法收敛，(2.4)噪声最小二乘估计，建立盲反卷积复原最小化模型，该模型如下公式所示：上式中g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声，α为权重系数，α用于保证迭代恢复过程中噪声均值为0，通常取值为10-4，其中两部分分别和α[∑x∑y[g(x,y)-f(x,y)*h(x,y)]]分别表示噪声均方差为δ以及均值为0；该盲反卷积复原最小化模型的解即为迭代恢复模型的近似解；(2.5)迭代恢复，求取盲反卷积复原最小化模型的解即为迭代恢复模型的近似解，经过迭代，得到图像矩阵恢复值，以及点扩散函数恢复值。作为本专利技术技术方案的优选，所述步骤(3)包括：(3.1)训练车牌样本特征提取及特征组织，其包括：首先，手动抠取出任意正常国标车牌；其次，对抠取出的车牌图像进行积分通道特征提取，所述通道包括LUV颜色通道、梯度幅值通道和梯度直方图通道；最后，采用基于Adaboost算法训练检测器；(3.2)车牌的检测定位，其包括：首先，用滑窗法对目标图像进行扫描，获取初定位车牌图像；其次，将检测器输出的初定位图像进行非极大值抑制处理后的初定位结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；最后，将输出的二次定位后的车牌图像输入强检测器，得出最终定位车牌结果。作为本专利技术技术方案的优选，所述步骤(4)包括：(4.1)去除输入车牌区域图像的车牌边框；(4.2)车牌字符分割，其包括：首先，对去除车牌边框后的车牌区域图像进行图像增强，其次，采用基于灰度投影的算法进行车牌字符分割，进行字符分割前，对前面步骤增强的车牌图像，按列累加图像的像素值，得到车牌的投影曲线，并采用高斯滤波进行平滑投影曲线。作为本专利技术技术方案的优选，所述步骤(4)中所述图像增强的过程具体如下：第1步：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue；第2步：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间，根据实际需要调整，通常原始车牌图像较清晰，比例系数就较小，原始车牌图像模糊，比例系数就大；第3步：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面；第4步：从count(1,i)，i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index；第5步：车牌区域每一点按下面的方法进行增强：经过上面的变换后，实现图像增强。作为本专利技术技术方案的优选，所述步骤(4)中采用基于灰度投影的算法进行车牌字符分割具体步骤如下：第一步：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下；第二步：确定车牌字符宽度characterwidth；如果第一步检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值；第三步：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点；如果在第一步中检测到了双峰结构则进行第四步，否则进行第五步；第四步：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该段里有一个峰结构，则该峰就单独为一个字符，如果该段里有两个峰结构，则先判断这两个峰是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰的宽度，以及该宽度和字符宽度进行比较；如果这两个峰宽度之和小于字符宽度的1.2倍且这两个峰宽度相差很小；否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将其前面的一个峰结构分割出来然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将其起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复第四步直到分割到字符结束点为止；第五步：进行到第五步说明在检测双峰结构时并未检测本文档来自技高网...

【技术保护点】
一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，包括以下步骤：步骤(1)通过多帧图像融合增强低照度车牌图像的可辨识度；步骤(2)采用基于盲反卷积算法处理模糊图像；步骤(3)车牌定位与倾斜估计；步骤(4)采用灰度投影法进行车牌字符分割；步骤(5)采用基于联合HOG特征的车牌字符识别算法进行车牌分割字符识别。

【技术特征摘要】
1.一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，包括以下步骤：步骤(1)通过多帧图像融合增强低照度车牌图像的可辨识度；步骤(2)采用基于盲反卷积算法处理模糊图像；步骤(3)车牌定位与倾斜估计；步骤(4)采用灰度投影法进行车牌字符分割；步骤(5)采用基于联合HOG特征的车牌字符识别算法进行车牌分割字符识别。2.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(1)包括：(1.1)对进行前ISP(ImageSignalProcessor)处理后输出的多帧图像进行Surf特征点匹配获得校准图像；所述前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像；(1.2)对多帧连拍车牌图像采用加权累积方式进行累加，使得每幅图像权重相等。3.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(2)为采用一种盲复原方法，首先估计出模糊点扩散函数PSF，然后进行模糊处理，具体包括：(2.1)估计点扩散函数，首先利用计算得到模糊长度和角度得到点扩散函数，然后对模糊图像的点扩散函数进行估计；(2.2)计算图像支持域，所述支持域为包括原始图像的非零像素值最小的矩形区域，具体采用动量矩和平均值算法进行计算，设原图像矩阵为f，支持域内矩阵为则使用在迭代中恢复图像；(2.3)设定约束条件，采用能量约束以加快算法收敛，(2.4)噪声最小二乘估计，建立盲反卷积复原最小化模型，该模型如下公式所示：上式中g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声，α为权重系数，α用于保证迭代恢复过程中噪声均值为0，通常取值为10-4，其中两部分分别和α[∑x∑y[g(x,y)-f(x,y)*h(x,y)]]分别表示噪声均方差为δ以及均值为0；该盲反卷积复原最小化模型的解即为迭代恢复模型的近似解；(2.5)迭代恢复，求取盲反卷积复原最小化模型的解即为迭代恢复模型的近似解，经过迭代，得到图像矩阵恢复值，以及点扩散函数恢复值。4.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(3)包括：(3.1)训练车牌样本特征提取及特征组织，其包括：首先，手动抠取出任意正常国标车牌；其次，对抠取出的车牌图像进行积分通道特征提取，所述通道包括LUV颜色通道、梯度幅值通道和梯度直方图通道；最后，采用基于Adaboost算法训练检测器；(3.2)车牌的检测定位，其包括：首先，用滑窗法对目标图像进行扫描，获取初定位车牌图像；其次，将检测器输出的初定位图像进行非极大值抑制处理后的初定位结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；最后，将输出的二次定位后的车牌图像输入强检测器，得出最终定位车牌结果。5.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(4)包括：(4.1)去除输入车牌区域图像的车牌边框；(4.2)车牌字符分割，其包括：首先，对去除车牌边框后的车牌区域图像进行图像增强，其次，采用基于灰度投影的算法进行车牌字符分割，进行字符分割前，对前面步骤增强的车牌图像，按列累加图像的像素值，得到车牌的投影曲线，并采用高斯滤波进行平滑投影曲线。6.根据权利要求5所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(4)中所述图像增强的过程具体如下：第1步：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue；第2步：设置需要增强的像素点数占全部像素点数的比例系数coef；第3步：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面；第4步：从count(1,i)，i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*heig...

【专利技术属性】
技术研发人员：张斯尧，马昊辰，
申请(专利权)人：湖南源信光电科技股份有限公司，
类型：发明
国别省市：湖南,43