融合二值图像与灰度图像的字符识别的方法技术

本发明专利技术涉及一种融合二值图像与灰度图像的字符识别的方法，包括对字符图像的二值图像与灰度图像的融合图像进行处理，进行字符识别：将字符图像的二值图像与灰度图像进行融合得到融合图像；对融合图像进行大小和位置的归一化；提取归一化图像的梯度直方图的特征；利用主分量分析与线性判别分析得到特征降维的变换矩阵；建立字符特征模板库，进行字符识别。本发明专利技术克服了基于字符的二值图像或者是基于字符的灰度图像的传统字符识别技术不能同时识别退化字符图像以及包含复杂背景的字符图像的缺点。

【技术实现步骤摘要】

本专利技术属于字符识别领域(简称OCR)，涉及一致融合二值图像与灰度图像的字符 识别的方法。
技术介绍
传统的字符识别技术是基于字符的二值图像或者是基于字符的灰度图像。当基 于字符的二值图像的识别技术应用于各种低质量图像，比如视频中的退化字符图像、身份 证图像、汽车牌照、自然场景中的字符图像等低分辨率图像，由于二值化后的字符图像质量 低，识别效果差。当基于字符的灰度图像的识别技术应用于包含复杂背景的字符图像，比如 视频中的字符图像，由于字符图像包含非一致的背景，识别效果将变差。
技术实现思路
为了解决现有技术的问题，本专利技术的目的在于提供一种融合字符的二值图像与灰 度图像进行字符识别的方法。 为达成所述目的，本专利技术提供的，对所述二值图像与灰度图像的融合图像进行处理，进行字符识别，其包括以下步骤 步骤l :设预处理后得到的单个字符图像的二值图像为<formula>formula see original document page 6</formula>其中位于第x行第y列的像素点的值为b。(x， y) ， b。(x， y)为0或1，图像的大小为W具;字符的灰度图像为<formula>formula see original document page 6</formula>位于第x行第y列的像素点的值为g。 (x， y) ，<formula>formula see original document page 6</formula>将字符图像的二值图像B。与灰度图像G。进行融合，得融合后的图像<formula>formula see original document page 6</formula>位于第x行第y列的像素点的值为g(x， y) ，<formula>formula see original document page 6</formula> 步骤2 :在提取融合图像<formula>formula see original document page 6</formula>的特征前，先进行融合图像G = [g(x，y)] 的位置和大小的归一化处理；图像归一化处理的输入图像为G二 [g(x， y)]，归一化后的输 出图像为<formula>formula see original document page 6</formula>其大小分别为W工X&和W2XH2;输入图像G二 [g(x，y)]位于第 x行第y列的像素点将被映射到F二 [f(x'，y')]位于第x'行第y'列的像素点，通过输入 图像和输出图像的坐标映射来实现图像归一化<formula>formula see original document page 6</formula> —维坐标映射为<formula>formula see original document page 6</formula> 步骤3 :基于梯度直方图提取归一化图像的梯度直方图的特征； 步骤4 :利用主分量分析与线性判别分析对归一化图像的梯度直方图的特征进行 降维处理，得到特征降维的变换矩阵； 步骤5 :建立字符特征模板库，读取特征降维的变换矩阵并对字符进行识别。 本专利技术的有益效果本专利技术的特征在于对字符图像的二值图像与灰度图像的融合 图像进行处理，进行字符识别，其包括以下步骤(l) 二值图像与灰度图像的融合；(2)图像 的归一化；(3)基于梯度直方图的特征提取；(4)特征降维；(5)分类器设计与字符识别。本 专利技术克服了基于字符的二值图像或者是基于字符的灰度图像的传统字符识别技术不能同 时识别退化字符图像以及包含复杂背景的字符图像的缺点。本专利技术的应用的
包括 视频中的字符识别，身份证图像、汽车牌照、自然场景图像中的字符识别附图说明 图1为本专利技术的字符识别系统流程图； 图2为本专利技术二值图像与灰度图像的融合的构架示意图； 图3为本专利技术图像的归一化的构架示意图； 图4为本专利技术基于梯度直方图的特征提取的构架示意图； 图5为本专利技术求特征降维的变换矩阵的架构示意图； 图6为本专利技术分类器设计和字符识别架构示意图； 图7为Sobel梯度算子模板； 图8为L个标准方向示例，左边L = 4，右边L = 8 ; 图9为梯度分解示例； 图10为计算像素与矩形区域中心的在水平方向上和竖直方向上距离示例。 具体实施例方式下面结合附图详细说明本专利技术技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。 如图1所示，本专利技术的字符识别系统流程图，识别算法可以分为两个部分训练系统和识别系统。训练系统对每个字符训练样本，融合其二值图像与灰度图像，对融合图像进行大小和位置的归一化，提取梯度直方图的特征；利用从训练样本中提取的特征，求解进行特征降维的变换矩阵，得到字符识别库。在识别系统中，融合待识别字符的二值图像与灰度图像，对融合图像进行大小和位置的归一化，提取梯度直方图的特征，利用训练系统得到的变换矩阵对特征进行降维，然后送入识别器，得到识别结果。 融合字符二值图像与灰度图像进行字符识别系统的实现需要考虑如下几个方 面 1)训练系统的实现； 2)识别系统的实现。 下面分别对这两个方面进行详细介绍。1训练系统的实现 1. 1请参阅图2示出的二值图像与灰度图像的融合的构架。 设预处理后得到的单个字符图像的二值图像为B。二 [b。(x， y)]，其中位于第x行 第y列的像素点的值为b。(x， y)， b。(x， y)为0或1。字符的灰度图像为G。 = [g。(x， y)]， 位于第x行第y列的像素点的值为g。(x， y)，0《g。(x， y)《255。 二值图像为B。和灰度图像G。的大小为W工X&。通过下述流程进行字符的二值图像B。与字符的灰度图像G。的融 合，得到融合后的图像G = [g (x， y)]，位于第x行第y列的像素点的值为g (x， y) ， 0《g (x， y)《255 : 求一个全值阈值th，例如可以对灰度图像g。(x， y)利用传统的最大类间方差法 (OSTU方法)求得这个全值阈值th。stu，令th = axth。stu， a是一个常数。利用全局阈值th 对灰度图像g(x，y)进行门限处理得到二值图像Bg二 [bg(x，y)]，bg(x，y)定义为<formula>formula see original document page 8</formula> 利用二值形态学对二值图像B。进行条件膨胀。设D是 置的像素值为l。对二值图像B。进行条件膨胀为<formula>formula see original document page 8</formula> 根据上式对二值图像Bi反复进行条件膨胀，直到Bw二Bi或达到最大的迭代次数， 设最后得到的二值图像为B二 [b(x，y)]。 得到用于单个字本文档来自技高网...

【技术保护点】
一种融合二值图像与灰度图像的字符识别的方法，其特征在于，对所述二值图像与灰度图像的融合图像进行处理，进行字符识别，其包括以下步骤：步骤１：设预处理后得到的单个字符图像的二值图像为Ｂ↓［０］＝［ｂ↓［０］（ｘ，ｙ）］，其中位于第ｘ行第ｙ列的像素点的值为ｂ↓［０］（ｘ，ｙ），ｂ↓［０］（ｘ，ｙ）为０或１，图像的大小为Ｗ↓［１］×Ｈ↓［１］；字符的灰度图像为Ｇ↓［ｃ］＝［ｇ↓［ｃ］（ｘ，ｙ）］，位于第ｘ行第ｙ列的像素点的值为ｇ↓［ｃ］（ｘ，ｙ），０≤ｇ↓［ｃ］（ｘ，ｙ）≤２５５；将字符图像的二值图像Ｂ↓［０］与灰度图像Ｇ↓［ｃ］进行融合，得融合后的图像Ｇ＝［ｇ（ｘ，ｙ）］，位于第ｘ行第ｙ列的像素点的值为ｇ（ｘ，ｙ），０≤ｇ（ｘ，ｙ）≤２５５；步骤２：在提取融合图像Ｇ＝［ｇ（ｘ，ｙ）］的特征前，先进行融合图像Ｇ＝［ｇ（ｘ，ｙ）］的位置和大小的归一化处理；图像归一化处理的输入图像为Ｇ＝［ｇ（ｘ，ｙ）］，归一化后的输出图像为Ｆ＝［ｆ（ｘ’，ｙ’）］，其大小分别为Ｗ↓［１］×Ｈ↓［１］和Ｗ↓［２×］Ｈ↓［２］；输入图像Ｇ＝［ｇ（ｘ，ｙ）］位于第ｘ行第ｙ列的像素点将被映射到Ｆ＝［ｆ（ｘ’，ｙ’）］位于第ｘ’行第ｙ’列的像素点，通过输入图像和输出图像的坐标映射来实现图像归一化：＊＊＊一维坐标映射为：＊＊＊；步骤３：基于梯度直方图提取归一化图像的梯度直方图的特征；步骤４：利用主分量分析与线性判别分析对归一化图像的梯度直方图的特征进行降维处理，得到特征降维的变换矩阵；步骤５：建立字符特征模板库，读取特征降维的变换矩阵并对字符进行识别。...

【技术特征摘要】
一种融合二值图像与灰度图像的字符识别的方法，其特征在于，对所述二值图像与灰度图像的融合图像进行处理，进行字符识别，其包括以下步骤步骤1设预处理后得到的单个字符图像的二值图像为B0＝[b0(x，y)]，其中位于第x行第y列的像素点的值为b0(x，y)，b0(x，y)为0或1，图像的大小为W1×H1；字符的灰度图像为Gc＝[gc(x，y)]，位于第x行第y列的像素点的值为gc(x，y)，0≤gc(x，y)≤255；将字符图像的二值图像B0与灰度图像Gc进行融合，得融合后的图像G＝[g(x，y)]，位于第x行第y列的像素点的值为g(x，y)，0≤g(x，y)≤255；步骤2在提取融合图像G＝[g(x，y)]的特征前，先进行融合图像G＝[g(x，y)]的位置和大小的归一化处理；图像归一化处理的输入图像为G＝[g(x，y)]，归一化后的输出图像为F＝[f(x’，y’)]，其大小分别为W1×H1和W2×H2；输入图像G＝[g(x，y)]位于第x行第y列的像素点将被映射到F＝[f(x’，y’)]位于第x’行第y’列的像素点，通过输入图像和输出图像的坐标映射来实现图像归一化 <mfenced open='{' close=''><mtable> <mtr><mtd> <msup><mi>x</mi><mo>&prime;</mo> </msup> <mo>=</mo> <msup><mi>x</mi><mo>&prime;</mo> </msup> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo> </mrow></mtd> </mtr> <mtr><mtd> <msup><mi>y</mi><mo>&prime;</mo> </msup> <mo>=</mo> <msup><mi>y</mi><mo>&prime;</mo> </msup> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo> </mrow></mtd> </mtr></mtable> </mfenced>一维坐标映射为 <mrow><mfenced open='{' close=''> <mtable><mtr> <mtd><msup> <mi>x</mi> <mo>&prime;</mo></msup><mo>=</mo><msup> <mi>x</mi> <mo>&prime;</mo></msup><mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo></mrow> </mtd></mtr><mtr> <mtd><msup> <mi>y</mi> <mo>&prime;</mo></msup><mo>=</mo><msup> <mi>y</mi> <mo>&prime;</mo></msup><mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo></mrow> </mtd></mtr> </mtable></mfenced><mo>;</mo> </mrow>步骤3基于梯度直方图提取归一化图像的梯度直方图的特征；步骤4利用主分量分析与线性判别分析对归一化图像的梯度直方图的特征进行降维处理，得到特征降维的变换矩阵；步骤5建立字符特征模板库，读取特征降维的变换矩阵并对字符进行识别。2. 根据权利要求1所述融合二值图像与灰度图像的字符识别的方法，其特征在于，所 述二值图像与灰度图像的融合包括步骤11 :对灰度图像G。 = [g。(x，y)]的像素点值g。(x，y)利用传统的最大类间方差法 求得阈值th。stu，求一个全局阈值th，令th = aX th。stu， a是一个常数；利用全值阈值th对灰 度图像G。二 [g。(x，y)]的像素点值g。(x，y)进行门限处理，得到二值图像Bg = [bg(x，y)]， 二值图像的像素点值bg(x， y)定义为步骤12 :利用二值形态学对二值图像B。进行条件膨胀，设D是一个3X3的图像，其每 个位置的像素值为1 ;对二值图像B。进行条件膨胀为A+, 二C8(十D)r^g，l,2，-，A^ 二^根据上式对二值图像Bi反复进行条件膨胀，直到Bi+1 = Bi或达到最大的迭代次数，设 最后得到的二值图像为B二 [b(x，y)];步骤13:得到用于单个字符识别的融合图像G二 [g(x，y)]，g(x，y)定义为3. 根据权利要求1所述融合二值图像与灰度图像的字符识别的方法，其特征在于，图像的归一化包括步骤21 :计算融合图像G二 [g(x， y)]的质心(x。， y。)，把质心调整为归一化图像F二 [f(x，，y，)]的中心(W2/2，H2/2):<formula>formula see original document page 3</formula>其中g,(x)和gy(y)分别为融合图像6= [g(x，...

【专利技术属性】
技术研发人员：张树武，杨武夷，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11[中国|北京]