一种基于信息融合的机读旅行证件识别方法技术

一种基于信息融合的机读旅行证件识别方法，其特征在于步骤如下：　　　　（１）机读码信息提取：包括自动定位机读码区域和自动字符识别，通过自动定位机读码区域确定机读码字符的区别，再通过自动字符识别得到持证人的文本信息，然后将此文本信息保存至数据库中；　　　　（２）面部特征提取：检测证件图像中人脸图像位置，提取持证人面部特征，将此特征信息存入数据库中；　　　　（３）身份比对：将文本特征和面部特征分别与重点人物数据库中的特征数据进行比对，并对两类比对结果在决策级进行融合，判断持证人是否为重点人物数据库中的成员。

【技术实现步骤摘要】

本专利技术涉及到一种机读旅行证件识别方法，特别是，用于快速通关工作。
技术介绍
随着国际交流合作的不断增加，快速通关已成为流动人口管理工作中的一个重要环节。其主要工作包括人员信息采集和重点人物审查。传统通关方法多采用人工方式进行信息采集和比对，效率低下浪费了大量人力资源。机读旅行证件的使用，使得自动采集和比对人员信息成为可能。机读旅行证件指符合国际民航组织推荐的ICAO-930关于机读旅行证件标准的适用于机器阅读的供国际旅行使用的各种证件，包括护照、签证、通行证和身份证等。目前部分流动人员管理单位已采用证件自动识别方法来代替手工操作。但现有的方法只能提取证件中的文本信息，在很大程度上影响了人员审查的准确率。其主要缺陷表现为(1)只提取文本信息，人员身份审查的准确率直接依赖于对文本信息识别的准确率。然而由于各种因素的影响，识别错误在所难免，因此身份审查正确率不高；(2)存在一些不法分子企图使用伪造证件通关，证件中的文本信息与真实情况不符，因此仅通过文本信息进行身份审查将导致错误结果。
技术实现思路
本专利技术解决的技术问题克服现有技术的不足，提供，该方法不仅能够自动识别证件图像中的文本信息，同时自动提取证件中包含的持证人面部特征信息，并通过特征比对及结果融合准确地判断持证人是否为重点人物，满足了快速通关工作的需求，提高了持证人身份对比的准确度。本专利技术的技术解决方案，其特点在于综合利用旅行证件的文本信息及人脸信息，通过决策级融合提高识别的准确率，整个流程分为三部分机读码信息提取，面部特征提取和身份比对。(1)机读码信息提取机读码区域位于证件图像下部，包含持证人的基本信息，机读码信息提取的主要包括自动定位机读码区域和自动字符识别，通过自动定位机读码区域确定机读码字符的区别，再通过自动字符识别得到持证人的文本信息，然后将此文本信息保存至数据库中；(2)面部特征提取检测证件图像中人脸图像位置，提取持证人面部特征，将此特征信息存入数据库中；(3)身份比对将文本特征和面部特征分别与重点人物数据库中的特征数据进行比对，并对两类比对结果在决策级进行融合，判断持证人是否为重点人物数据库中的成员。所述步骤(1)中的自动定位机读码区域的方法如下(1)在HSI空间采用Thue＝Black对图像进行彩色滤波，滤除背景图像；(2)采用膨胀操作完成滤波后字符图像的笔画粘连，保证每个字符构成一个完整的连通区域；(3)利用连通区域分析算法得到每一个连通区域的外接矩形，剔除尺寸超过限定范围的矩形，得到矩形集合；(4)根据外接矩形划定机读码区域。将外接矩形集合划分为若干不相交的子集，各子集同时满足(a)同一子集内的相邻矩形垂直位置相差较小；(b)同一子集内相邻矩形水平距离较小；(5)求出每个子集中所有矩形的最小外接矩形，外接矩形宽度超过图像宽度3/4的矩形区域即为机读码字符区域。所述步骤(1)中的自动字符识别方法如下(1)采用最小二乘法对每一行机读码字符外接矩形左上角像素坐标进行线性拟合，根据拟合得到的直线倾斜角对图像进行旋转；(2)对旋转后的图像进行二值化操作，得到机读码图像二值图像；(3)对上述二值图像利用字符外接矩形信息完成对字符的分割，得到每一个机读码字符的图像；(4)利用OCR算法识别上述字符图像，得到文本信息。同时得出机读码区域各字符图像与字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}，其中N为机读码区域字符的个数，SimVectorn为第n个字符模版的相似度向量，表示为SimVector＝{Simm|1≤m≤M}，其中M为字符模版的个数，Simm是这个字符与第m个字符模版的相似度。所述步骤(2)中的自动检测证件图像中人脸图像位置，提取持证人面部特征的方法步骤如下(1)离线训练。利用Adaboost算法从一个大特征样本中选取若干最有效的特征，并为每个特征生成一个弱分类器，通过将这些分类器进行级联组合得到一个强学习算法；(2)在线检测。使用大小不同的窗口扫描图像，使用学习阶段得到的分类器检测窗口图像，若该窗口图像通过了所有的弱分类器，即认为该子窗口图像为人脸图像；(3)对定位得到的人脸图像进行大小归一化、消除噪声、灰度归一化；(4)采用基于EHMM的特征算法为每一个人脸建立一个EHMM模型。所述的步骤(3)中的在决策级进行融合的融合方法为基于模糊综合的融合算法，其步骤如下(1)根据自动字符识别中得到的文本信息中‘＜’的位置将机读码字符分割成具有ICAO-9303标准所定义的语义字符串；(2)根据自动字符识别中所得到的相似度向量序列计算每个语义字符串与重点人物数据库中对应文本特征的相似度。得到待比对样本经过文本特征对比后的一组识别结果，表示为Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}。其中，ω1，i为文本特征与第i个样本oi的相似度；(3)采用EHMM模型的前向后向算法计算观察向量序列V与模型参数λ＝(π，A，Λ)的吻合概率p(V|λ)。从而得到待比对样本与重点人物数据库中所有面部特征EHMM模型的吻合概率序列，即待比对样本经面部特征比对的一组识别结果，表示为Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，1)，...，(o1，ω2，p)}。其中ω2，i＝p(V|λi)为待鉴别样本面部特征与第i个样本oi的相似度；(4)利用模糊集方法将文本特征比对和面部特征比对所得结果进行融合，模糊综合函数取S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或S(ω1,i,ω2,i)=ω1,i+ω2,i2;]]>(5)若maxS(ω1，i，ω2，i)＞T则该人员为第g个样本，否则该人员为非重点人物，其中T为相似度域值，g＝argimaxS(ω1，i，ω2，i)。本专利技术与现有技术相比的优点在于(1)可以自动识别证件图像中的文本信息，提高了人员信息采集的效率；(2)同时自动提取证件中包含的持证人面部特征信息，提高了机读旅行证件持证人的身份比对准确率；(3)提取人脸特征为涉外案件的侦察提供相应的依据。附图说明图1为本专利技术的机读旅行证件自动识别方法工作流程图；图2为本专利技术的机读码区域图像；图3为本专利技术采用的人脸图像的EHMM；图4为本专利技术的基于融合算法的身份比对框图。具体实施例方式如图1所示，本专利技术包括整个流程分为三部分机读码信息提取，面部特征提取和身份比对。1.机读码信息提取方法机读码信息提取分为两部分机读码区域定位和机读码识别，前者完成对机读码图像定位，后者完成对机读码图像的预处理和识别。通过分析，发现机读码区域字符具有以下特点(1)机读码区域字符尺寸一定；(2)所有字符均为黑色印刷体字符，采用OCR-B字体；(3)各字符笔画均相连。针对以上特点本方法采用基于连通区域分析的方法来定位机读码区域。由于机读码区域位置相对固定，为提高处理速度，仅在图像的下1/3区域内进行机读码区域提取，其方法步骤如下(1)首先在HSI(Hue Saturation Intensity)空间对图像进行彩色滤波，保留所有满足Thue＝Black的像素点，滤除背景本文档来自技高网...

【技术保护点】
一种基于信息融合的机读旅行证件识别方法，其特征在于步骤如下：（１）机读码信息提取：包括自动定位机读码区域和自动字符识别，通过自动定位机读码区域确定机读码字符的区别，再通过自动字符识别得到持证人的文本信息，然后将此文本信息保存至数据库中；（２）面部特征提取：检测证件图像中人脸图像位置，提取持证人面部特征，将此特征信息存入数据库中；（３）身份比对：将文本特征和面部特征分别与重点人物数据库中的特征数据进行比对，并对两类比对结果在决策级进行融合，判断持证人是否为重点人物数据库中的成员。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴遹，欧阳元新，薛玲，李超，盛浩，熊璋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11