一种卡片式文件图像识别方法和装置制造方法及图纸

本发明专利技术涉及一种卡片式文件图像识别方法和装置，所述方法包括：对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字和符号中的一种或多种；对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及生成包括所述多个类别的字段内容的文件识别文本。本发明专利技术采用多种辅助方式能够更加准确地识别出卡片式文件图像中的文字、数字、字符，并且能够从识别出的文本中抽取出类别，使得本发明专利技术的应用范围更加广泛。用范围更加广泛。用范围更加广泛。

【技术实现步骤摘要】
一种卡片式文件图像识别方法和装置


[0001]本专利技术涉及信息处理
，特别地涉及一种卡片式文件图像识别方法和装置。

技术介绍

[0002]名片是一种方便传递联系方式的个人信息载体，在日常商务活动、社交活动中起着重要的作用。在名片交换后，人们通常需要将名片中的一些重要信息数字化，即将接收到的纸制名片转化为电子名片或名片数据保存在手机、电脑中。另有一些应用场景，名片所有人需要将自己的纸制名片转成电子式名片，而后可以对名片上的内容进行编辑。还有一些应用场景，在采集个人数据时，可以通过采集个人名片上的数据，再根据具体的场景加以利用。
[0003]目前，大部分的名片识别方法采用光学字符识别(Optical CharacterRecognition，简称OCR)技术，所述的OCR技术是指对具有文本信息的图像文件进行分析、识别而获取文字及版面信息的过程。主要包括图像预处理、文字检测和文本识别等步骤。其中，所述图像预处理通常是针对图像的成像问题进行修正。常见的预处理过程包括几何变换(透视、扭曲、旋转等)、畸变矫正、去除模糊、图像增强和光线矫正等。文字检测即检测文本所在位置、范围及其布局。通常也包括版面分析和文字行检测等，主要解决的问题是文字在图像中的位置及范围。文本识别是在文本检测的基础上，对文本内容进行识别，将文本图像信息转化为文本信息。文字识别可以采用模板匹配的方式进行分类以识别出单个字，或者采用深度学习模型，引入上下文信息以提高识别的准确率。
[0004]根据应用场景，所述OCR技术分为识别特定场景的专用OCR技术和识别多种场景的通用OCR技术。对于应用在自然场景通用OCR技术，由于图片背景过于丰富，或者图片具有低亮度、低对比度、光照不均、透视变形和残缺遮挡等问题，或者文本的布局存在扭曲、褶皱、换向等问题，或者文字的字体多样、字号、字重、颜色不一等问题，都会导致OCR技术中的文本识别的难度高，从而准确率不高。而对于采用OCR技术进行的名片识别，第一个问题在于，由于名片背景图片、文字的排版布局、文字的字体、字号、颜色等千变万化，因而识别准确率不高，在现有的名片OCR识别过程中，需要用户在识别完后进行校对、审核，虽然有些现有技术中在校对、审核这一过程中参考了相关数据，如数据库中同一用户的其他名片数据，或者本地电话簿中的相关数据，但是最终仍然还需要人工校对。即使通过各种手段克服了第一个问题，然而仍然存在第二个问题，即：现有的名片OCR识别基本是在识别出文字为止，因而得到的是将名片上的文字堆砌在一起的一个文字集合，需要人为识别出人名、公司名称、地址等内容。无法直接对该文字集合直接加以利用。
[0005]对于一些与名片相类似的卡片式文件具有同样的问题，所述卡片式文件例如

技术实现思路

[0006]针对现有技术中存在的技术问题，本专利技术提出了一种卡片式文件图像识别方法和
装置，用以提供具有明确类别的名片识别本文。
[0007]为了解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了一种卡片式文件图像识别方法，其中包括以下步骤：
[0008]对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字、标点符号和特殊符号中的一种或多种；
[0009]对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；
[0010]对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及
[0011]生成包括所述多个类别字段内容的文件识别文本。
[0012]根据本专利技术的另一个方面，本专利技术还提供了一种卡片式文件图像识别装置，其中包括字符识别模块、图像特征提取模块、语义抽取模块和版式模块，其中，所述字符识别模块经配置以对目标卡片式文件图像进行文字识别，以得到文件字符集合；所述图像特征提取模块经配置以对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；所述语义抽取模块与所述字符识别模块和所述图像特征提取模块相连接，经配置以对所述文件字符集合中的字符进行语义抽取时，至少根据语义特征和字符的图像特征对字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；所述版式模块，经配置以按照预置格式对多个类别字段内容进行排版以生成包括所述多个类别字段内容的文件识别文本。
[0013]本专利技术在进行语义抽取时，利用图像特征加以辅助，从而能够更加准确地识别出卡片式文件图像中的文字、数字和字符等，并且能够从识别出的文本中抽取出类别，使得本专利技术的应用范围更加广泛。
附图说明
[0014]下面，将结合附图对本专利技术的优选实施方式进行进一步详细的说明，其中：
[0015]图1是根据本专利技术的一个实施例的卡片式文件图像识别方法流程图；
[0016]图2是根据本专利技术的一个实施例的名片示意图；
[0017]图3是根据本专利技术另一个实施例的名片示意图；
[0018]图4是根据本专利技术又一个实施例的名片示意图；
[0019]图5是根据本专利技术的一个实施例的名片识别装置原理框图；
[0020]图6是根据本专利技术的一个实施例的名片识别装置的应用示意图；
[0021]图7是基于图3所示应用实施例的名片识别流程；
[0022]图8是对图3所示名片进行图像、文本检测时的示意图；
[0023]图9是根据本专利技术的一个实施例的矫正图像的方法流程图；
[0024]图10是根据本专利技术的另一个实施例的矫正图像的方法流程图；
[0025]图11是根据本专利技术的又一个实施例的矫正图像的方法流程图；
[0026]图12是根据本专利技术的一个实施例的原始身份证的图片示意图；
[0027]图13是根据本专利技术的一个实施例的从原始图片中剪裁出来的身份证图像示意图；
[0028]图14是根据本专利技术的一个实施例的预测出第一关键点的身份证图像示意图；
[0029]图15是根据本专利技术的一个实施例的标出第一关键点的标准正向身份证图片示意图；
[0030]图16是根据本专利技术的一个实施例的矫正后得到的正向身份证图片示意图；
[0031]图17是根据本专利技术的一个实施例的图像矫正模块原理框图；
[0032]图18是根据本专利技术的另一个实施例的图像矫正模块原理框图；以及
[0033]图19是根据本专利技术的又一个实施例的图像矫正模块原理框图。
具体实施方式
[0034]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卡片式文件图像识别方法，其中包括：对目标卡片式文件图像进行文字识别，以得到文件字符集合，其中，所述字符包括文字、数字、标点符号和特殊符号中的一种或多种；对目标卡片式文件图像进行图像处理，至少得到每个字符的图像特征；对所述文件字符集合中的字符按语义进行抽取，至少根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分以得到多个类别的字段内容；以及生成包括所述多个类别字段内容的文件识别文本。2.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片时，对所述目标卡片式文件图像进行图像处理时进一步包括：识别第一字符前的图像区域；响应于在第一字符前识别到标志图像，建立所述第一字符与所述标志图像的对应关系；提取所述标志图像的图像特征以确定与其对应的类别；以及在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，根据第一字符所在字符集的语义特征和对应的标志图像确定所述第一字符所在字符集的类别。3.根据权利要求1所述的卡片式文件图像识别方法，其中当所述目标卡片式文件为名片或具有标准参数项的证件时，在对所述文件字符集合中的字符按语义进行抽取时进一步包括：对所述文件字符集合中的字符按语义进行预分割以得到多个分词集合；根据语义特征和字符的图像特征识别所述多个分词集合中的标志字符，其中所述标志字符至少包括代表类别的文字；以及响应于识别到标志字符，在根据语义特征和字符的图像特征对文件字符集合中的字符进行合并和/或拆分时，将标志字符后与其语义相符的字符集确定为所述标志字符代表的类别。4.根据权利要求1所述的卡片式文件图像识别方法，其中还进一步包括：将待识别的卡片式文件图像矫正为正向的目标卡片式文件图像。5.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：从原始待识别的卡片式文件图像中获取有效图像区域；识别所述有效图像区域的至少四个顶点；将所述至少四个顶点映射到一个正向卡片式文件的四个顶点，从而得到映射矩阵，其中，所述正向卡片式文件与所述原始待识别的卡片式文件为同一规格文件；以及根据所述映射矩阵对所述待识别的卡片式文件图像的有效图像区域进行图像透视变换，以得到正向目标卡片式文件图像。6.根据权利要求4所述的卡片式文件图像识别方法，其中进一步包括：从原始待识别的卡片式文件图像中获取有效图像区域；在所述有效图像区域中预测出预置位置的关键点；获取与原始待识别的卡片式文件类型相同的标准正向图像中的对应标准关键点；根据标准关键点及预测的关键点构造变换矩阵；以及
根据所述第一变换矩阵对所述原始待识别的卡片式文件的有效图像区域进行透视变换以获得正向目标卡片式文件图像。7.根据权利要求6所述的卡片式文件图像识别方法，其中所述预置位置的关键点为：包括有效图像区域的顶点、四个边的中点、两个对角线的交点和对角线交点与四个顶点之间的中点中的任意四个以上的第一关键点；和/或任意四个以上的对应标准参数项位置的第二关键点；和/或任意四个以上人物头像所在矩形框上的第三关键点；对应地，所述变换矩阵为根据第一关键点、第二关键点和第三关键点中的任意一种或多种组合及其对应的标准关键点得到的变换矩阵。8.根据权利要求6所述的卡片式文件图像识别方法，其中通过CPN模型预测所述关键点。9.根据权利要求5或6所述的卡片式文件图像识别方法，其中通过采用Yolo模型从原始待识别的卡片式文件图像中检测出有效图像区域。10.根据权利要求1所述的卡片式文件图像识别方法，其中还进一步包括：按照预置格式对所述多个类别字段内容进行排版以生成所述文件识别文本。11...

【专利技术属性】
技术研发人员：吴静垠，俞希林，
申请(专利权)人：前锦网络信息技术上海有限公司，
类型：发明
国别省市：