一种固定版式目标图像要素信息提取方法及其系统技术方案

本发明专利技术属于图像处理技术领域，具体涉及一种固定版式目标图像要素信息提取方法及其系统。具体步骤为：对待提取的图像信息进行获取，并对获取的图像信息的轮廓和比例进行识别，得到目标图像；利用特征匹配算法检测目标图像，计算目标图像的偏移量，确认目标图像是否需要旋转；利用超分辨算法使目标图像清晰化，并进行定位和识别；提取识别结果中的字段，利用大数据和提取字段之间的关联规则交叉验证识别结果。该方法可在较低分辨率、模糊、有水印、有背景文字干扰等复杂场景情况下对固定板式文本识别取得更高的准确率和抗噪声干扰性；提高了按票据张数为单位的准确率，同时对校验不通过的票据给出识别错误的信息提示，方便人工修正。正。正。

【技术实现步骤摘要】
一种固定版式目标图像要素信息提取方法及其系统


[0001]本专利技术属于图像处理
，涉及一种固定版式目标图像要素信息提取方法及其系统。

技术介绍

[0002]在商业银行、房地产公司等众多企业的日常业务场景中，会产生大量的证件、票据目标图像。其中，很多重要的价值信息需要录入数据库中，若依赖人工手动录入，存在时间效率低下，人力成本高，准确率堪忧等问题。在人工智能化的今天，利用ocr技术实现信息的自动提取已成为主流趋势。
[0003]但证件、票据的ocr识别存在一些挑战。一方面，为了防止信息泄露，或者被利用盗取谋取私利，通常会在目标图像上添加水印，尤其是深色的文字水印，例如“仅供xxx使用，复印无效”，这些水印与识别对象上的文字重叠，给文字识别带来困难。另一方面，目标图像的质量(清晰度)依赖扫描机器的硬件条件，会导致图像清晰度质量参差不齐，这为目标图像的ocr信息提取工作增加难度。现有的大多ocr识别方法的场景适用于高分辨率的图像，不能应用于上述场景。

技术实现思路

[0004]本专利技术公开了一种固定版式目标图像要素信息提取方法及其系统，以解决现有技术的上述以及其他潜在问题中任一问题。
[0005]为了达到上述技术方案，本专利技术的技术方案是：一种固定版式目标图像要素信息提取方法，该方法具体包括以下步骤：
[0006]步骤1：自适应抠图，实现识别对象的前景和背景分离。实际场景中，目标图像可能存在一些较为复杂的背景，例如非提取要素的文字干扰信息等，因此，通过抠图技术将识别对象精确的提取出来，能够排除背景文字的干扰，并且可以帮助我们更好地利用识别要素地相对位置信息。通常情况下，基于轮廓检测的抠图准确率要高于特征匹配，因此本专利技术采用自适应抠图方法，即先通过轮廓检测实现抠图，不成功再进行特征匹配。此方法较大程度上提高了抠图准确率。详细如下：
[0007]a)利用图像卷积、形态学等数字处理技术提取图像中轮廓信息；
[0008]b)判别所提取的轮廓面积大小或者比例等信息，符合要求的即为目标轮廓；
[0009]c)若所有提取出来的轮廓面积或者比例条件均不满足，继而利用特征检测方法(sift特征检测，surf特征检测等)和单应性匹配完成抠图，实现思路：制作与票据类型相对应的匹配模板，利用sift等特征匹配算法计算模板特征点集与目标图像特征点集间的变换矩阵，通过该变换矩阵，实现识别对象的透视变换，从而完成抠图。
[0010]步骤2：利用具有旋转不变性的特征检测进行单应性匹配，实现图像方向矫正，实现思路：通过计算模板特征点集和正反面图像特征点集的变换矩阵，求得模板图像左上角顶点坐标的偏移量。设目标图像的宽高分别为w，h,若偏移量>min(h,w)，则图像旋转180度。
[0011]步骤3：通过水印模板和目标图像的特征匹配定位水印位置，对水印区域像素值实施Kmeans聚类，通过文字像素和水印像素的差异，确定文字和水印像素值的分水岭阈值，将属于水印像素值的区域用背景像素值进行填补继而实现水印去除；
[0012]步骤4：利用GAN(对抗生成网络)技术，实现图像增强，提高图像的清晰度。具体操作：采用自定义盲图质量评价指标：iqa_score＝w1*niqe_score+w2*brisque_score+w3*laplace_score(niqe,brisque,laplace均是已知的图像质量评价指标)，挑选出清晰的目标图像，对清晰目标图像添加模糊、噪声等生成模糊目标图像。将模糊目标图像作为GAN网络模型输入，清晰目标图像作为网络输出，从而进行有监督学习网络训练，依托于训练模型，实现目标图像清晰化
[0013]步骤5：对目标图像，按照目标要素的相对位置提取待识别矩形框；
[0014]步骤6：利用文字识别模型对待识别要素矩形框图像进行文字识别，得到识别结果；
[0015]步骤7：利用大数据交叉验证识别结果，实现将部分要素识别有误的信息进行矫正，达到减小识别误差的效果。例如：地址要素信息，可将识别结果前三级(省市区)地址与三级行政地址库相匹配，可遍历计算地址库中各地址与识别结果的编辑距离测算误差大小，选取编辑距离最小的进行地址前三级修正；
[0016]步骤8：利用要素信息识别的联合矫正方法，进一步确保要素信息提取的准确性。某些识别要素之间据有相关性，例如个人信息中出生年月和身份证号码相关，票据中大写金额和数字金额相关。
[0017]本专利技术的有益效果是：该方法可在较低分辨率、模糊、有水印、有背景文字干扰等复杂场景情况下对固定板式文本识别取得更高的准确率和抗噪声干扰性；提高了按票据张数为单位的准确率，同时对校验不通过的票据给出识别错误的信息提示，方便人工修正。
附图说明
[0018]图1为本专利技术一种固定版式目标图像要素信息提取方法的流程框图。
[0019]图2为本专利技术一种固定版式目标图像要素信息提取系统的逻辑框图。
[0020]图3为采用本专利技术方法对身份证识别流程图。
[0021]图4为采用本专利技术方法对票据识别流程图。
具体实施方式
[0022]下面结合附图和具体实施例对本专利技术的技术方案做进一步说明。
[0023]如图1所示，本专利技术一种固定版式目标图像要素信息提取方法，该方法具体包括以下步骤：
[0024]S1)对待提取的图像信息进行获取，并对获取的图像信息的轮廓和比例进行识别，得到目标图像；
[0025]S2)利用特征匹配算法检测目标图像，计算目标图像的偏移量，根据偏移量确认目标图像是否需要旋转；
[0026]S3)利用超分辨算法使目标图像清晰化，并进行定位和识别；
[0027]S4)提取识别结果中的字段，利用大数据和提取字段之间的关联规则交叉验证识
别结果。
[0028]该方法还包括去除水印步骤：将S1)得到的目标图像基于特征匹配判断是否存在水印，如果存在水印完成水印定位，通过像素聚类的方法，实现识别要素信息和水印信息的分离，去除水印信息。
[0029]所述步骤具体如下：
[0030]通过水印模板和目标图像的特征匹配定位水印位置，
[0031]对水印区域的像素值进行Kmeans聚类，通过文字像素和水印像素的差异，确定文字和水印像素值的分水岭阈值；
[0032]将属于水印像素值的区域用背景像素值进行填补继而实现水印去除。
[0033]所述S1)的具体步骤为：
[0034]S1.1)利用图像数字处理技术提取图像中轮廓信息；
[0035]S1.2)提取图像中轮廓信息根据条件判别所提取的轮廓面积大小或者比例是否符合满足要求；
[0036]如果轮廓面积大于等于0.1的图像面积并且小于等于0.95的图像面积，视为满足要求，则为图像目标，执行S2)；
[0037]否则执行S1.3)；
[0038]S1.3)利用特征匹配算法计算模板特征点集与目标图像特征点集间的变换矩阵，通过变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种固定版式目标图像要素信息提取方法，其特征在于，该方法具体包括以下步骤：S1)对待提取的图像信息进行获取，并对获取的图像信息的轮廓和比例进行识别，得到目标图像；S2)利用特征匹配算法检测目标图像，计算目标图像的偏移量，根据偏移量确认目标图像是否需要旋转；S3)利用超分辨算法使目标图像清晰化，并进行定位和识别；S4)利用大数据和信息之间的关联规则交叉验证识别结果。2.根据权利要求1所述的方法，其特征在于，该方法还包括去除水印步骤：将S1)得到的目标图像基于特征匹配判断是否存在水印，如果不存在水印，则执行S2)，如果存在水印则完成水印定位，并去除水印信息，再执行S2)。3.根据权利要求2所述的方法，其特征在于，所述步骤具体如下：通过水印模板和目标图像的特征匹配定位水印位置，对水印区域的像素值进行Kmeans聚类，通过文字像素值和水印像素值的差异，确定文字像素值和水印像素值的分水岭阈值；将属于水印像素值的区域用背景像素值进行填补继而实现水印去除。4.根据权利要求1或2所述的方法，其特征在于，所述S1)的具体步骤为：S1.1)利用图像数字处理技术提取图像中轮廓信息；S1.2)如果提取的轮廓面积是图像面积的0.1
‑
0.95倍之间，视为满足要求，则为图像目标，执行S2)；否则执行S1.3)；S1.3)利用特征匹配算法计算得到模板特征点集与目标图像特征点集间的变换矩阵，通过变换矩阵实现识别对象的透视变换，得到图像目标。5.根据权利要求4所述的方法，其特征在于，所述S2)的具体步骤为：S2.1)利用特征匹配算法计算模板特征点集和目标图像特征点集的变换矩阵，S2.2)根据变换矩阵求得目标图像左上角顶点坐标的偏移量，设目标图像的宽高分别为w，h,若偏移量>min(h,w)，则目标图像旋转180度；若偏移量＜min(h,w)，则目标图像不变。6.根据权利要求5所述的方法，其特征在于，所述S3)的具体步骤为：S3.1)将S2.2)处理后目标图像，利用图像质量评价方法...

【专利技术属性】
技术研发人员：李振，鲁宾宾，刘挺，孟天祥，丁华富，
申请(专利权)人：民生科技有限责任公司，
类型：发明
国别省市：