一种轻量级的票据OCR识别方法及系统技术方案

本发明专利技术提供了一种轻量级的票据OCR识别方法及系统，首先从票据设备获取混合票据数据；通过预处理模块对混合票据数据预处理，通过票据分类模块对旋转之后的票据图像进行组合分类；通过票据识别模块检测组合分类的票据图像文字所在区域，在该区域包含印章特定的目标文本时检测印章区域，之后提取所有区域的结构化字段逆袭，并利用先验知识和纠错字典进行纠错。本发明专利技术针对所有混合票据实现自动化分类具有较高的分类效率，且利用开源的文本识别模型和文本检测模型先微调再进入优化算法保证分类成本的同时满足分类精度要求，最后通过综合纠错可以提高返回结果的准确性。纠错可以提高返回结果的准确性。纠错可以提高返回结果的准确性。

【技术实现步骤摘要】
一种轻量级的票据OCR识别方法及系统


[0001]本专利技术属于票据识别
，具体涉及一种轻量级的票据OCR识别方法及系统。

技术介绍

[0002]当前，各个行业的业务办理中都会产生大量的票据，为了实现将这些数据巨大，种类烦多的票据信息进行电子化存储，需要消耗巨大的人力进行信息录入和信息校对的工作。OCR技术的发展使票据信息的自动录入成为可能，其远快于人工录入的速度能节约大量的人力资源，但是由于票据种类烦多，如果保证OCR识别的准确性，已成为现在急需解决的问题。
[0003]中国银行股份有限公司所申请的专利“票据识别方法及装置”(申请号201910921362.7)公开了一种票据识别方法及装置，通过获取待识别票据的OCR识别结果和每个票据元素对应的多个数据元组，计算每个票据元素与对应各个数据元组的相似度，将相似度最大的数据元组，确定为每个票据元素的识别结果，然后根据待识别票据中各个票据元素的识别结果，生成待识别票据的识别结果。该专利的不足在于，针对相似度的计算需要获取票据的真实信息，而对于数量巨大的票据来说，这本身就是一个非常大的工作量，实现的时候也需要付出巨大的人力资源。
[0004]深圳供电局有限公司所申请的专利“财务票据OCR识别及影像处理方法、系统及可读存储介质”(申请号202011303601.1)公布了一种财务票据OCR识别及影像处理方法、系统及可读存储介质。通过研究OCR图像识别技术在财务票据领域的应用，预先训练票据类型识别模型识别并获取所述票据影像的票据类型，根据所述票据的票据类型，基于预先训练的相应票据类型所对应的信息区域识别模型，识别并获取所述票据的多个待识别信息区域，然后识别并获取其中的全部字符信息，基于预先设置的查验规则进行票据查重及真伪校验，最终生成报销票据。该专利的不足在于，该专利提出的方法在票据OCR识别上的准确性完全依赖于预先训练的模型的准确率，而在实际情况中，纸质票据上会存在各种干扰信息，不能预料到所有误差情况，在这种情形下，模型识别的准确率并不能得到很好的保障。
[0005]福建新大陆软件工程有限公司所申请的专利“一种基于深度学习的票据OCR识别方法”(申请号2021107997035)提供了光学字符识别
的一种基于深度学习的票据OCR识别方法。通过采集大量的不同类型的票据图像，对各所述票据图像进行标注以及扩充，基于深度学习创建一票据分类模型、一文字检测模型、一文字方向分类模型以及一文字识别模型，分别对各类模型进行训练，利用训练后的模型进行票据的智能识别。该专利的不足在于，标注足够训练出高准确率模型的数据需要消耗十分巨大的人力，比如要标注足够精度的文字识别模型至少需要几百万张图片用于囊括大部分汉字的情况，同时只依赖深度学习模型会导致在异常情况下返回错误的结果。
[0006]综上，现有的票据识别方案存在识别效率、识别成本、识别效果上的缺陷。

技术实现思路

[0007]为了解决现有技术中存在的上述问题，本专利技术提供了一种轻量级的票据OCR识别方法及系统。本专利技术要解决的技术问题通过以下技术方案实现：
[0008]本专利技术提供了一种轻量级的票据OCR识别方法包括：
[0009]步骤1，从票据设备获取混合票据数据；
[0010]步骤2，通过预处理模块对混合票据数据进行票据定位以及清晰度判别，并对符合清晰度要求的票据图像进行去噪，再进行旋转；
[0011]步骤3，通过票据分类模块对旋转之后的票据图像进行组合分类；
[0012]步骤4，通过票据识别模块检测组合分类的票据图像所有文字所在区域，并对该区域进行文本识别得到文本内容，如果文本内容包含印章特定的目标文本则票据图像进行目标检测得到所有字段内容以及对应的坐标，并利用正则化匹配方式对字段内容和坐标进行匹配，得到结构化的字段信息；
[0013]步骤5，结合先验知识和错误字典，通过后处理纠错模块对结构化的字段信息进行纠错，得到票据识别结果。
[0014]本专利技术提供了一种轻量级的票据OCR识别系统包括：
[0015]获取模块，用于从票据设备获取混合票据数据；
[0016]预处理模块，用于对混合票据数据进行票据定位以及清晰度判别，并对符合清晰度要求的票据图像进行去噪，再进行旋转；
[0017]票据分类模块，用于对旋转之后的票据图像进行组合分类；
[0018]票据识别模块，用于检测组合分类的票据图像所有文字所在区域，并对该区域进行文本识别得到文本内容，如果文本内容包含印章特定的目标文本则票据图像进行目标检测得到所有字段内容以及对应的坐标，并利用正则化匹配方式对字段内容和坐标进行匹配，得到结构化的字段信息；
[0019]后处理纠错模块，用于结合先验知识和错误字典对结构化的字段信息进行纠错，得到票据识别结果。
[0020]有益效果：
[0021]1、现有技术针对特定发票进行分类。本专利技术针对混合票据，在进行票据识别前会对票据进行自动分类，大大节省了人工对票据分类的工作量。
[0022]2、现有技术要想实现票据的OCR识别有两种方式：第一种是使用专门的OCR识别设备，早期的OCR识别就是这样做的，但是专业的OCR识别设备价格不菲；第二种方式是使用现在很火的深度学习，但是训练深度学习模型所需的算力资源同样消耗庞大，而已有的开源模型在精度上并不能满足票据图片这个复杂应用场景，而将开源模型继续训练到商用程度依然要付出巨大的成本。本专利技术将深度学习模型和模式匹配等辅助手段结合，使用开源模型进行微调，针对特殊的字段设计特定的识别方式，最终仅需使用较小的算力就能得到一个高精度的票据识别模型。
[0023]3、现有技术使用最多的方式是使用深度学习为票据识别任务训练各种模型，为了满足票据识别的精度要求，往往使用的是大参数模型，这类模型不仅训练过程需要消耗更多的算力和时间，在识别过程上也会花费更多的时间，这对庞大的票据数据量来说是一个巨大的缺陷。本专利技术所使用的深度学习模型在可接受精度范围内选择的最小的模型，这会
大大提升票据识别的速率，同时本专利技术通过提出一系列辅助识别算法来弥补使用轻量级模型带来的精度损失，最终保证了票据识别的高效准确。
[0024]4、现有的深度学习技术只能根据模型的训练数据推测识别结果的可信度，但是这并不代表识别结果完全正确，并且现有的使用深度学习技术完成的票据识别专利技术也没有对识别结果正确性的判定，这同样会加重公司票据录入的工作量。本专利技术通过收集各类资料以及提取票据字段规则，完成了对票据识别结果的判定，同时本专利技术提供了一特定字段的纠错算法，对于不能纠错的结果也给出了准确性不确定的提示，保证了返回结果的置信度。
[0025]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0026]图1是本专利技术提供的整体结构示意图；
[0027]图2是本专利技术提供的预处理模块流程图；
[0028]图3是本专利技术提供的票据分类模块的处理流程图；
[0029]图4是本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量级的票据OCR识别方法，其特征在于，包括：步骤1，从票据设备获取混合票据数据；步骤2，通过预处理模块对混合票据数据进行票据定位以及清晰度判别，并对符合清晰度要求的票据图像进行去噪，再进行旋转；步骤3，通过票据分类模块对旋转之后的票据图像进行组合分类；步骤4，通过票据识别模块检测组合分类的票据图像所有文字所在区域，并对该区域进行文本识别得到文本内容，如果文本内容包含印章特定的目标文本则票据图像进行目标检测得到所有字段内容以及对应的坐标，并利用正则化匹配方式对字段内容和坐标进行匹配，得到结构化的字段信息；步骤5，结合先验知识和错误字典，通过后处理纠错模块对结构化的字段信息进行纠错，得到票据识别结果。2.根据权利要求1所述的轻量级的票据OCR识别方法，其特征在于，所述预处理模块包括依次连接的格式转化层、票据定位处理层、二值化处理层、灰度化处理层以及图像角度矫正层。3.根据权利要求2所述的轻量级的票据OCR识别方法，其特征在于，步骤2包括：步骤21，判断所述混合票据的数据格式是图像类型还是非图像类型；步骤22，如果所述混合票据的数据格式为非图像类型，则通过格式转化层将混合票据转化为票据图像，如果所述混合票据的数据格式为图像类型，则将其作为票据定位处理层的输入；步骤22，通过所述数据定位处理层，对票据图像中的有效信息进行定位得到有效信息的定位区域；其中，票据图像为数据格式为图像类型的混合票据或转化得到的票据图像；步骤23，将所述定位区域作为输入图像，并对该输入图像依次进行灰度化处理、二值化处理，得到黑白的票据图片；步骤24，对票据图片的方向进行判别，并按照判别结果旋转票据图片的方向使所有票据图片统一为正方向。4.根据权利要求1所述的轻量级的票据OCR识别方法，其特征在于，所述票据识别模块包括基于模式的分类层、MobileNetV2分类层、分类结果融合层；所述基于模式的分类层与所述MobileNetV2分类层并行，输出均连接至分类结果融合层，所述分类结果融合层输出票据种类。5.根据权利要求4所述的轻量级的票据OCR识别方法，其特征在于，步骤3包括：步骤31，将旋转之后的票据图像通过基于模式的分类层以及MobileNetV2分类层进行分类；其中，基于模式的分类...

【专利技术属性】
技术研发人员：褚华，李青山，杨雨函，周洋涛，李佳楠，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：