一种基于深度学习的多类别发票识别方法及系统技术方案

本发明专利技术属于图像处理领域，提供了一种基于深度学习的多类别发票识别方法及系统。该方法包括，获取待处理的发票；基于待处理的发票，采用发票检测模型，得到发票区域和类别；对所述待处理的发票进行预处理；基于预处理后的发票，结合该发票对应的类别，采用与该类别对应的发票特定文本区域检测模型，得到重要文本块区域，进而切分成单行文本区域；基于单行文本区域，采用文本识别模型，得到文本信息；基于文本信息，对字段信息进行正则化校正，得到发票结构化文本信息，最终可以对火车票、联式增值税发票(专用发票、普通发票、电子发票)、卷式增值税发票、定额发票中的内容进行高准确率的识别。别。别。

【技术实现步骤摘要】
一种基于深度学习的多类别发票识别方法及系统


[0001]本专利技术属于图像处理领域，尤其涉及一种基于深度学习的多类别发票识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]发票报销是财务管理的重要组成部分，是彰显财务管理质量和服务水平的基础。但是大部分发票报销工作依旧需要人工参与完成，不但给税务人员增加了很多重复性工作，还占用了报销者大量额外精力。分析现有的发票识别方法，主要存在以下问题：
[0004]1、当前现有的发票有：联式增值税发票(专用发票、普通发票、电子发票)、卷式增值税发票、火车票、出租车票、定额发票；现有的发票识别系统仅是对已知类别的、单种类的发票进行文本识别，无法做到同时对多张未知的、不同种类的发票进行识别，需求功能受限。
[0005]2、实际发票报销流程中，经常会有将多张不同种类发票平铺黏贴在一张A4纸上进行识别的需求；而现有的发票识别系统，仅能对拍摄画面中单张、单种类发票进行文本识别，需要人工进行调整，功能受限，不智能化、自动化。
[0006]3、现有发票识别系统在发票预处理阶段仅能对些许倾斜的发票进行校正，但当发票旋转90
°
、180
°
、270
°
放置时，则无法自动化处理，需要人工干预摆正，无疑增加了工作人员负担。
[0007]4、当前现有的发票识别系统仅具有单一发票文本识别的功能，不具备对联式增值税发票(专用发票、普通发票、电子发票)、卷式增值税发票、火车票、出租车票、定额发票的分类功能，不利于发票分类归档处理。
[0008]5、发票识别系统在对发票的特定区域进行定位时，现有的目标检测算法运行速度较慢，漏检率、错检率较高，发票识别耗时较多，准确率受限。
[0009]6、联式增值税发票中的专票、普票与电子发票在结构布局上存在些许差异，现有的区域检测流程检测效果存在缺陷，导致识别准确率不高。

技术实现思路

[0010]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于深度学习的多类别发票识别方法及系统，本专利技术利用现实财务报销场景中的海量发票标注训练数据集，对联式增值税发票、卷式增值税发票、火车票、出租车票、定额发票进行标注，训练Yolov5发票检测模型，得到的检测模型可以极好地对现实场景中平铺黏贴在A4纸上面的发票进行检测，并给出类别，得到文本内容信息，置信度极高，具有很好的泛化性。
[0011]为了实现上述目的，本专利技术采用如下技术方案：
[0012]本专利技术的第一个方面提供一种基于深度学习的多类别发票识别方法。
[0013]一种基于深度学习的多类别发票识别方法，包括：
[0014]获取待处理的发票；
[0015]基于待处理的发票，采用发票检测模型，得到发票区域及类别；
[0016]对所述待处理的发票进行预处理；
[0017]基于预处理后的发票，结合该发票的类别，采用与该类别对应的发票特定文本区域检测模型，得到重要文本块区域，进而切分成单行文本区域；基于单行文本区域，采用文本识别模型，得到文本信息；基于文本信息，对字段信息进行校正，得到发票结构化文本信息。
[0018]本专利技术的第二个方面提供一种基于深度学习的多类别发票识别系统。
[0019]一种基于深度学习的多类别发票识别系统，包括：
[0020]数据获取模块，其被配置为：获取待处理的发票；
[0021]类别识别模块，其被配置为：基于待处理的发票，采用发票检测模型，得到发票区域及类型；
[0022]预处理模块，其被配置为：对所述待处理的发票进行预处理；
[0023]文本识别模块，其被配置为：基于预处理后的发票，结合该发票对应的类别，采用与该类别对应的发票特定文本区域检测模型，得到重要文本块区域，进而切分成单行文本区域；基于单行文本区域，采用文本识别模型，得到文本信息；基于文本信息，对字段信息进行正则化校正，得到发票结构化文本信息。
[0024]本专利技术的第三个方面提供一种计算机可读存储介质。
[0025]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于深度学习的多类别发票识别方法中的步骤。
[0026]本专利技术的第四个方面提供一种计算机设备。
[0027]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于深度学习的多类别发票识别方法中的步骤。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029](1)本专利技术能够同时对联式增值税发票(专用发票、普通发票、电子发票)、卷式增值税发票、火车票、出租车票、定额发票等多张未知的、不同种类的发票进行识别。
[0030](2)本专利技术能够自动对一张A4纸上多张不同种类的发票进行文本识别，不需要人工调整。
[0031](3)本专利技术能够自动校正发票的角度，无需要人工干预摆正。
[0032](4)本专利技术能够对联式增值税发票(专用发票、普通发票、电子发票)、卷式增值税发票、火车票、出租车票、定额发票进行分类识别，有利于发票分类归档处理。
[0033](5)本专利技术能够对发票的特定区域进行定位，目标检测算法运算速度快，漏检率、错检率低，发票识别耗时短，准确率高。
[0034](6)本专利技术能够识别联式增值税发票中的专票、普票与电子发票在结构布局上的差异，识别准确率高。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0036]图1是本专利技术实施例示出的基于深度学习的多类别发票识别方法的流程图。
具体实施方式
[0037]下面结合附图与实施例对本专利技术作进一步说明。
[0038]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0039]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0040]需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多类别发票识别方法，其特征在于，包括：获取待处理的发票；基于待处理的发票，采用发票检测模型，得到发票的类型；对所述待处理的发票进行预处理；基于预处理后的发票，结合该发票对应的类别，采用与该类别对应的发票特定文本区域检测模型，得到重要文本块区域，进而切分成单行文本区域；基于单行文本区域，采用文本识别模型，得到文本信息；基于文本信息，对字段信息进行正则化校正，得到发票结构化文本信息。2.根据权利要求1所述的基于深度学习的多类别发票识别方法，其特征在于，所述发票的类别包括：火车票、联式增值税发票、卷式增值税发票和定额发票。3.根据权利要求1所述的基于深度学习的多类别发票识别方法，其特征在于，所述预处理包括对待处理的发票进行边缘检测、轮廓检测、仿射变换和/或角度旋转校正，得到预处理后的发票。4.根据权利要求1所述的基于深度学习的多类别发票识别方法，其特征在于，所述发票文本区域检测模型包括：火车票文本区域检测模型、联式增值税发票文本区域检测模型、卷式增值税发票文本区域检测模型和定额发票文本区域检测模型。5.根据权利要求4所述的基于深度学习的多类别发票识别方法，其特征在于，所述卷式增值税发票文本区域检测模型检测的过程包括：基于预处理后的卷式增值税发票，采用卷式增值税发票文本区域检测模型，得到文本信息块区域，对文本信息块区域，采用图像处理、单行文本检测模型，得到单行文本区域。6.根据权利要求4所述的基于深度学习的多类别发票识别方法，其特征在于，所述联式增值税发票文本区域检测模型检测的过程包括：基于预处理后的发票，采用联式增值税发票文本区域检测模型，对发票抬头区域进行文本识别，得到联...

【专利技术属性】
技术研发人员：郭庆汝，孙卫超，赵振江，
申请(专利权)人：山东国子软件股份有限公司，
类型：发明
国别省市：