一种基于神经网络的发票识别方法和系统技术方案

本发明专利技术公开了一种基于神经网络的发票识别方法和系统，涉及计算机技术领域，所述方法通过按发票内容将发票进行分切，通过第一神经网络模型识别分切图中的文字框，基于文字框的位置区域将分切图进一步分切，获得文字框图，以删除多余空白区域，一方面减少计算量，提高识别效率，另一方面同时删除了发票上的格线，避免了格线对文字识别的干扰，提高文字定位的准确率；基于第二神经网络模型识别文字框图的文字；将所识别的文字基于文字框图的位置区域拼接，获得分切图的文字内容，从而获得发票的识别结果。识别结果。识别结果。

【技术实现步骤摘要】
一种基于神经网络的发票识别方法和系统


[0001]本专利技术涉及计算机
，具体涉及一种基于神经网络的发票识别方法和系统。

技术介绍

[0002]发票管理是财务管理的一项重要事项，需要投入大量的人力和物力，采集原始票据的以及信息录入，繁重的票据录入和管理工作，既耗费人力，又耗费时间影响了办公效率。
[0003]目前的发票识别主要采用图像处理，并采用基于Tesseract的OCR(Optical Character Recognition,光学字符识别)引擎识别文字，但是单纯采用图像处理，受到发票上格线的干扰，对发票上的文字的定位准确率受限；且Tesseract的文字识别速度较慢，识别的准确率也无法提升，

技术实现思路

[0004]针对现有技术中存在的上述技术问题，本专利技术提供一种基于神经网络的发票识别方法和系统，便于准确识别发票上的文字，并且便于定位发票上的文字。
[0005]本专利技术公开了一种基于神经网络的发票识别方法，所述方法包括：根据发票内容的位置区域，将发票进行分切，获得分切图；基于第一神经网络模型识别所述分切图中的文字框；基于所述文字框的位置区域，将所述分切图分切为文字框图；基于第二神经网络模型识别所述文字框图中的文字；根据所述文字框的位置区域和识别的文字获取所述分切图的拼接结果；根据所述分切图的拼接结果，获取发票的识别结果。
[0006]优选的，所述方法还包括发票预处理的方法：将所述发票转换成发票图片；将所述发票图片转正。
[0007]优选的，票图片转正的方法包括：基于霍夫变换将所述发票图片进行倾斜矫正；获取所述发票图片中二维码或印章的位置，根据二维码或印章的位置关系，获取发票图片的朝向；根据所述发票图片的朝向，将所述发票图片转正。
[0008]优选的，将发票进行分切，并获得分切图的方法包括：根据所述发票内容与二维码或印章的位置关系，获取所述发票内容的位置区域；根据所述位置区域，将所述发票图片分切成分切图。
[0009]优选的，所述第一神经网络模型包括CTPN模型，获取所述CTPN模型的方法包括：获取预设数量的发票图片样本；按发票内容将所述发票图片样本分切，获得分切样本；为所述分切样本设置标签，获得训练集，所述标签为分切样本中的文字框坐标；基于CTPN神经网络，对所述训练集进行训练，获得所述第一神经网络模型。
[0010]优选的，获取所述第二神经网络模型的方法包括：根据发票中的文字特征，建立训练样本和第二样本集；将所述训练样本中文字的字符，作为训练样本的标签；基于DenseNet+CTC神经网络，对所述第二样本集进行训练，获得第二神经网络模型。
[0011]优选的，根据所述文字框和识别的文字获取上述分切图拼接结果的方法包括：将文字框的内容与所述分切图的内容或发票内容进行匹配；校验文字框内容与发票内容值的格式，获取分切图内容或发票内容的值。
[0012]优选的，根据文字框的位置区域和文字获取分切图拼接结果的方法包括：获取文字框的坐标区域；基于横坐标或纵坐标区域，将文字框内容与分切图或发票内容进行匹配，获取第一内容；基于横坐标或纵坐标区域，为所述第一内容匹配值，获取分切图内容或发票内容。
[0013]优选的，本专利技术的方法还包括格式校验的方法：根据第一内容值的格式特征，对第一内容的匹配值进行校验。
[0014]本专利技术还提供一种用于实现上述方法的系统，包括分切模块、第一神经网络模块、文字框图分切模块、第二神经网络模块、文字框拼接模块和分切图拼接模块，所述分切模块用于根据发票内容的位置区域，将发票进行分切，获得分切图；所述第一神经网络模块用于基于第一神经网络模型识别所述分切图中的文字框；所述文字框图分切模块用于基于所述文字框的位置区域，将所述分切图分切为文字框图；所述第二神经网络模块用于基于第二神经网络模型识别所述文字框图中的文字；所述文字框拼接模块用于根据所述文字框和识别的文字获取分切图的拼接结果；所述分切图拼接模块用于根据所述分切图的拼接结果，获取发票的识别结果。
[0015]与现有技术相比，本专利技术的有益效果为：本专利技术通过按发票内容将发票进行分切，通过第一神经网络模型识别分切图中的文字框，基于文字框的位置区域将分切图进一步分切，删除多余空白区域，一方面减少计算量，提高识别效率，另一方面同时删除了发票上的格线，避免了格线对文字识别的干扰，提高文字定位的准确率；基于第二神经网络模型识别文字框图的文字；将所识别的文字基于文字框图的位置区域拼接，获得分切图的文字内容，从而获得发票的识别结果。
附图说明
[0016]图1是本专利技术的发票识别方法流程图；
[0017]图2是发票预处理的方法流程图；
[0018]图3是将所述发票图片转正的方法流程图；
[0019]图4是将发票进行分切，并获得分切图的方法流程图；
[0020]图5是发票代码的分切图；
[0021]图6是根据所述文字框和文字获取分切图拼接结果的方法流程图；
[0022]图7是根据文字框的位置区域和文字获取分切图的拼接结果的方法流程图；
[0023]图8是发票金额的文字框的识别示意图；
[0024]图9是获取所述CTPN模型的方法流程图；
[0025]图10是获取所述第二神经网络模型的方法流程图；
[0026]图11是本专利技术的系统逻辑框图。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例
中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]下面结合附图对本专利技术做进一步的详细描述：
[0029]一种基于神经网络的发票识别方法，如图1所示，所述方法包括：
[0030]步骤101：根据发票内容的位置区域，将发票进行分切，获得分切图。发票具有固定的格式和分布，如发票抬头、机器码、发票代码、金额税率和销售方信息等具有特定的位置区域，将这些特定的位置区域分切成不同的分切图，其中，也可以获得各个分切图的内容，如机器码的位置区域的分切图，其内容为机器码的标志，及其具体的值。
[0031]步骤102：基于第一神经网络模型识别所述分切图中的文字框。所述第一神经网络模型可以采用CTPN模型。但不限于此，如采用MSER(Maximally Stable Extrernal Regions，最大稳定极值区域)算法。
[0032]所述CTPN模型基于CTPN文字检测算法，结合了CNN与LSTM深度网络，能有效的检测出复杂场景的横向分布的文字和文字框。
[0033]步骤103：基于所述文字框的位置区域，将所述分切图分切为文字框图。通过文字框图去除大量空白区域，减少计算量。
[0034]步骤104：基于第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的发票识别方法，其特征在于，所述方法包括：根据发票内容的位置区域，将发票进行分切，获得分切图；基于第一神经网络模型识别所述分切图中的文字框；基于所述文字框的位置区域，将所述分切图分切为文字框图；基于第二神经网络模型识别所述文字框图中的文字；根据所述文字框的位置区域和识别的文字获取所述分切图的拼接结果；根据所述分切图的拼接结果，获取发票的识别结果。2.根据权利要求1所述的发票识别方法，其特征在于，所述方法还包括发票预处理的方法：将所述发票转换成发票图片；将所述发票图片转正。3.根据权利要求2所述的发票识别方法，其特征在于，所述发票图片转正的方法包括：基于霍夫变换将所述发票图片进行倾斜矫正；获取所述发票图片中二维码或印章的位置，根据所述二维码或印章的位置关系，获取发票图片的朝向；根据所述发票图片的朝向，将所述发票图片转正。4.根据权利要求3所述的发票识别方法，其特征在于，将发票进行分切，并获得分切图的方法包括：根据所述发票内容与二维码或印章的位置关系，获取所述发票内容的位置区域；根据所述位置区域，将所述发票图片分切成分切图。5.根据权利要求1或4所述的发票识别方法，其特征在于，所述第一神经网络模型包括CTPN模型，获取所述CTPN模型的方法包括：获取预设数量的发票图片样本；按发票内容将所述发票图片样本分切，获得分切样本；为所述分切样本设置标签，获得训练集；其中，所述标签为分切样本中的文字框坐标；基于CTPN神经网络，对所述训练集进行训练，获得所述第一神经网络模型。6.根据权利要求1所述的发票识别方法，其特征在于，获取所述第二神经网络模型的方法包括：根据发票中的文字特征，建立训...

【专利技术属性】
技术研发人员：漆孟冬，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：