票据的结构化信息的提取方法及电子设备技术

本申请提供一种票据的结构化信息的提取方法及电子设备，该方法包括：对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；针对每个文本行，将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到文本行的多模态融合特征；根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到票据图像的结构化信息。从而无需为每一种票据单独定制一种模板，提升了票据结构化信息提取的自动化程度。提升了票据结构化信息提取的自动化程度。提升了票据结构化信息提取的自动化程度。

【技术实现步骤摘要】
票据的结构化信息的提取方法及电子设备


[0001]本申请涉及图像处理
，特别涉及一种票据的结构化信息的提取方法及电子设备。

技术介绍

[0002]近年来，随着我国医疗信息化的不断深入发展，医疗票据电子化已然成为一种趋势。但由于报销单位无法直接获取用户的医疗详细信息，导致用户在报销时需提交原始医疗单据，然后由报销人员手工录入系统，逐项核对后按照特定的报销比例和报销金额进行报销。在手工录入过程中存在很多的弊端，一方面是人工录入会不可避免的出现漏项错项问题，另一方面需配置大量人力资源进行高度重复性工作，这不仅会给医疗工作人员带来很大的压力，导致报销流程耗时费力且效率低。
[0003]对于票据结构化识别，在OCR(Optical Character Recognition，光学字符识别)技术把图像中的文字信息识别出来以后，需要考虑根据票据的结构化信息把文字识别结果进行结构化处理，形成医疗票据明细结果。但是，现有的技术中，结构化是基于模板规则实现，即使是同一种票据，如住院发票，需要定制一个模板，这无疑限制其应用。此外，这类基于模板规则实现的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种票据的结构化信息的提取方法，其特征在于，包括：对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息。2.根据权利要求1所述的方法，其特征在于，在所述对票据图像进行光学字符识别之前，所述方法还包括：采用渐进式训练策略，训练得到质量分类模型；通过所述质量分类模型对所述票据图像进行模糊判断和完整性判断。3.根据权利要求2所述的方法，其特征在于，所述对票据图像进行光学字符识别，包括：当所述质量分类模型输出的模糊判断结果为不模糊以及完整性判断结果为完整时，对所述票据图像进行光学字符识别。4.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征，包括：针对每个文本行，根据所述文本行的位置信息以及其余文本行的位置信息，得到所述文本行相对其余文本行的相对位置特征；针对每个文本行，根据所述文本行的文本信息，通过已训练的特征提取模型提取所述文本信息的文本语义特征；针对每个文本行，根据所述文本行的位置信息，将所述位置信息对应的特征图进行感兴趣区域池化操作，得到所述文本行的视觉特征。5.根据权利要求1所述的方法，其特征在于，所述针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征，包括：针对每个文本行，基于自注意力机制将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征。6.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系，包括：以每个文本行为节点，任意两个节点之间相连，构建初始结构图；根据每个文本行的相对位置特征和多模态融合特征，通过...

【专利技术属性】
技术研发人员：王雷，张睿，燕鹏举，周健，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：