票据的结构化信息的提取方法及电子设备技术

本申请提供一种票据的结构化信息的提取方法及电子设备，该方法包括：对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；针对每个文本行，将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到文本行的多模态融合特征；根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到票据图像的结构化信息。从而无需为每一种票据单独定制一种模板，提升了票据结构化信息提取的自动化程度。提升了票据结构化信息提取的自动化程度。提升了票据结构化信息提取的自动化程度。

【技术实现步骤摘要】
票据的结构化信息的提取方法及电子设备


[0001]本申请涉及图像处理
，特别涉及一种票据的结构化信息的提取方法及电子设备。

技术介绍

[0002]近年来，随着我国医疗信息化的不断深入发展，医疗票据电子化已然成为一种趋势。但由于报销单位无法直接获取用户的医疗详细信息，导致用户在报销时需提交原始医疗单据，然后由报销人员手工录入系统，逐项核对后按照特定的报销比例和报销金额进行报销。在手工录入过程中存在很多的弊端，一方面是人工录入会不可避免的出现漏项错项问题，另一方面需配置大量人力资源进行高度重复性工作，这不仅会给医疗工作人员带来很大的压力，导致报销流程耗时费力且效率低。
[0003]对于票据结构化识别，在OCR(Optical Character Recognition，光学字符识别)技术把图像中的文字信息识别出来以后，需要考虑根据票据的结构化信息把文字识别结果进行结构化处理，形成医疗票据明细结果。但是，现有的技术中，结构化是基于模板规则实现，即使是同一种票据，如住院发票，需要定制一个模板，这无疑限制其应用。此外，这类基于模板规则实现的方法，对图片质量要求较高，具体来说，就是待结构化识别的新票据图片数据，要和模板保持尽可能的一致。因此，无法采用现有的方法完成自动的结构化处理。

技术实现思路

[0004]本申请实施例提供了一种票据的结构化信息的提取方法装置、存储介质及电子设备，无需为每一种票据单独定制模板，提高了票据的结构化信息提取的自动化程度。
[0005]本申请实施例提供了一种票据的结构化信息的提取方法，包括：
[0006]对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；
[0007]根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；
[0008]针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；
[0009]根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；
[0010]根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息。
[0011]在一实施例中，在所述对票据图像进行光学字符识别之前，所述方法还包括：
[0012]采用渐进式训练策略，训练得到质量分类模型；
[0013]通过所述质量分类模型对所述票据图像进行模糊判断和完整性判断。
[0014]在一实施例中，所述对票据图像进行光学字符识别，包括：
[0015]当所述质量分类模型输出的模糊判断结果为不模糊以及完整性判断结果为完整
时，对所述票据图像进行光学字符识别。
[0016]在一实施例中，所述根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征，包括：
[0017]针对每个文本行，根据所述文本行的位置信息以及其余文本行的位置信息，得到所述文本行相对其余文本行的相对位置特征；
[0018]针对每个文本行，根据所述文本行的文本信息，通过已训练的特征提取模型提取所述文本信息的文本语义特征；
[0019]针对每个文本行，根据所述文本行的位置信息，将所述位置信息对应的特征图进行感兴趣区域池化操作，得到所述文本行的视觉特征。
[0020]在一实施例中，所述针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征，包括：
[0021]针对每个文本行，基于自注意力机制将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征。
[0022]在一实施例中，所述根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系，包括：
[0023]以每个文本行为节点，任意两个节点之间相连，构建初始结构图；
[0024]根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图；
[0025]根据所述几何拓扑图中不同节点之间的连接关系，得到相应文本行之间的关联关系。
[0026]在一实施例中，所述根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图，包括：
[0027]根据任意两个文本行的相对位置特征和多模态融合特征，计算所述两个文本行对应的节点之间存在边的概率；
[0028]当所述概率小于阈值时，去除所述初始结构图中所述两个文本行对应的节点之间存在的边，得到优化后的几何拓扑图。
[0029]在一实施例中，所述根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图，包括：
[0030]针对任一指定节点，选择与所述指定节点最近的多个邻居节点，根据所述指定节点与邻居节点之间的相对位置特征，所述指定节点的多模态融合特征和所述邻居节点的多模态融合特征进行图卷积，更新所述指定节点与所述邻居节点之间的边，得到优化后的几何拓扑图。
[0031]在一实施例中，所述根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息，包括：
[0032]对每个文本行的文本信息进行节点分类，确定每个文本行的文本信息的键值类别；其中，所述键值类别用于区分文本行是键或值；
[0033]根据不同文本行之间的关联关系以及每个文本行的键值类别，将存在关联关系的文本行的文本信息以键值对形式输出，得到所述票据图像的结构化信息。
[0034]在一实施例中，所述根据不同文本行之间的关联关系，将存在关联关系的文本行
的文本信息进行组合输出，得到所述票据图像的结构化信息，还包括：
[0035]当存在孤立的文本行时，对所述孤立的文本行的文本信息进行实体命名分类，确定所述孤立的文本行的实体类别；
[0036]将所述孤立的文本行的实体类别和文本信息以键值对形式输出。
[0037]另一方面，本申请实施例提供了一种票据的结构化信息的提取装置，包括：
[0038]文本识别模块，用于对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；
[0039]特征提取模块，用于根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；
[0040]特征融合模块，用于针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；
[0041]关系构建模块，用于根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；
[0042]结构化输出模块，用于根据不同文本行之间的关联关系，将存在关联关系的文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种票据的结构化信息的提取方法，其特征在于，包括：对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息。2.根据权利要求1所述的方法，其特征在于，在所述对票据图像进行光学字符识别之前，所述方法还包括：采用渐进式训练策略，训练得到质量分类模型；通过所述质量分类模型对所述票据图像进行模糊判断和完整性判断。3.根据权利要求2所述的方法，其特征在于，所述对票据图像进行光学字符识别，包括：当所述质量分类模型输出的模糊判断结果为不模糊以及完整性判断结果为完整时，对所述票据图像进行光学字符识别。4.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征，包括：针对每个文本行，根据所述文本行的位置信息以及其余文本行的位置信息，得到所述文本行相对其余文本行的相对位置特征；针对每个文本行，根据所述文本行的文本信息，通过已训练的特征提取模型提取所述文本信息的文本语义特征；针对每个文本行，根据所述文本行的位置信息，将所述位置信息对应的特征图进行感兴趣区域池化操作，得到所述文本行的视觉特征。5.根据权利要求1所述的方法，其特征在于，所述针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征，包括：针对每个文本行，基于自注意力机制将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征。6.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系，包括：以每个文本行为节点，任意两个节点之间相连，构建初始结构图；根据每个文本行的相对位置特征和多模态融合特征，通过...

【专利技术属性】
技术研发人员：王雷，张睿，燕鹏举，周健，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：