数据处理方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

本申请公开一种数据处理方法、装置、设备、存储介质及计算机程序产品，其相关实施例可应用于人工智能等场景。该方法包括：获取原始票据图像及基于原始票据图像的图像特征与文本词向量特征得到的原始票据图像的多模态特征；原始票据图像的文本词向量特征是通过对原始票据图像中的印刷文本信息进行文本特征提取处理得到的；基于原始票据图像的多模态特征及多个票据模板的多模态特征，进行模板匹配处理，得到与原始票据图像相匹配的目标票据模板；根据原始票据图像的多模态特征及目标票据模板的多模态特征，对原始票据图像进行图像配准处理，得到目标票据图像；从目标票据图像中提取票据结构化信息；可提高票据结构化信息提取的准确性。取的准确性。取的准确性。

【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及计算机程序产品


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法、装置、设备、存储介质及计算机程序产品。

技术介绍

[0002]针对各种场景中所产生的各种样式的票据，当存在票据结构化信息的提取需求时，现有方法中通常基于分类的思想，将原始票据图像分类到不同样式的票据模板所指示的类别中，再将从原始票据图像中提取出的文本信息填充至匹配出的目标票据模板中，进而从填充后的目标票据模板中进行票据结构化信息的提取，票据结构化信息提取的准确性低，且十分依赖于分类结果的准确性以及模板填充的准确性。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置、设备、存储介质及计算机程序产品，可提高票据结构化信息提取的准确性。
[0004]一方面，本申请实施例提供了一种数据处理方法，包括：
[0005]获取原始票据图像以及所述原始票据图像的多模态特征；所述原始票据图像的多模态特征是基于所述原始票据图像的图像特征以及所述原始票据图像的文本词向量特征得到的，所述原始票据图像的文本词向量特征是通过对所述原始票据图像中的印刷文本信息进行文本特征提取处理得到的；
[0006]基于所述原始票据图像的多模态特征以及多个票据模板的多模态特征，进行模板匹配处理，得到与所述原始票据图像相匹配的目标票据模板；
[0007]根据所述原始票据图像的多模态特征以及所述目标票据模板的多模态特征，对所述原始票据图像进行图像配准处理，得到目标票据图像；
[0008]从所述目标票据图像中提取票据结构化信息。
[0009]一方面，本申请实施例提供了一种数据处理装置，包括：
[0010]处理单元，用于获取原始票据图像以及所述原始票据图像的多模态特征；所述原始票据图像的多模态特征是基于所述原始票据图像的图像特征以及所述原始票据图像的文本词向量特征得到的，所述原始票据图像的文本词向量特征是通过对所述原始票据图像中的印刷文本信息进行文本特征提取处理得到的；
[0011]匹配单元，用于基于所述原始票据图像的多模态特征以及多个票据模板的多模态特征，进行模板匹配处理，得到与所述原始票据图像相匹配的目标票据模板；
[0012]配准单元，用于根据所述原始票据图像的多模态特征以及所述目标票据模板的多模态特征，对所述原始票据图像进行图像配准处理，得到目标票据图像；
[0013]提取单元，用于从所述目标票据图像中提取票据结构化信息。
[0014]一方面，本申请实施例提供了一种数据处理设备，其特征在于，所述数据处理设备包括输入接口和输出接口，还包括：
[0015]处理器，适于实现一条或多条指令；以及，
[0016]计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述数据处理方法。
[0017]一方面，本申请实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行上述数据处理方法。
[0018]一方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；数据处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得数据处理设备执行上述数据处理方法。
[0019]本申请实施例中，在获取原始票据图像以及原始票据图像的多模态特征之后；可以基于原始票据图像的多模态特征以及多个票据模板的多模态特征，进行模板匹配处理，得到与原始票据图像相匹配的目标票据模板；根据原始票据图像的多模态特征以及目标票据模板的多模态特征，对原始票据图像进行图像配准处理，得到目标票据图像；从目标票据图像中提取票据结构化信息。
[0020]其中，原始票据图像的多模态特征是基于原始票据图像的图像特征以及原始票据图像的文本词向量特征得到的，原始票据图像的文本词向量特征是通过对原始票据图像中的印刷文本信息进行文本特征提取处理得到的；基于多模态特征进行模板匹配处理，相较于基于单模态特征进行的模板匹配处理，可以提高模板匹配的准确性，降低原始票据图像与不同票据样式的票据模板之间的匹配难度；而多模态特征是基于从印刷文本信息中提取的文本词向量特征得到的，使得在进行模板匹配的过程中，是基于印刷文本信息而非包含有机打文本信息的全部文本信息，相较于基于全部文本信息进行模板匹配时由于机打文本信息的打印位置的不确定性导致的模板匹配难的问题，基于印刷文本信息进行模板匹配可以很好的降低模板匹配难度。根据原始票据图像的多模态特征以及目标票据模板的多模态特征，学习用于将原始票据图像中图像内容所处位置，配准到目标票据模板中相应图像内容所处位置的转换关系，进而基于该转换关系对原始票据图像向目标票据模板进行图像配准处理，得到目标票据图像，进而可以从目标票据图像中提取票据结构化信息，可以准确实现对原始票据图像向目标票据模板的图像配准。
[0021]综上所述，本申请实施例可以提高模板匹配的准确性、降低原始票据图像与不同票据样式的票据模板之间的匹配难度、准确实现对原始票据图像向目标票据模板的图像配准，进而可以提高票据结构化信息提取的准确性，可以降低不同票据样式的原始票据图像的票据结构化信息的提取难度，实现对不同票据样式的原始票据图像的票据结构化信息的提取。
附图说明
[0022]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的一种票据的示意图；
[0024]图2是本申请实施例提供的一种数据处理方案的示意图；
[0025]图3是本申请实施例提供的一种调用训练后的印刷文本检测模型进行印刷文本检测处理的示意图；
[0026]图4是本申请实施例提供的一种调用训练后的印刷文本识别模型进行文本识别处理的示意图；
[0027]图5是本申请实施例提供的一种数据处理方法的流程示意图；
[0028]图6是本申请实施例提供的一种调用训练后的方向识别模型进行方向识别处理的示意图；
[0029]图7是本申请实施例提供的另一种数据处理方法的流程示意图；
[0030]图8是本申请实施例提供的一种印刷文本区域的示意图；
[0031]图9是本申请实施例提供的一种串行纠正的示意图；
[0032]图10是本申请实施例提供的一种从目标票据图像中提取票据结构化信息的示意图；
[0033]图11是本申请实施例提供的一种对原始票据图像进行票据结构化信息提取的示意图；
[0034]图12是本申请实施例提供的一种基于处理模块对原始票据图像进行票据结构化信息提取的示意图；
[0035]图13是本申请实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取原始票据图像以及所述原始票据图像的多模态特征；所述原始票据图像的多模态特征是基于所述原始票据图像的图像特征以及所述原始票据图像的文本词向量特征得到的，所述原始票据图像的文本词向量特征是通过对所述原始票据图像中的印刷文本信息进行文本特征提取处理得到的；基于所述原始票据图像的多模态特征以及多个票据模板的多模态特征，进行模板匹配处理，得到与所述原始票据图像相匹配的目标票据模板；根据所述原始票据图像的多模态特征以及所述目标票据模板的多模态特征，对所述原始票据图像进行图像配准处理，得到目标票据图像；从所述目标票据图像中提取票据结构化信息。2.如权利要求1所述的方法，其特征在于，所述根据所述原始票据图像的多模态特征以及所述目标票据模板的多模态特征，对所述原始票据图像进行图像配准处理，得到目标票据图像，包括：根据所述原始票据图像的多模态特征以及所述目标票据模板的多模态特征，进行配准点计算处理，得到矫正矩阵；所述矫正矩阵用于指示所述原始票据图像的多模态特征与所述目标票据模板的多模态特征之间的转换关系；基于所述矫正矩阵对所述原始票据图像进行图像矫正处理，得到所述目标票据图像。3.如权利要求1所述的方法，其特征在于，所述从所述目标票据图像中提取票据结构化信息，包括：确定所述目标票据图像中机打文本信息对应的机打文本区域，以及所述目标票据模板中印刷文本信息对应的印刷文本区域；基于所述机打文本区域与所述印刷文本区域，从所述目标票据图像中提取所述票据结构化信息。4.如权利要求3所述的方法，其特征在于，所述印刷文本区域包括第一标注区域以及第二标注区域，所述第一标注区域包括所述目标票据模板中印刷文本信息所在区域，所述第二标注区域包括所述目标票据模板中印刷文本信息所在区域，以及为所述目标票据模板中印刷文本信息对应的机打文本信息预留的预留区域；所述基于所述机打文本区域与所述印刷文本区域，从所述目标票据图像中提取所述票据结构化信息，包括：基于所述机打文本区域与所述第一标注区域之间的位置差异，对所述目标票据图像中的机打文本信息进行串行纠正处理，得到串行纠正后的机打文本区域；基于所述串行纠正后的机打文本区域与所述第二标注区域之间的关联关系，从所述目标票据图像中提取所述票据结构化信息。5.如权利要求4所述的方法，其特征在于，所述基于所述串行纠正后的机打文本区域与所述第二标注区域之间的关联关系，从所述目标票据图像中提取所述票据结构化信息，包括：确定所述串行纠正后的机打文本区域与所述第二标注区域之间的重合区域；所述重合区域指的是：所述串行纠正后的机打文本区域，与所述第二标注区域在所述目标票据图像中所指示区域相重合的部分区域；
在所述重合区域的区域面积大于预设阈值的情况下，将所述第二标注区域在所述目标票据图像中所指示的印刷文本信息，以及所述串行纠正后的机打文本区域所指示的机打文本信息确定为所述票据结构化信息。6.如权利要求1所述的方法，其特征在于，所述基于所述原始票据图像的多模态特征以及多个票据模板的多模态特征，进行模板匹配处理，得到与所述原始票据图像相匹配的目标票据模板，包括：确定所述原始票据图像的多模态特征与各个票据模板的多模态特征之间的特征相似度；将所述多个票据模板中，最大特征相似度所指示的票据模板确定为所述目标票据模板。7.如权利要求1所述的方法，其特征在于，基于所述原始票据图像的图像特征以及所述原始票据图像的文本词向量特征得到所述原始票据图像的多模态特征，包括：对所述原始票据图像的图像特征进行编码处理，得到所述原始票据图像的图像特征编码向量；对所述原始票据图像的文本词向量特征进行编码处理，得到所述原始票据图像的文本特征编码向量；将所述原始票据图像的图像特征编码向量与所述原始票据图像的文本特征编码向量进行拼接处理，得到所述原始票据图像的多模态特征。8.如权利要求7所述的方法，其特征在于，所述方法还包括：获取图像特征编码表以及文本特征编码表；所述对所述原始票据图像的图像特征进行编码处理，得到所述原始票据图像的图像特征编码向量，包括：基于所述图像...

【专利技术属性】
技术研发人员：邱佳梁，陈琳，吴伟佳，姜俐，
申请(专利权)人：微民保险代理有限公司，
类型：发明
国别省市：