用于将位图解析为结构化数据的方法、设备和介质技术

本公开的实施例涉及一种用于将位图解析为结构化数据的方法、设备和介质，包括：对所获取的待解析的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本；基于所获取的语义分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标；将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系；以及基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。将所述位图解析为结构化数据。将所述位图解析为结构化数据。

【技术实现步骤摘要】
用于将位图解析为结构化数据的方法、设备和介质


[0001]本公开的实施例总体涉及机器学习领域，并且更具体地涉及一种用于将位图解析为结构化数据的方法、系统、计算设备和计算机可读存储介质。

技术介绍

[0002]标准位图指的是如折线图、柱状图、面积图、饼图及它们的混合类型图片等。位图来源分布广泛，包括excel/程序/编程自制及拷贝于互联网等。这些图片中往往存在着大量难以从公开数据库中获得的指标数据，因此市场上也存在着不小的希望将其解析成结构化数据的诉求。
[0003]与矢量图可以直接从码流中获取相关数据信息不同，位图的解析只能通过图像方法处理，这需要算法可以理解原始图片的版面结构及其语义信息，并最终将这些信息整合成结构化数据。近年来随着深度学习的发展，部分图像模型已经可以较好地替代之前手工提取图像特征的工作，落实于实际生产之中。举例而言，各类OCR检测识别模型均已达到或超过人眼识别水准；以Unet为代表的语义分割模型被广泛应用于医疗领域之中，其效果也被多次验证。通过整合这些深度学习模型，再辅以一定的传统图像算法与规则编写，就可以让程序较好地理解图片所包含的信息，并最终输出对应的结构化数据。
[0004]目前学术界和工业界均无成熟的位图解析方案。icdar已连续三年出过位图解析的竞赛（https://chartinfo.github.io/index_2020.html），但可发现的是其提供的数据类型与标准位图存在差别。一个是对单张图片来说，icdar只有一种类型，而标准位图则往往是多种类型的混合；一个是icdar的数据主要通过规则方式生成，没有清晰度的问题，从这些方面均可以看出竞赛在数据上做的简化，与工业数据还存在一定差距。
[0005]综上所述传统的用于将位图解析为结构化数据的方案所存在的不足之处在于：无法解析混合有多种数据的位图以及无法将位图解析为数据。

技术实现思路

[0006]针对上述问题，本公开提供了一种用于将位图解析为结构化数据的方法、系统、设备和介质。基于以上完整且可执行的标准位图解析流程方案，可以从人眼的阅读流程中衍生并对其中关键步骤做了抽象处理；其从方案解决了流程中一些关键性的技术难点，如像素空间解析步骤中的实例分割，坐标轴解析及其对应的文本判断等，从而大大提高了解析效率。
[0007]根据本公开的第一方面，提供了一种用于将位图解析为结构化数据的方法，包括：对所获取的待解析的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本；基于所获取的语义分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标；将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系；以及基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。
[0008]根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的第一方面的方法。
[0009]在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中计算机指令用于使计算机执行本公开的第一方面的方法。
[0010]在一些实施例中，对所获取的待解析的位图执行图像识别处理包括：基于文本检测模型，对所获取的位图执行文本检测，以便标识出所述位图中的文本框；基于文本识别模型，对所标识的图形执行文本识别，以便确定后续解析所需要的文本；以及基于语义分割模型，将所获取的位图转化为与所述位图尺寸相同的语义分割图。
[0011]在一些实施例中，对所获取的位图执行图像识别处理包括：基于文本识别模型，解析所述图例文本，从而获取所述图例文本与所述语义分割图中的图形的关联关系；以及基于所获取的关联关系，将所述图例文本关联到所述语义分割图中的图形。
[0012]在一些实施例中，对所获取的位图执行图像识别处理包括：确定所述图例文本对应的图例类型；基于实例分割模型，将所述语义分割图分割为包括多个实例的实例分割图；以及基于所确定的图例类型，将所述图例文本与所述实例分割图中的多个实例相关联。
[0013]在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标包括：获取所述位图的纵坐标轴的数量；以及基于所获取的纵坐标轴的数量，将所述位图确定为第一位图或第二位图，其中第一位图具有一个纵坐标轴并且第二位图具有两个纵坐标轴。
[0014]在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标还包括：响应于所述位图被确定为第一位图，确定所述图像坐标系中的像素坐标映射在所述纵坐标轴的原点处的初始位置；确定所述图像坐标系中的像素坐标每变化一个单位在所述纵坐标值上的坐标值的变化值；以及基于所确定的初始位置以及变化值，确定所述像素坐标与所述纵坐标轴的坐标值之间的函数。
[0015]在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标还包括：响应于所述位图被确定为第二位图，将两个纵坐标轴确定为左纵坐标轴以及右纵坐标轴；确定所述图像坐标系中的像素坐标映射在所述左纵坐标轴以及右纵坐标轴的原点处的第一初始位置和第一初始位置；确定所述图像坐标系中的像素坐标每变化一个单位在所述左纵坐标轴以及右纵坐标轴上的坐标值的第一变化值和第二变化值；基于所确定的第一初始位置以及第一变化值，确定所述像素坐标与所述左纵坐标轴的坐标值之间的第一函数；以及基于所确定的第二初始位置以及第二变化值，确定所述像素坐标与所述右纵坐标轴的坐标值之间的第二函数。
[0016]在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标包括：确定所述位图的横坐标轴上的离散横坐标值；基于所确定的离散横坐标值，确定与所述离散横坐标值对应的左横坐标值以及右横坐标值；以及将所述左横坐标值以及所述右横坐标值之间的像素坐标均映射到与所述左横坐标值以及所述右横坐标值对应的离散横坐标值。
[0017]在一些实施例中，方法还包括：将所解析的结构化数据与标注数据执行对齐。
[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
[0020]图1示出了用于实现根据本专利技术的实施例的用于将位图解析为结构化数据的系统的示意图。
[0021]图2示出了根据本公开的实施例的用于将位图解析为结构化数据的方法200的流程图。
[0022]图3示出了根据本公开的实施例的待解析的位图。
[0023]图4示出了根据本公开的实施例的语义分割图。...

【技术保护点】

【技术特征摘要】
1.一种用于将包括折线图、柱状图、面积图、饼图及其混合类型的图片的位图解析为结构化数据的方法，包括：对所获取的待解析的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本；基于所获取的语义分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标；将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系，其中映射包括确定所述位图的横坐标轴上的离散横坐标值，基于所确定的离散横坐标值，确定与所述离散横坐标值对应的左横坐标值以及右横坐标值，将所述左横坐标值以及所述右横坐标值之间的像素坐标均映射到与所述左横坐标值以及所述右横坐标值对应的离散横坐标值；以及基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。2.根据权利要求1所述的方法，其中对所获取的待解析的位图执行图像识别处理包括：基于文本检测模型，对所获取的位图执行文本检测，以便标识出所述位图中的文本框；基于文本识别模型，对所标识的图形执行文本识别，以便确定所述图形中后续解析所需要的文本；以及基于语义分割模型，将所获取的位图转化为与所述位图尺寸相同的语义分割图。3.根据权利要求1所述的方法，其中对所获取的位图执行图像识别处理包括：基于文本识别模型，解析所述图例文本，从而获取所述图例文本与所述语义分割图中的图形的关联关系；以及基于所获取的关联关系，将所述图例文本关联到所述语义分割图中的图形。4.根据权利要求2或3所述的方法，其中对所获取的位图执行图像识别处理包括：基于实例分割模型，将所述语义分割图分割为包括多个实例的实例分割图并与图例文本关联；以及确定每个实例分割图的图像类型。5.根据权利要求1所述的方法，其中将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标包括：获取所述位图的纵坐标轴的数量；以及基于所...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：通联数据股份公司，
类型：发明
国别省市：