一种基于位置关系的PDF表格抽取方法技术

本发明专利技术公开了一种基于位置关系的PDF表格抽取方法，该方法中首先整理/读取出PDF文件中的各个文本块信息，将由多个文本块并合形成的融合文本块再次拆分回多个文本块，并按照绝对位置信息重新排列所有的文本块；根据行间距和标志性序号，从中筛选出待处理表格；再对该待处理表格做进一步处理，如删除不规整表格，调整各个文本块的宽度，删除多余的行列等，最终得到与PDF中信息对应性良好的可编辑表格。

A PDF Form Extraction Method Based on Location Relation

【技术实现步骤摘要】
一种基于位置关系的PDF表格抽取方法
本专利技术涉及PDF文件处理方法领域，具体涉及一种基于位置关系的PDF表格抽取方法。
技术介绍
PDF全称PortableDocumentFormat，是便携文档格式的意思，可以完美表现文件的原始样式(完美保真)，不会因为使用的软件、系统，等等东西的不同而产生不同的显示效果，屏幕显示和打印输出就是发布者想要的样子。因此，目前网络上传播的文档大部分是PDF格式文件，但是这给很多从文档中整理表格数据的人群带来了困难，尤其是在金融领域，在财务报告、行业研究报告中，研究员需针对表格做进一步的深度处理，需将pdf中的表格转化成规则的行和列的形式，如Excel表格等可编辑的形式。目前业内大多数pdf处理工具，基本上都是针对文本的处理，或者转化为doc格式，转化为doc后，虽然能提取出部分表格，但是由于原始pdf表格中的格式样式差异化较大，表格效果不理想，准确率较低，不能满足金融领域中高精度数据的需求。由于上述原因，本专利技术人开发设计出一种全新的PDF文本提取方法，尤其是PDF文本中无边框表格的提取方法。
技术实现思路
为了克服上述问题，本专利技术人进行了锐意研究，设计出一种基于位置关系的PDF表格抽取方法，该方法中首先整理/读取出PDF文件中的各个文本块信息，将由多个文本块并合形成的融合文本块再次拆分回多个文本块，并按照绝对位置信息重新排列所有的文本块；根据行间距和标志性序号，从中筛选出待处理表格；再对该待处理表格做进一步处理，如删除不规整表格，调整各个文本块的宽度，删除多余的行列等，最终得到与PDF中信息对应性良好的可编辑表格，从而完成本专利技术。具体来说，本专利技术的目的在于提供基于位置关系的PDF表格抽取方法，该方法包括如下步骤：步骤1：从PDF文件中解析出各个文本块信息；步骤2：在虚拟内存中，按照PDF文件中的位置信息重新排列各个文本块，形成待处理文本；步骤3：识别所述待处理文本中各个行的位置信息和字符信息，从中筛选出待处理表格；步骤4：删除步骤3得到的待处理表格中不规整的表格；步骤5：调整所述待处理表格中各个文本块的宽度，使得同一列中的各个文本块宽度一致；步骤6：沿着文本块绘制表格。其中，所述文本块信息包括该文本块中所有的字符信息和该文本块在PDF文件中的坐标位置信息。其中，在步骤1之后，在步骤2之前还要对步骤1中的文本块做拆分处理，将需要拆分的文本块拆分成两个或多个文本块。其中，所述需要拆分的文本块为：存在间距尺寸大于预定值的相邻两个字符的文本块；从该需要拆分的文本块的所述间距尺寸大于预定值的相邻两个字符之间拆分；优选地，所述预定值为该PDF文件中一个汉字字符的平均尺寸。其中，在步骤2中，所述重新排列各个文本块包括把位于同一水平位置上的文本块按从左到右的顺序排成一行，把位于同一竖直位置上的文本块按从上到下的顺序排成一列。其中，在步骤3中，通过各个行的位置信息判断各个行之间的间距尺寸，通过字符信息判断各个行中是否包含标志性的序号。其中，在步骤4中，所述不规整的表格包括行数为2行以下的表格和列数为2列以下的表格。其中，在步骤5中，当所述待处理表格中相邻两行有一处或多处文本块在列的方向对齐时，将各个列中宽度较小的文本块向左右两侧扩展，使单元格宽度一致；其中，对于所在单元格宽窄不一的文本块，需先把较窄的文本块向行向位置长的扩展，使得同一列的左右位置均对齐；当所述待处理表格中相邻两行没有文本块在列的方向对齐时，使所在行的文本块同时向左或向右移动，使该行的左端或右端与相邻行的左端或右端对齐；然后该行中各个列中宽度较小的文本块向左右两侧扩展，使单元格宽度一致。其中，在步骤6完成后，还要删除多余的空行和/或空列。(1)根据本专利技术提供的基于位置关系的PDF表格抽取方法，可以在不确定PDF文件中是否有表格，不确定PDF文件中表格位置及数量的情况下，从中筛选出表格所记载的信息，并重新绘制成可编辑的表格；(2)根据本专利技术提供的基于位置关系的PDF表格抽取方法，能够从PDF文件中抽取出无边框的表格，并且准确程度很高，具有广阔的应用范围。附图说明图1示出根据本专利技术一种优选实施方式的基于位置关系的PDF表格抽取方法整体流程图；图2示出实施例中待处理的PDF文件页面图3示出根据本专利技术提供的方法处理后得到的清晰完整并且与PDF文件中表格相对应的可编辑表格。具体实施方式下面通过附图和实施例对本专利技术进一步详细说明。通过这些说明，本专利技术的特点和优点将变得更为清楚明确。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。根据本专利技术提供的基于位置关系的PDF表格抽取方法，如图1中所示，该方法包括如下步骤：步骤1：从PDF文件中解析出各个文本块信息；本专利中所述文本块的概念源自于英文block这个名词，是本领域中约定俗成的概念，是指在PDF文件显示界面上的一个固定区域，其中可能包含多个字符及其他相关信息，其中block的概念可以参见国际标准化组织针对对PDF文件所给出的PDF协议文件，该文件编号为ISO32000-1:2008；其中，所述文本块信息包括该文本块中所有的字符信息和该文本块在PDF文件中的坐标位置信息，该坐标是指PDF文件中的绝对位置坐标。步骤2：在虚拟内存中，按照PDF文件中的位置信息重新排列各个文本块，形成待处理文本；其中，所述重新排列各个文本块包括把位于同一水平位置上的文本块按从左到右的顺序排成一行，把位于同一竖直位置上的文本块按从上到下的顺序排成一列。这里的位置都是文本块中记载的位置，是PDF文件中的绝对坐标位置，必须通过上述重新排列的过程才能获得准确的PDF文件文本块位置信息，而不能直接通过读取PDF文件中文本块的先后顺序来获得，因为在PDF协议中，页脚的信息是记录在前面的，该信息会对读取结果的准确性带来巨大误差。优选地，在步骤1之后，在步骤2之前还要对步骤1中的文本块做拆分处理，将需要拆分的文本块拆分成两个或多个文本块。所述需要拆分的文本块为：存在间距尺寸大于预定值的相邻两个字符的文本块；从该需要拆分的文本块的所述间距尺寸大于预定值的相邻两个字符之间拆分；如果文本块中存在两对以上的上述相邻字符，则该文本块需要进行两次以上的拆分，确保最终拆分得到的文本块不会是所述需要拆分的文本块；优选地，所述预定值为该PDF文件中平均一个汉字字符的尺寸。通过所述拆分文本块的作业，能够提高最终生成表格的准确率和召回率。步骤3：识别所述待处理文本中各个行的位置信息和字符信息，从中筛选出待处理表格；其中，通过各个行的位置信息判断各个行之间的间距尺寸，通过字符信息判断各个行中是否包含标志性的序号，所述标志性的序号可以为表一、表二等带有“表”字的序号，也可以是单一的数字，如1、2、3、一、二等等；在标志性序号所在的行及其下一行都可认为是表格，另外，每个表格中各个行间的距离应该是一致的，在步骤3中，依次识别每个行，将带有标志性序号，行间距一致的连续多行文本块组成一个待处理表格，在发信某一行不是表格中的行以后，将该行上方的所有连续的表格中的行聚合整理为一个待处理表格，并且继续核验本文档来自技高网...

【技术保护点】
1.一种基于位置关系的PDF表格抽取方法，其特征在于，该方法包括如下步骤：步骤1：从PDF文件中解析出各个文本块信息；步骤2：在虚拟内存中，按照PDF文件中的位置信息重新排列各个文本块，形成待处理文本；步骤3：识别所述待处理文本中各个行的位置信息和字符信息，从中筛选出待处理表格；步骤4：删除步骤3得到的待处理表格中不规整的表格；步骤5：调整所述待处理表格中各个文本块的宽度，使得同一列中的各个文本块宽度一致；步骤6：沿着文本块绘制表格。

【技术特征摘要】
1.一种基于位置关系的PDF表格抽取方法，其特征在于，该方法包括如下步骤：步骤1：从PDF文件中解析出各个文本块信息；步骤2：在虚拟内存中，按照PDF文件中的位置信息重新排列各个文本块，形成待处理文本；步骤3：识别所述待处理文本中各个行的位置信息和字符信息，从中筛选出待处理表格；步骤4：删除步骤3得到的待处理表格中不规整的表格；步骤5：调整所述待处理表格中各个文本块的宽度，使得同一列中的各个文本块宽度一致；步骤6：沿着文本块绘制表格。2.根据权利要求1所述的基于位置关系的PDF表格抽取方法，其特征在于，所述文本块信息包括该文本块中所有的字符信息和该文本块在PDF文件中的坐标位置信息。3.根据权利要求1所述的基于位置关系的PDF表格抽取方法，其特征在于，在步骤1之后，在步骤2之前还要对步骤1中的文本块做拆分处理，将需要拆分的文本块拆分成两个或多个文本块。4.根据权利要求3所述的基于位置关系的PDF表格抽取方法，其特征在于，所述需要拆分的文本块为：存在间距尺寸大于预定值的相邻两个字符的文本块；从该需要拆分的文本块的所述间距尺寸大于预定值的相邻两个字符之间拆分；优选地，所述预定值为该PDF文件中一个汉字字符的平均尺寸。5.根据权利要求1所述的基于位置关系的PDF表格抽取方法，其特征在...

【专利技术属性】
技术研发人员：陈前力，王博远，吴雪军，
申请(专利权)人：鼎复数据科技北京有限公司，
类型：发明
国别省市：北京,11