【技术实现步骤摘要】
一种基于图像识别的pdf表格结构识别方法
本专利技术涉及图像识别技术，尤其涉及一种基于图像识别的pdf表格结构识别方法。
技术介绍
在大数据和人工智能的应用场景下，要对大量的信息进行搜集、处理、分析，对数据进行结构化，发现数据中的规律来指导生产。信息的存在方式是多样的、非结构化的，大量的信息存在于表格中，而表格可能存在于pdf、网页、图像中。针对pdf中的表格，目前存在的表格解析方法大致有通过读取pdf的xml信息来解析表格(如xpdf工具)、将pdf转为xml、html、word等其他格式再解析(如pdf-docx工具)、将pdf转为图像再进行结构识别，前两种由于pdf文件本身的信息损失，都不能准确地进行解析，第三种方法主要依赖于图像识别算法，目前现存的方法对复杂表格也不能够准确识别。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于图像识别的pdf表格结构识别方法，能够得到表格的单元格排列信息，如第i行第j列的具体内容，以及复杂表格的跨列(colspan)、跨行(rowspan)信息...
【技术保护点】
1.一种基于图像识别的pdf表格结构识别方法，其特征在于，该方法包括以下步骤：/n(1)将pdf文档的每一页转为图像；/n(2)对每一张输入的图像，识别出表格的位置，截取出表格区域；/n(3)对表格区域识别文字blob块；/n(4)对每个blob找到邻近的blob集合：对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为其邻近集合；/n(5)训练blob关系分类模型，包括：/n训练数据：将标注数据中的每个blob与其邻...
【技术特征摘要】
1.一种基于图像识别的pdf表格结构识别方法，其特征在于，该方法包括以下步骤：
(1)将pdf文档的每一页转为图像；
(2)对每一张输入的图像，识别出表格的位置，截取出表格区域；
(3)对表格区域识别文字blob块；
(4)对每个blob找到邻近的blob集合：对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为其邻近集合；
(5)训练blob关系分类模型，包括：
训练数据：将标注数据中的每个blob与其邻近集合中的每个blob建立blob对，得到每个blob对的两种关系：是否同行、是否同列，作为groundtruth；再计算每个blob对的特征；
训练模型：建立两个分类器，分别用于分类是否同行、是否同行；
模型预测：预测blob与邻近集合中每个blob是否同行、同列；
(6)对blob之间的关系进行整理，得到表格的单元格结构：
分别计算表格的列集合和行集合；
表格的单元格：将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；
整理单元格中的blob：将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，再对这一个大blob进行字符识别，得到该单元格的文字内容。
2.根据权利要求1所述的一种基于图像识别的pdf表格结构识别方法，其特征在于，所述步骤(2)中，采用基于RCNN的神经网络建立表格检测器，识别出表格位置。
3.根据权利要求1所述的一种基于图像识别的pdf表格结构识别方法，其特征在于，所述步骤(3)中，基于ctpn、craft、tesseract等工具识别表格区域的文字blob块。
4.根据权利要求1所述的一种基于图像识别的pdf表格结构识别方法，其特征在于，所述步骤(5)的训练数据整理过程中，每个blob对(blobi,blobj)的特征包括：blobi和blobj的图像坐标、字符串长度、两个blob之间的欧氏距离、x轴重合率、y轴重合率，将这些值的绝对值和相对值都作为特征。
5.根据权利要求1所述的一种基于图像识别的pdf表格结构识别方法，其特征在于，所述步骤(5)的训练模型过程中，选用svm、dnn、gnn、transformer等模型建立分类器。
6.根据权利要求1所述的一种基于图像识别的pdf表格结构识别方法，其特征在于，所述步骤(6)中，对于表格列的计算过程如下：
对每行中的blob，在该blob的邻近集合中找出在同一行的blob集合b...
【专利技术属性】
技术研发人员：杨红飞，金霞，韩瑞峰，
申请(专利权)人：杭州费尔斯通科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。