表格识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供的表格识别方法、装置、电子设备及存储介质，针对获取到的目标文档图像，能够检测目标文档图像中的表格区域，进而通过分类确定该表格区域对应的表格类型，进一步基于该表格类型检测还原该表格区域内的表格框线，由此通过检测识别表格区域内文本，将表格区域内的文本与表格框线进行组合，以此实现解析还原该目标文档图像。基于本发明专利技术，能够有效地进行不同类型的表格检测与重绘，能够实现不同类型的表格识别任务，提升识别效率。提升识别效率。提升识别效率。

【技术实现步骤摘要】
表格识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及软件
，更具体地说，涉及一种表格识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着人工智能的发展，OCR(OpticalCharacter Recognition，光学字符识别)识别技术被广泛应用在企业文档处理业务中，而表格识别是当前OCR检测任务中最为重要的任务之一。
[0003]现阶段，主要通过利用图像处理、深度学习以及规则等算法对文档中的表格区域进行文本识别、并进行表格线的重绘，使得如扫描件、相机拍摄得到的电子文档能够得到识别，并保存为可编辑的电子文档或进行相应的信息抽取。
[0004]但由于文档以表格与文本混合的形式呈现，因此尽管文档中文本方向相比场景识别更为工整，但表格区域的分布、结构、样式存在很大的不确定性，使得表格难以进行准确的识别。同时由于表格线的缺失，进一步使得无线表格难以进行有效的重绘，为信息的抽取造成了很大的局限性。

技术实现思路

[0005]有鉴于此，为解决上述问题，本专利技术提供一种表格识别方法、装置、电子设备及存储介质，技术方案如下：
[0006]一种表格识别方法，所述方法包括：
[0007]获取目标文档图像，并检测所述目标文档图像中的表格区域；
[0008]对所述表格区域进行分类，以确定所述表格区域对应的表格类型；
[0009]基于所述表格类型检测还原所述表格区域内的表格框线；
[0010]检测识别所述表格区域内的文本，并将所述表格区域内的文本与表格框线进行组合，以实现解析还原所述目标文档图像。
[0011]可选的，所述获取目标文档图像，包括：
[0012]接收输入文件；
[0013]按照文件类型提取所述输入文件中的文档图像作为所述目标文档图像。
[0014]可选的，所述检测所述目标文档图像中的表格区域，包括：
[0015]利用图像分割网络对所述目标文档图像进行表格区域的分割，以及，利用目标检测网络对所述目标文档图像进行表格区域的检测；
[0016]基于所述图像分割网络输出的分割结果与所述目标检测网络输出的检测结果，确定所述目标文档图像中的表格区域。
[0017]可选的，所述基于所述表格类型检测还原所述表格区域内的表格框线，包括：
[0018]在所述表格类型为单线表格/三线表格/下划线表格的情况下，去除所述表格区域内的干扰线，以将所述表格类型由单线表格/三线表格/下划线表格转换为无线表格；
[0019]在所述表格类型为无线表格的情况下，利用生成对抗网络分别还原所述表格区域内的行线和列线，并组合所述行线和所述列线得到所述表格框线；
[0020]在所述表格类型为虚线表格的情况下，对所述表格区域进行图像处理，以将所述表格类型由虚线表格转换为有线表格；
[0021]在所述表格类型为有线表格的情况下，基于深度学习模型检测所述表格区域中的表格线，以将所述表格线组合为所述表格框线。
[0022]可选的，所述利用生成对抗网络分别还原所述表格区域内的行线和列线，包括：
[0023]利用所述生成对抗网络确定所述表格区域内的第一单元格区域；
[0024]对所述第一单元格区域进行连通域查找得到所述第一单元格区域对应的单元格区域坐标，以及，对所述表格区域进行文本检测得到所述第一单元格区域内的文本区域坐标；
[0025]如果根据所述单元格区域坐标确定所述第一单元格区域不为列方向的合并单元格，则按照所述第一单元格区域横向贯穿所述表格区域，以得到所述表格区域内的行线；
[0026]如果根据所述文本区域坐标确定所述第一单元格区域不为行方向的合并单元格，则按照所述第一单元格区域纵向贯穿所述表格区域，以得到所述表格区域内的列线。
[0027]可选的，所述将所述表格区域内的文本与表格框线进行组合，包括：
[0028]根据所述表格区域内的表格框线确定第二单元格区域；
[0029]遍历所述表格区域内每个文本，针对遍历到的目标文本，计算所述目标文本与所述第二单元格区域的重叠比；
[0030]绑定所述目标文本与重叠比满足对应阈值的所述第二单元格区域。
[0031]一种表格识别装置，所述装置包括：
[0032]表格检测模块，用于获取目标文档图像，并检测所述目标文档图像中的表格区域；
[0033]表格分类模块，用于对所述表格区域进行分类，以确定所述表格区域对应的表格类型；
[0034]表格框线还原模块，用于基于所述表格类型检测还原所述表格区域内的表格框线；
[0035]组合模块，用于检测识别所述表格区域内的文本，并将所述表格区域内的文本与表格框线进行组合，以实现解析还原所述目标文档图像。
[0036]可选的，所述表格框线还原模块，具体用于：
[0037]在所述表格类型为单线表格/三线表格/下划线表格的情况下，去除所述表格区域内的干扰线，以将所述表格类型由单线表格/三线表格/下划线表格转换为无线表格；
[0038]在所述表格类型为无线表格的情况下，利用生成对抗网络分别还原所述表格区域内的行线和列线，并组合所述行线和所述列线得到所述表格框线；
[0039]在所述表格类型为虚线表格的情况下，对所述表格区域进行图像处理，以将所述表格类型由虚线表格转换为有线表格；
[0040]在所述表格类型为有线表格的情况下，基于深度学习模型检测所述表格区域中的表格线，以将所述表格线组合为所述表格框线。
[0041]一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现所述的表格识
别方法。
[0042]一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行所述的表格识别方法。
[0043]相较于现有技术，本专利技术实现的有益效果为：
[0044]本专利技术提供的表格识别方法、装置、电子设备及存储介质，针对获取到的目标文档图像，能够检测目标文档图像中的表格区域，进而通过分类确定该表格区域对应的表格类型，进一步基于该表格类型检测还原该表格区域内的表格框线，由此通过检测识别表格区域内文本，将表格区域内的文本与表格框线进行组合，以此实现解析还原该目标文档图像。基于本专利技术，能够有效地进行不同类型的表格检测与重绘，能够实现不同类型的表格识别任务，提升识别效率。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0046]图1为本专利技术实施例提供的表格识别方法的方法流程图；
[0047]图2为本专利技术实施例提供的表格识别方法的部分方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表格识别方法，其特征在于，所述方法包括：获取目标文档图像，并检测所述目标文档图像中的表格区域；对所述表格区域进行分类，以确定所述表格区域对应的表格类型；基于所述表格类型检测还原所述表格区域内的表格框线；检测识别所述表格区域内的文本，并将所述表格区域内的文本与表格框线进行组合，以实现解析还原所述目标文档图像。2.根据权利要求1所述的方法，其特征在于，所述获取目标文档图像，包括：接收输入文件；按照文件类型提取所述输入文件中的文档图像作为所述目标文档图像。3.根据权利要求1所述的方法，其特征在于，所述检测所述目标文档图像中的表格区域，包括：利用图像分割网络对所述目标文档图像进行表格区域的分割，以及，利用目标检测网络对所述目标文档图像进行表格区域的检测；基于所述图像分割网络输出的分割结果与所述目标检测网络输出的检测结果，确定所述目标文档图像中的表格区域。4.根据权利要求1所述的方法，其特征在于，所述基于所述表格类型检测还原所述表格区域内的表格框线，包括：在所述表格类型为单线表格/三线表格/下划线表格的情况下，去除所述表格区域内的干扰线，以将所述表格类型由单线表格/三线表格/下划线表格转换为无线表格；在所述表格类型为无线表格的情况下，利用生成对抗网络分别还原所述表格区域内的行线和列线，并组合所述行线和所述列线得到所述表格框线；在所述表格类型为虚线表格的情况下，对所述表格区域进行图像处理，以将所述表格类型由虚线表格转换为有线表格；在所述表格类型为有线表格的情况下，基于深度学习模型检测所述表格区域中的表格线，以将所述表格线组合为所述表格框线。5.根据权利要求4所述的方法，其特征在于，所述利用生成对抗网络分别还原所述表格区域内的行线和列线，包括：利用所述生成对抗网络确定所述表格区域内的第一单元格区域；对所述第一单元格区域进行连通域查找得到所述第一单元格区域对应的单元格区域坐标，以及，对所述表格区域进行文本检测得到所述第一单元格区域内的文本区域坐标；如果根据所述单元格区域坐标确定所述第一单元格区域不为列方向的合并单元格，则按照所述第一单元格区域横向贯穿所述表格区域，以得到所述表格区域内的行线；...

【专利技术属性】
技术研发人员：于业达，孙勇，
申请(专利权)人：上海恒生聚源数据服务有限公司，
类型：发明
国别省市：