用于检测表格的方法和装置制造方法及图纸

本申请实施例公开了用于检测表格的方法和装置。该方法的一具体实施方式包括：将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；将待检测表格图像输入预先训练的表格检测模型，得到至少一个表格区域，表格检测模型用于表征表格图像和表格图像中表格的表格区域之间的对应关系；根据至少一个表格区域和至少一个单元格信息，确定至少一个单元格信息中的单元格区域所属的表格区域；对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作。该实施方式实现了表格检测的准确率。

【技术实现步骤摘要】
用于检测表格的方法和装置
本申请实施例涉及计算机
，具体涉及用于检测表格的方法和装置。
技术介绍
目前检测图像中的表格结构数据主要有检测直线法和文字投影法。检测直线法包括：第一步，识别表格图像中的水平垂直直线；第二步，通过直线构成的连通区域来确定表格区域，并根据水平垂直直线的相交点进行单元格的结构切分，从而获得表格结构；第三步，定位文字；第四步，识别文字内容。文字投影法通过深度学习模型识别表格区域，然后对表格区域内文字进行识别，对每个文字区域做水平和垂直投影来抽取表格结构。
技术实现思路
本申请实施例提出了用于检测表格的方法和装置。第一方面，本申请实施例提供了一种用于检测表格的方法，该方法包括：将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；将待检测表格图像输入预先训练的表格检测模型，得到至少一个表格区域，表格检测模型用于表征表格图像和表格图像中表格的表格区域之间的对应关系；根据至少一个表格区域和至少一个单元格信息，确定至少一个单元格信息中的单元格区域所属的表格区域；对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作：对该表格区域进行光学字符识别，得到与该表格区域对应的字符识别结果；对于该表格区域所包括的每个单元格区域，根据与该表格区域对应的字符识别结果，确定该单元格区域所包括的字符识别结果；以及根据该表格区域所包括的单元格区域，确定该表格区域的空间结构信息。在一些实施例中，单元格检测模型是通过如下训练步骤预先训练得到的：确定初始单元格检测模型的模型结构以及初始化初始单元格检测模型的模型参数；确定训练样本集，其中，训练样本包括样本表格图像和用于表征样本表格图像内的至少一个单元格的标注单元格信息；将训练样本集中的训练样本中的样本表格图像和标注单元格信息分别作为初始单元格检测模型的输入和期望输出，利用机器学习方法训练初始单元格检测模型；将训练得到的初始单元格检测模型确定为预先训练的单元格检测模型。在一些实施例中，确定训练样本集，包括：确定至少一个样本表格中每个样本表格的表格区域以及该样本表格所包括的单元格的单元格信息和文本信息；对于至少一个样本表格中的每个样本表格，根据该表格的表格区域和所包括的单元格的单元格信息和文本信息，生成与该样本表格对应的表格图像；将至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息。在一些实施例中，在将至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息之前，确定训练样本集还包括：对于至少一个样本表格中的每个样本表格，在与该样本表格对应的表格图像中添加噪声。在一些实施例中，在对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作之前，该方法还包括：对于至少一个表格区域中的每个表格区域，执行以下第一重叠单元格删除操作：当该表格区域所包括的两个单元格区域的交集面积除以并集面积的比值大于第一预设比值阈值时，将两个单元格区域中面积较小的单元格区域删除。在一些实施例中，在对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作之前，该方法还包括：对于至少一个表格区域中的每个表格区域，执行以下第二重叠单元格删除操作：将该表格区域所包括的交集面积除以较小面积的单元格区域面积的比值大于第二预设比值阈值的两个单元格区域中面积较大的单元格区域删除。在一些实施例中，单元格信息还包括：用于表征待检测表格图像中单元格区域所指示的区域为单元格的概率值的置信度。在一些实施例中，在将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息之前，该方法还包括：获取目标图像；对目标图像进行图像预处理，得到待检测表格图像，图像预处理包括以下至少一项：去印章、去水印、图像摆正和图像压缩。在一些实施例中，该方法还包括：对于至少一个表格区域中的每个表格区域，根据该表格区域的空间结构信息，以及该表格区域所包括的每个单元格区域的字符识别结果，生成与该表格区域对应的预设格式的表格数据。第二方面，本申请实施例提供了一种用于检测表格的装置，该装置包括：单元格检测单元，被配置成将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；表格区域确定单元，被配置成将待检测表格图像输入预先训练的表格检测模型，得到至少一个表格区域，表格检测模型用于表征表格图像和表格图像中表格的表格区域之间的对应关系；单元格所属表格确定单元，被配置成根据至少一个表格区域和至少一个单元格信息，确定至少一个单元格信息中的单元格区域所属的表格区域；空间结构确定单元，被配置成对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作：对该表格区域进行光学字符识别，得到与该表格区域对应的字符识别结果；对于该表格区域所包括的每个单元格区域，根据与该表格区域对应的字符识别结果，确定该单元格区域所包括的字符识别结果；以及根据该表格区域所包括的单元格区域，确定该表格区域的空间结构信息。在一些实施例中，单元格检测模型是通过如下训练步骤预先训练得到的：确定初始单元格检测模型的模型结构以及初始化初始单元格检测模型的模型参数；确定训练样本集，其中，训练样本包括样本表格图像和用于表征样本表格图像内的至少一个单元格的标注单元格信息；将训练样本集中的训练样本中的样本表格图像和标注单元格信息分别作为初始单元格检测模型的输入和期望输出，利用机器学习方法训练初始单元格检测模型；将训练得到的初始单元格检测模型确定为预先训练的单元格检测模型。在一些实施例中，确定训练样本集，包括：确定至少一个样本表格中每个样本表格的表格区域以及该样本表格所包括的单元格的单元格信息和文本信息；对于至少一个样本表格中的每个样本表格，根据该表格的表格区域和所包括的单元格的单元格信息和文本信息，生成与该样本表格对应的表格图像；将至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息。在一些实施例中，在将至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息之前，确定训练样本集还包括：对于至少一个样本表格中的每个样本表格，在与该样本表格对应的表格图像中添加噪声。在一些实施例中，该装置还包括：第一重叠单元格删除单元，被配置成在对于至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作之前，对于至少一个表格区域中的每个表格区域，执行以下第一重叠单元格删除操作：当该表格区域所包括的两个单元格区域的交集面积除以并集面积的比值大于第一预设比值阈值时，将两个单元格区域中面积较小的单元格区域删除。在一些实施例中，该装置还包括：第二重叠单元格删除单元，被配置成在对于至少一个表格区域中的每个表格区域，执本文档来自技高网...

【技术保护点】
1.一种用于检测表格的方法，包括：将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，所述单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；将所述待检测表格图像输入预先训练的表格检测模型，得到至少一个表格区域，所述表格检测模型用于表征表格图像和表格图像中表格的表格区域之间的对应关系；根据所述至少一个表格区域和所述至少一个单元格信息，确定所述至少一个单元格信息中的单元格区域所属的表格区域；对于所述至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作：对该表格区域进行光学字符识别，得到与该表格区域对应的字符识别结果；对于该表格区域所包括的每个单元格区域，根据与该表格区域对应的字符识别结果，确定该单元格区域所包括的字符识别结果；以及根据该表格区域所包括的单元格区域，确定该表格区域的空间结构信息。

【技术特征摘要】
1.一种用于检测表格的方法，包括：将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，所述单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；将所述待检测表格图像输入预先训练的表格检测模型，得到至少一个表格区域，所述表格检测模型用于表征表格图像和表格图像中表格的表格区域之间的对应关系；根据所述至少一个表格区域和所述至少一个单元格信息，确定所述至少一个单元格信息中的单元格区域所属的表格区域；对于所述至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作：对该表格区域进行光学字符识别，得到与该表格区域对应的字符识别结果；对于该表格区域所包括的每个单元格区域，根据与该表格区域对应的字符识别结果，确定该单元格区域所包括的字符识别结果；以及根据该表格区域所包括的单元格区域，确定该表格区域的空间结构信息。2.根据权利要求1所述的方法，其中，所述单元格检测模型是通过如下训练步骤预先训练得到的：确定初始单元格检测模型的模型结构以及初始化所述初始单元格检测模型的模型参数；确定训练样本集，其中，训练样本包括样本表格图像和用于表征样本表格图像内的至少一个单元格的标注单元格信息；将所述训练样本集中的训练样本中的样本表格图像和标注单元格信息分别作为所述初始单元格检测模型的输入和期望输出，利用机器学习方法训练所述初始单元格检测模型；将训练得到的所述初始单元格检测模型确定为所述预先训练的单元格检测模型。3.根据权利要求2所述的方法，其中，所述确定训练样本集，包括：确定至少一个样本表格中每个样本表格的表格区域以及该样本表格所包括的单元格的单元格信息和文本信息；对于所述至少一个样本表格中的每个样本表格，根据该表格的表格区域和所包括的单元格的单元格信息和文本信息，生成与该样本表格对应的表格图像；将所述至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息。4.根据权利要求3所述的方法，其中，在将所述至少一个样本表格中每个样本表格对应的表格图像和该样本表格所包括的单元格的单元格信息分别确定为训练样本集中的样本表格图像和标注单元格信息之前，所述确定训练样本集还包括：对于所述至少一个样本表格中的每个样本表格，在与该样本表格对应的表格图像中添加噪声。5.根据权利要求1所述的方法，其中，在对于所述至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作之前，所述方法还包括：对于所述至少一个表格区域中的每个表格区域，执行以下第一重叠单元格删除操作：当该表格区域所包括的两个单元格区域的交集面积除以并集面积的比值大于第一预设比值阈值时，将两个单元格区域中面积较小的单元格区域删除。6.根据权利要求1所述的方法，其中，在对于所述至少一个表格区域中的每个表格区域，执行以下空间结构信息确定操作之前，所述方法还包括：对于所述至少一个表格区域中的每个表格区域，执行以下第二重叠单元格删除操作：将该表格区域所包括的交集面积除以较小面积的单元格区域面积的比值大于第二预设比值阈值的两个单元格区域中面积较大的单元格区域删除。7.根据权利要求1-6中任一所述的方法，其中，所述单元格信息还包括：用于表征所述待检测表格图像中单元格区域所指示的区域为单元格的概率值的置信度。8.根据权利要求7所述的方法，其中，在将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息之前，所述方法还包括：获取目标图像；对所述目标图像进行图像预处理，得到所述待检测表格图像，所述图像预处理包括以下至少一项：去印章、去水印、图像摆正和图像压缩。9.根据权利要求1所述的方法，其中，所述方法还包括：对于所述至少一个表格区域中的每个表格区域，根据该表格区域的空间结构信息，以及该表格区域所包括的每个单元格区域的字符识别结果，生成与该表格区域对应的预设格式的表格数据。10.一种用于检测表格的装置，包括：单元格检测单元，被配置成将待检测表格图像输入预先训练的单元格检测模型，得到至少一个单元格信息，其中，单元格信息包括单元格区域，所述单元格检测模型用于表征表格图像和表格图像中单元格的单元格信息之间的对应关系；表格区域确定单...

【专利技术属性】
技术研发人员：王磊，刘建夏，向宇波，张红光，林海涛，宋乐侃，沈俊宇，张文康，袁运筹，王天天，喻友平，吴甜，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11