一种从图像中提取表格的方法、系统和存储介质技术方案

本申请公开了一种从图像中提取表格的方法、系统和存储介质，所述方法包括：获取待处理图像；对待处理图像进行特征提取，以获得其一个以上特征图，其中，至少一个特征图融合有行注意力信息和/或列注意力信息；对特征图进行识别，得到原始图像包含的表格。得到原始图像包含的表格。得到原始图像包含的表格。

【技术实现步骤摘要】
一种从图像中提取表格的方法、系统和存储介质


[0001]本申请涉及图像处理领域，特别涉及一种从图像中提取表格的方法、系统和存储介质。

技术介绍

[0002]表格结构识别旨在从包含表格的原始图像中提取表格的结构信息，包括每个单元格的坐标位置和每个单元格所属的行和列信息。目标检测方法可以基于少量的训练数据训练出卷积核对原始图像进行单元格检测。然而，表格中的空白单元格和检测框的尺寸限制会导致目标检测方法获取的表格结构信息中表格边框难以对齐，需要进一步对表格边框进行调整，这又会降低表格结构识别的效率。此外，对于包含密集单元格的表格，检测框的尺寸限制同样会导致表格结构识别效率的降低。
[0003]因此，有必要提供一种从图像中提取表格的方案，可以提高表格结构识别的准确率和效率。

技术实现思路

[0004]本说明书一个方面提供一种从图像中提取表格的方法，所述方法包括：获取待处理图像；对待处理图像进行特征提取，以获得其一个以上特征图，其中，至少一个特征图融合有行注意力信息和/或列注意力信息；对特征图进行识别，得到原始图像包含的表格。
[0005]本说明书一个方面提供一种从图像中提取表格的方法，所述方法包括：获取待处理图像；对待处理图像进行特征提取，以获得其一个以上特征图；特征图为三维图，包括在一个以上通道上的二维矩阵；对于一个以上特征图中的每一个：将其两个以上通道上的二维矩阵进行组合重排，得到行数和/或列数大于原二维矩阵的重排二维矩阵，进而得到重排特征图；对重排特征图进行识别，得到原始图像包含的表格。
[0006]本说明书另一个方面提供一种从图像中提取表格的系统，所述系统包括：获取模块，用于获取待处理图像；特征提取模块，用于对待处理图像进行特征提取，以获得其一个以上特征图，其中，至少一个特征图融合有行注意力信息和/或列注意力信息；识别模块，用于对所述特征图进行识别，得到原始图像包含的表格。
[0007]本说明书另一个方面提供一种从图像中提取表格的系统，所述系统包括：获取模块，用于获取待处理图像；特征提取模块，用于对待处理图像进行特征提取，以获得其一个以上特征图；特征图为三维图，包括在一个以上通道上的二维矩阵；识别模块，用于对于一个以上特征图中的每一个：将其两个以上通道上的二维矩阵进行组合重排，得到行数和/或列数大于原二维矩阵的重排二维矩阵，进而得到重排特征图，以及对重排特征图进行识别，得到原始图像包含的表格。
[0008]本说明书另一个方面提供一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现从图像中提取表格的方法。
附图说明
[0009]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的从图像中提取表格的系统的应用场景图；图2是根据本说明书一些实施例所示的从图像中提取表格的系统的示例性模块图；图3是根据本说明书一些实施例所示的从图像中提取表格的方法的示例性流程图；图4是根据本说明书一些实施例所示的对待处理图像进行特征提取其中一轮融合行信息的迭代处理的示例性流程图；图5是根据本说明书一些实施例所示的对待处理图像进行特征提取其中一轮融合列信息的迭代处理的示例性流程图；图6是根据本说明书一些实施例所示的对待处理图像进行特征提取其中一轮融合行信息和列信息的迭代处理的示例性流程图；图7是根据本说明书一些实施例所示的对待处理图像进行一轮以上迭代处理的示例性示意图；图8A和图8B是根据本说明书一些实施例所示的检测框的示例性示意图；图9A和图9B是根据本说明书一些实施例所示的对多个单元格检测框进行规则处理的示例性示意图；图10A和图10B是根据本说明书一些实施例所示的对特征图的二维矩阵进行组合重排的示例性示意图。
具体实施方式
[0010]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0011]应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0012]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0013]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数
步操作。
[0014]图1是根据本说明书一些实施例所示的从图像中提取表格的系统的应用场景图。如图1所示，应用场景100可以包括如下部分。
[0015]处理器110可以处理从其他设备或系统组成部分中获得的数据和/或信息。处理器可以基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本说明书中描述的功能。例如，处理器110可以从用户终端130获取待处理图像。又例如，处理器110可以对待处理图像进行特征提取，以获得其一个以上特征图。再例如，处理器110还可以对特征图进行识别，得到原始图像包含的表格。在一些实施例中，处理器110可以包含一个或多个子处理设备（例如，单核处理设备或多核多芯处理设备）。
[0016]存储设备120可以用于存储数据和/或指令。例如，存储设备120可以存储每轮迭代处理输出的特征图。又例如，存储设备120可以存储重排特征图。存储设备120可以包括一个或多个存储组件，每个存储组件可以是一个独立的设备，也可以是其他设备的一部分。在一些实施例中，存储设备120可包括随机存取存储器（RAM）、只读存储器（ROM）、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。在一些实施例中，所述存储设备120可在云平台上实现。
[0017]用户终端130指用户所使用的一个或多个终端设备或软件。在一些实施例中，用户终端130可以用于与用户进行交互和显示。例如，用户终端130可以向用户显示原始图像、待处理图像和表格。又例如，用户终端130可以从用户获取用户输入的原始图像。在一些实施例中，使用用户终端130的可以是一个或多个用户，可以包括直接使用服务的用户，也可以包括其他相关用户。在一些实施例中，用户终端130可以是移动设备130
‑...

【技术保护点】

【技术特征摘要】
1.一种从图像中提取表格的方法，所述方法包括：获取待处理图像；对待处理图像进行特征提取，以获得其一个以上特征图，其中，至少一个特征图融合有行注意力信息和/或列注意力信息；对所述特征图进行识别，得到原始图像包含的表格。2.如权利要求1所述的方法，对待处理图像进行特征提取，以获得其一个以上特征图，包括对待处理图像进行一轮以上迭代处理，得到一个以上特征图，其中一轮迭代处理包括：对待处理图像或前一轮迭代处理得到的特征图进行卷积操作，得到初始特征图；所述初始特征图为三维图，包括在一个以上通道上的二维矩阵；获取初始特征图中各通道上二维矩阵中各行的第一特征信息；基于一个以上第一策略对各通道上二维矩阵中相同行的第一特征信息进行融合，得到一个以上第一策略分别对应的所述二维矩阵中各行的第一融合特征信息；基于一个以上第一策略分别对应的所述二维矩阵中各行的第一融合特征信息，得到初始特征图中各通道上二维矩阵中各行的行注意力权重；将初始特征图中各像素点的像素值乘以对应通道上对应行的行注意力权重，得到当前轮的特征图。3.如权利要求2所述的方法，所述一个以上特征图包括所述一轮以上迭代处理中一轮或多轮中得到的特征图。4.如权利要求2所述的方法，所述第一特征信息包括所述二维矩阵中对应行的各元素的均值和/或各元素中的最大值。5.如权利要求2所述的方法，所述基于一个以上第一策略对各通道上二维矩阵中相同行的第一特征信息进行融合，得到一个以上第一策略分别对应的所述二维矩阵中各行的第一融合特征信息，包括：基于一个以上第一策略对各通道上二维矩阵中相同行的第一特征信息进行卷积操作，得到一个以上第一策略分别对应的所述二维矩阵中各行的第一卷积信息；基于第一函数，将一个以上第一卷积信息映射为一个以上第一策略分别对应的所述二维矩阵中各行的第一融合特征信息。6.如权利要求1所述的方法，对待处理图像进行特征提取，以获得其一个以上特征图，包括对待处理图像进行一轮以上迭代处理，得到一个以上特征图，其中一轮迭代处理包括：对待处理图像或前一轮迭代处理得到的特征图进行卷积操作，得到初始特征图；所述初始特征图为三维图，包括在一个以上通道上的二维矩阵；获取初始特征图各通道上二维矩阵中各列的第二特征信息；基于一个以上第二策略对各通道上二维矩阵中相同列的第二特征信息进行融合，得到一个以上第二策略分别对应的所述二维矩阵中各列的第二融合特征信息；将基于一个以上第二策略分别对应的所述二维矩阵中各列的第二融合特征信息，得到初始特征图中各通道上二维矩阵中各列的列注意力权重；将初始特征图中各像素点的像素值乘以对应通道上对应列的列注意力权重，得到所述特征图。7.如权利要求6所述的方法，所述第二特征信息包括所述二维矩阵中对应列的各元素
的均值和/或各元素中的最大值。8.如权利要求1所述的方法，所述对待处理图像进行特征提取，以获得其一个以上特征图，包括对待处理图像进行一轮以上迭代处理，得到一个以上特征图，其中一轮迭代处理包括：对待处理图像或前一轮迭代处理得到的特征图进行卷积操作，得...

【专利技术属性】
技术研发人员：王国栋，丁国栋，谌明，夏鑫，
申请(专利权)人：杭州同花顺数据开发有限公司，
类型：发明
国别省市：