一种表格识别方法以及装置制造方法及图纸

本申请公开一种表格识别方法，该方法包括：获取待识别图像；将待识别图像输入已训练的表格检测模型得到待识别图像中表格图像的表格坐标信息；将待识别图像输入已训练的表格线检测模型得到待识别图像中表格图像的表格线位置信息；根据表格坐标信息以及表格线位置信息确定表格图像中各个单元格的位置信息以及文本信息；根据表格图像中各个单元格的位置信息以及文本信息生成表格图像对应的表格信息。这样，本申请可自动从图像中提取表格信息，而不需要人工手动从图像中提取表格，从而避免出现人工提取表格过程中出现由于操作错误所导致的信息提取错误、效率低下、耗时费力的问题，提高了从图像中提取表格信息的效率和精准度，进而提高了用户体验。

【技术实现步骤摘要】
一种表格识别方法以及装置
本申请涉及图像处理领域，尤其涉及一种表格识别方法、装置。
技术介绍
文档是现代办公中不可或缺的一部分，表格作为其中常见的一部分，包含着许多关键而精炼的信息。然而，由于表格样式的差异导致人工从图片中提取识别表格信息十分费时费力，而图片文档中冗余的文本、噪声干扰对传统的表格提取算法而言会造成很大的影响。故此，亟需一种新的表格识别方法。
技术实现思路
本申请提供一种表格识别方法，以可以实现提高从图像中提取表格信息的效率和精准度，进而提高了用户体验。第一方面，本申请提供了一种表格识别方法，所述方法包括：获取待识别图像，其中，所述待识别图像包括表格图像；将所述待识别图像输入已训练的表格检测模型，得到所述待识别图像中表格图像的表格坐标信息；将所述待识别图像输入已训练的表格线检测模型，得到所述待识别图像中表格图像的表格线位置信息；根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息；根据所述表格图像中各个单元格的位置信息以及文本信息，生成所述表格图像对应的表格信息。可选的，所述表格检测模型为YOLO模型；所述表格检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像在所述样本图像中的位置信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格坐标信息包括所述表格图像在所述待识别图像中的四个端点的坐标信息或者两个对角的端点的坐标信息。可选的，所述表格线检测模型为Unet模型；所述表格线检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像中各个表格线上的像素点在所述样本图像中的坐标信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格线位置信息包括所述表格图像中各个表格线上的像素点在所述待识别图像中的坐标信息。可选的，所述表格线检测模型的输出项为所述待识别图像对应的二通道图像，其中，所述待识别图像对应的二通道图像包括所述表格图像的表格线位置信息。可选的，所述根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息，包括：根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的端点坐标信息；根据所述表格图像中各个单元格的端点坐标信息，确定所述表格图像中各个单元格的位置信息以及文本信息。可选的，所述根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的端点坐标信息，包括：根据所述表格坐标信息，确定所述表格图像；根据所述表格线位置信息，确定所述表格图像中各个表格线的端点坐标信息以及表格线类型；其中，所述表格线类型包括横线和竖线；根据所述表格图像中各个表格线的端点坐标信息以及表格线类型，确定所述表格图像的交点集；其中，所述表格图像的交点集包括所述表格图像中各个横线表格线与各个竖线表格线的所有交点的坐标信息；根据所述表格图像的交点集，确定所述表格图像中各个单元格的端点坐标信息。可选的，所述根据所述表格线位置信息，确定所述表格图像中各个表格线的端点坐标信息以及表格线类型，包括：针对所述表格图像中每一个表格线，根据该表格线上的各个像素点的八连通区域，确定该表格线对应的最小外接矩形；根据该表格线对应的最小外接矩形的长、宽确定该表格线的表格线类型；根据该表格线的表格线类型，确定该表格线的端点坐标信息。可选的，交点的坐标信息包括横坐标和纵坐标；所述根据所述表格图像的交点集，确定所述表格图像中各个单元格的端点坐标信息，包括：针对所述所述表格图像的交点集中每一交点，将所述交点作为目标交点，若所述交点集中存在所述目标交点对应的第一交点、第二交点和第三交点，则将所述目标交点以及所述交点对应的第一交点、第二交点和第三交点，确定所述表格图像中一个单元格的端点坐标信息；其中，所述第一交点为与所述目标交点在同一横线表格线上、与所述目标交点相邻以及横坐标与所述目标交点的横坐标相同的交点；所述第二交点为与所述目标交点在同一竖线表格线上、与所述目标交点相邻以及纵坐标与所述目标交点的纵坐标相同的交点；所述第三交点为与所述第一交点在同一竖线表格线上、与所述第一交点相邻、纵坐标与所述第一交点的纵坐标相同且与所述第二交点在同一横线表格线上、与所述第二交点相邻、横坐标与所述第二交点的横坐标相同的交点。可选的，所述根据所述表格图像中各个单元格的端点坐标信息，确定所述表格图像中各个单元格的位置信息以及文本信息，包括：针对所述表格图像中每一个单元格，根据该单元格的端点坐标信息，确定该单元格在所述表格图像中的位置信息；根据该单元格的位置信息，确定该单元格的图像区域；对该单元格的图像区域进行文字识别，得到该单元格对应的文本信息。第二方面，本申请提供了一种表格识别装置，所述装置包括：第一获取单元，用于获取待识别图像，其中，所述待识别图像包括表格图像；第二获取单元，用于将所述待识别图像输入已训练的表格检测模型，得到所述待识别图像中表格图像的表格坐标信息；第三获取单元，用于将所述待识别图像输入已训练的表格线检测模型，得到所述待识别图像中表格图像的表格线位置信息；信息确定单元，用于根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息；表格生成单元，用于根据所述表格图像中各个单元格的位置信息以及文本信息，生成所述表格图像对应的表格信息。可选的，所述表格检测模型为YOLO模型；所述表格检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像在所述样本图像中的位置信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格坐标信息包括所述表格图像在所述待识别图像中的四个端点的坐标信息或者两个对角的端点的坐标信息。可选的，所述表格线检测模型为Unet模型；所述表格线检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像中各个表格线上的像素点在所述样本图像中的坐标信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格线位置信息包括所述表格图像中各个表格线上的像素点在所述待识别图像中的坐标信息。可选的，所述表格线检测模型的输出项为所述待识别图像对应的二通道图像，其中，所述待识别图像对应的二通道图像包括所述表格图像的表格线位置信息。可选的，所述信息确定单元，具体用于：根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的端点坐标信息；根据所述表格图像中各个单元格的端点坐标信息，确定所述表格图像中各个单元格的位置信息以及文本信息。可选的，所述所述信息确定单元，具体用于：根据所述表格坐标信息，确定所述表格图像；根据所述表格线位置信息，确定所述表格图像中各个表格线的端点坐标信息以及表格线类型；其中，所述表格线类型包括横线和竖线；根据所述表格图像中各本文档来自技高网...

【技术保护点】
1.一种表格识别方法，其特征在于，所述方法包括：/n获取待识别图像，其中，所述待识别图像包括表格图像；/n将所述待识别图像输入已训练的表格检测模型，得到所述待识别图像中表格图像的表格坐标信息；/n将所述待识别图像输入已训练的表格线检测模型，得到所述待识别图像中表格图像的表格线位置信息；/n根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息；/n根据所述表格图像中各个单元格的位置信息以及文本信息，生成所述表格图像对应的表格信息。/n

【技术特征摘要】
1.一种表格识别方法，其特征在于，所述方法包括：
获取待识别图像，其中，所述待识别图像包括表格图像；
将所述待识别图像输入已训练的表格检测模型，得到所述待识别图像中表格图像的表格坐标信息；
将所述待识别图像输入已训练的表格线检测模型，得到所述待识别图像中表格图像的表格线位置信息；
根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息；
根据所述表格图像中各个单元格的位置信息以及文本信息，生成所述表格图像对应的表格信息。


2.根据权利要求1所述的方法，其特征在于，所述表格检测模型为YOLO模型；所述表格检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像在所述样本图像中的位置信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格坐标信息包括所述表格图像在所述待识别图像中的四个端点的坐标信息或者两个对角的端点的坐标信息。


3.根据权利要求1所述的方法，其特征在于，所述表格线检测模型为Unet模型；所述表格线检测模型是基于包括样本表格图像的样本图像以及所述样本表格图像中各个表格线上的像素点在所述样本图像中的坐标信息之间的对应关系训练得到的；和/或，所述待识别图像中表格图像的表格线位置信息包括所述表格图像中各个表格线上的像素点在所述待识别图像中的坐标信息。


4.根据权利要求3所述的方法，其特征在于，所述表格线检测模型的输出项为所述待识别图像对应的二通道图像，其中，所述待识别图像对应的二通道图像包括所述表格图像的表格线位置信息。


5.根据权利要求1-4中任一所述的方法，其特征在于，所述根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的位置信息以及文本信息，包括：
根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的端点坐标信息；
根据所述表格图像中各个单元格的端点坐标信息，确定所述表格图像中各个单元格的位置信息以及文本信息。


6.根据权利要求5所述的方法，其特征在于，所述根据所述表格坐标信息以及所述表格线位置信息，确定所述表格图像中各个单元格的端点坐标信息，包括：
根据所述表格坐标信息，确定所述表格图像；
根据所述表格线位置信息，确定所述表格图像中各个表格线的端点坐标信息以及表格线类型；其中，所述表格线类型包括横线和竖线；
根据所述表格图像中各个表格线的端点坐标信息以及表格线类型，确定所述表格图像的交点集；其中，所述表格图像的交点集包括所述表格图像中各个横线表格线与各个竖线表格线的所有交点的坐标信息；
...

【专利技术属性】
技术研发人员：罗奥升，褚正全，
申请(专利权)人：中国电子系统技术有限公司，
类型：发明
国别省市：北京;11