本申请公开了一种将图像中表格转换为电子表格的方法。步骤S1：根据图像中的文字行及线，对图像做转正及矫正处理。步骤S2：在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域。步骤S3：在图像的表格区域中检测表格线。步骤S4：根据对图像的表格区域进行光学字符识别获取的文字行信息，移除虚假表格线，得到真实表格线。步骤S5：根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别。步骤S6：根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存。步骤S7：如有缺失的单元格，在相应位置补齐单元格，以得到完整的结构化的电子表格。以得到完整的结构化的电子表格。以得到完整的结构化的电子表格。
【技术实现步骤摘要】
一种将图像中表格转换为电子表格的方法及装置
[0001]本申请涉及一种图像识别方法，特别是涉及一种将图像中的表格识别出来并转换为电子表格(例如Excel文件)的方法。
技术介绍
[0002]表格作为常见的文档形式，在办公、日常生活中得到广泛使用。在财务处理、数据分析等工作中，存在大量将图像(图片)中的表格转化为电子表格的需求。由于打印质量、拍摄角度、拍摄光线、纸张弯折等方面的问题，现有的转换方法经常出现表格线误检、表格线漏检、单元格位置错误、单元格丢失等情况，从而使电子表格的版式还原出现错误。
技术实现思路
[0003]本申请所要解决的技术问题是对于不同图像质量的图像中的不同版式的表格，给出一种具有良好的版式还原效果的转换为电子表格的方法。
[0004]为解决上述技术问题，本申请提出的将图像中表格转换为电子表格的方法包括如下步骤。步骤S1：根据图像中的文字行及线，对图像做转正及矫正处理。步骤S2：在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域。步骤S3：在图像的表格区域中检测表格线。步骤S4：根据对图像的表格区域进行光学字符识别获取的文字行信息，对步骤S3检测得到的表格线进行过滤，移除虚假表格线，得到真实表格线。步骤S5：根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别。步骤S6：根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存。步骤S7：根据表格最外侧一圈的单元格是否结构完整、以及相邻单元格之间是否有间隙，判断是否有缺失的单元格；如有缺失的单元格，在相应位置补齐单元格，以使表格最外侧一圈的单元格的结构完整、并且相邻单元格之间没有间隙，得到完整的结构化的电子表格。上述方法针对图像质量较差的缺陷给出了多种检测和矫正方式，并且转换后的电子表格与图像中的表格具有相同的版式。
[0005]进一步地，所述步骤S1中，检测图像中的文字行及表格线的角度，并使图像中的每一行文字大致为水平排列，使表格线中的水平线大致为水平，使表格线中的竖直线大致为竖直的方式对整幅图像进行转正及矫正处理。这是对步骤S1的详细说明。
[0006]进一步地，所述步骤S2中，所述无锚的目标检测方法包括CornerNet算法、CenterNet算法、ExtremeNet算法、DenseBox算法、YOLO算法、FSAF算法、FCOS算法、FoveaBox算法、RepPoints算法、Sparse RCNN算法、CentripetalNet算法、SaccadeNet算法的任意一种或多种。这是步骤S2所用算法的一些优选示例。
[0007]进一步地，所述步骤S3具体包括如下子步骤。步骤S31：采用基于语义分割网络的算法在图像的表格区域中预测和提取表格线区域，表格线区域是指表格线可能出现的位置，就是一些孤立的像素点。步骤S32：在图像的表格线区域通过曲线拟合方法检测出表格线，也就是采用曲线拟合方法将前一步预测的孤立的像素点连接成线段。这是步骤S3的一
种具体实现方式的详细说明。
[0008]进一步地，所述步骤S31中，所述基于语义分割网络的算法是先通过标注的表格线数据进行训练，然后再使用训练好的算法预测和提取表格线区域。这体现出本申请具有数据驱动的特点。
[0009]进一步地，所述步骤S4中，对图像的表格区域进行光学字符识别以获取文字行信息，在这一步或之前的任意步骤中进行，也包括对原始图像进行光学字符识别以获取文字行信息然后缩小到图像的表格区域内的文字行信息的方式。
[0010]进一步地，所述步骤S5中，对于水平线，按起始端点排序后进行循环处理，遇到垂直距离接近且水平部分有重叠的水平线就进行合并去重，如此将逻辑上属于上同一条水平线但实际被检测为多条的水平线组装为一条水平线；最终，每一表格行的水平线归为一组，组内根据是否有单元格合并情况包含一根或多根水平线；对竖直线的处理采用类似方法。这是对步骤S5的详细说明。
[0011]进一步地，所述步骤S6中，对单元格进行光学字符识别以获取识别结果，在这一步或之前的任意步骤中进行，包括对图像的表格区域进行光学字符识别以获取识别结果然后缩小到单元格范围内的识别结果的方式，也包括对原始图像进行光学字符识别以获取识别结果然后缩小到单元格范围内的识别结果的方式。
[0012]优选地，对图像的表格区域进行光学字符识别以获取文字行信息、对单元格进行光学字符识别以获取识别结果，两者同时进行。
[0013]本申请还提出了一种将图像中表格转换为电子表格的装置，包括转正及矫正处理单元、表格位置检测单元、表格线检测单元、表格线滤除单元、表格线分组单元、单元格构建单元、单元格补齐单元。所述转正及矫正处理单元用来根据图像中的文字行及线，对图像做转正及矫正处理。所述表格位置检测单元用来在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域。所述表格线检测单元用来在图像的表格区域中检测表格线。所述表格线滤除单元用来根据对图像的表格区域进行光学字符识别获取的文字行信息，移除虚假表格线，得到真实表格线。所述表格线分组单元用来根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别。所述单元格构建单元用来根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存。所述单元格补齐单元用来根据表格最外侧一圈的单元格是否结构完整、以及相邻单元格之间是否有间隙，判断是否有缺失的单元格；如有缺失的单元格，在相应位置补齐单元格，以使表格最外侧一圈的单元格的结构完整、并且相邻单元格之间没有间隙，得到完整的结构化的电子表格。上述装置针对图像质量较差的缺陷给出了多种检测和矫正方式，并且转换后的电子表格与图像中的表格具有相同的版式。
[0014]本申请取得的技术效果是能够将图像质量较差或较好的图像转换为电子表格，准确性高；并且保持版式一致，电子表格具有良好的完整性。
附图说明
[0015]图1是本申请提出的将图像中表格转换为电子表格的方法的流程示意图。
[0016]图2是图1中步骤S3的子流程示意图。
[0017]图3是本申请提出的将图像中表格转换为电子表格的装置的结构示意图。
[0018]图中附图标记说明：1为转正及矫正处理单元、2为表格位置检测单元、3为表格线检测单元、4为表格线滤除单元、5为表格线分组单元、6为单元格构建单元、7为单元格补齐单元。
具体实施方式
[0019]请参阅图1，本申请提出的将图像中表格转换为电子表格的方法包括如下步骤。
[0020]步骤S1：根据图像中的文字行及表格线信息，对图像做转正及矫正处理。例如，图像中的文字通常为水平排列，表格线通常包括水平线与竖直线，由于拍摄角度、纸张弯曲的问题而使得图像中的文字和表格线有可能出现倾斜、扭曲等情况。这一步通过检测文字行及表格线的角度，并使图像中的每一行文字大致为水平排列，使接近水平的线大致为水平，使接近竖直的线大致为竖本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种将图像中表格转换为电子表格的方法，其特征是，包括如下步骤；步骤S1：根据图像中的文字行及线，对图像做转正及矫正处理；步骤S2：在图像中采用无锚的目标检测方法来确定图像中表格的位置，也称图像的表格区域；步骤S3：在图像的表格区域中检测表格线；步骤S4：根据对图像的表格区域进行光学字符识别获取的文字行信息，对步骤S3检测得到的表格线进行过滤，移除虚假表格线，得到真实表格线；步骤S5：根据表格线之间的位置关系，将所有表格线分别归入各个行、各个列的组别；步骤S6：根据表格线所属组别构建单元格，并将每一单元格范围内的光学字符识别结果作为该单元格中的文字信息保存；步骤S7：根据表格最外侧一圈的单元格是否结构完整、以及相邻单元格之间是否有间隙，判断是否有缺失的单元格；如有缺失的单元格，在相应位置补齐单元格，以使表格最外侧一圈的单元格的结构完整、并且相邻单元格之间没有间隙，得到完整的结构化的电子表格。2.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S1中，检测图像中的文字行及表格线的角度，并使图像中的每一行文字大致为水平排列，使表格线中的水平线大致为水平，使表格线中的竖直线大致为竖直的方式对整幅图像进行转正及矫正处理。3.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S2中，所述无锚的目标检测方法包括CornerNet算法、CenterNet算法、ExtremeNet算法、DenseBox算法、YOLO算法、FSAF算法、FCOS算法、FoveaBox算法、RepPoints算法、Sparse RCNN算法、CentripetalNet算法、SaccadeNet算法的任意一种或多种。4.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S3具体包括如下子步骤；步骤S31：采用基于语义分割网络的算法在图像的表格区域中预测和提取表格线区域，表格线区域是指表格线可能出现的位置，就是一些孤立的像素点；步骤S32：在图像的表格线区域通过曲线拟合方法检测出表格线，也就是采用曲线拟合方法将前一步预测的孤立的像素点连接成线段。5.根据权利要求4所述的将图像中表格转换为电子表格的方法，其特征是，所述步骤S31中，所述基于语义分割网络的算法是先通过标注的表格线数据进行训练，然后再使用训练好的算法预测和提取表格线区域。6.根据权利要求1所述的将图像中表格转换为电子表格的方法，其特征是...
【专利技术属性】
技术研发人员：郭丰俊，龙伟，丁凯，龙腾，
申请(专利权)人：上海临冠数据科技有限公司上海生腾数据科技有限公司上海盈五蓄数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。