一种图片表格识别的方法及装置制造方法及图纸

一种基于目标识别定位表格单元格，根据表格单元格获得表格线准确位置的方法，包括：S1.标记构建训练数据；S2.利用现有的目标识别模型训练数据，获得训练模型；S3.利用训练后的模型识别表格单元格；S4.利用识别的表格单元格计算表格线的实际位置。

A method and device of picture table recognition

【技术实现步骤摘要】
一种图片表格识别的方法及装置
本专利技术涉及计算机图像识别领域，更具体地，涉及一种图片表格识别的方法及装置。
技术介绍
企业在购买或卖出产品时，会收取或出具不同种类的票据。这些票据中，表格类的票据占了大部分。将这些票据输入电脑，既浪费人力又容易出错。为了将表格票据自动输入电脑，出现了基于数学形态学的表格识别技术。随着深度学习的发展，也出现了一些应用CNN对表格进行识别的方法。基于形态学的表格识别技术，对于电脑抓图的表格识别效果不错，但对于现实中的拍照获取的表格，效果不太理想。基于CNN的表格识别技术，需要的数据量巨大，训练好一个模型，耗费的人力较大。
技术实现思路
本专利技术提供了一种基于目标识别定位表格单元格，根据表格单元格获得表格线准确位置的方法，包括：S1.标记构建训练数据；S2.利用现有的目标识别模型训练数据，获得训练模型；S3.利用训练后的模型识别表格单元格；S4.利用识别的表格单元格计算表格线的实际位置。在本公开的一实施例中，所述目标识别模型为fasterR-CNN、yoloV3或SSD。在本公开的一实施例中，所述S3中，用训练模型对输入的待识别图片进行识别，识别出图片中的表格单元格，剔除少数噪声点。在本公开的一实施例中，计算横向临近单元格重叠区域的半宽度均值dW，纵向临近单元格重叠区域的半高度均值dH，用dW和dH估算出单元格的实际顶点位置。在本公开的一实施例中，再用估算出的表格单元格的顶点拟合出表格的横线和竖线，即为表格单元格的表格线。本专利技术还提供一种图片表格识别的装置，包括：训练数据单元，用于标记构建训练数据；训练模型单元，用于利用现有的目标识别模型训练数据，获得训练模型；表格识别单元，用于利用训练后的模型识别表格单元格；表格计算单元，用于利用识别的表格单元格计算表格线的实际位置。在本公开的一实施例中，所述目标识别模型为fasterR-CNN、yoloV3或SSD。在本公开的一实施例中，所述表格识别单元，用于训练模型对输入的待识别图片进行识别，识别出图片中的表格单元格，剔除少数噪声点。在本公开的一实施例中，所述表格计算单元，用于计算横向临近单元格重叠区域的半宽度均值dW，纵向临近单元格重叠区域的半高度均值dH，用dW和dH估算出单元格的实际顶点位置。在本公开的一实施例中，所述表格计算单元，再用于以估算出的表格单元格的顶点拟合出表格的横线和竖线，即为表格单元格的表格线。本专利技术提供的图片表格识别的方法及装置，具有如下技术效果：1.与识别表格线再识别表格的方法相比，对扭曲图像的识别效果较好。2.对长表格的识别效果好于一般的表格识别方法。本专利技术实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术实施例的技术方案做进一步的详细描述。附图说明图1是表格识别流程图；图2是训练模型识别表格单元格示意图；图3是计算出的表格线实际位置示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。企业在购买或卖出产品时，会收取或出具不同种类的票据。这些票据中，表格类的票据占了大部分。将这些票据的表格数据输入电脑，既浪费人力又容易出错。为了将表格票据自动输入电脑，目前市场上出现了基于数学形态学的表格识别技术。随着深度学习的发展，也出现了一些应用CNN对表格进行识别的方法。基于形态学的表格识别技术，对于电脑抓图的表格识别效果不错，但对于现实中的拍照获取的表格，效果不太理想。基于CNN的表格识别技术，需要的数据量巨大，训练好一个模型，耗费的人力较大。为了快速准确进行表格识别，本专利技术提供了一种基于目标识别技术定位表格单元格，根据表格单元格获得表格线准确位置的方法。本专利技术的实施例之一是利用目标识别技术来识别和定位图片中的表格单元，如图1，主要步骤如下：S1.标记构建训练数据；S2.利用现有的目标识别模型训练数据，获得训练模型；S3.利用训练后的模型识别表格单元格；S4.利用识别的表格单元格计算表格线的实际位置。本专利技术的又一实施例方案是比一实施例更详细的方案，步骤如下：S1.标记构建训练数据。S2.利用现有的目标识别模型训练数据，获得训练模型。使用预训练的目标识别模型，如fasterR-CNN、yoloV3、SSD等，对标记的训练样本进行训练，获得训练模型。S3.利用训练后的模型识别表格单元格。用训练后的模型，对待识别的带有表格单元的图片进行识别，识别出输入图片中的表格单元格，剔除少数噪声点，示意识别结果如图2所示，蓝色方框标记的区域即为识别出来的表格单元格。S4.利用识别的表格单元格计算表格线的实际位置。在步骤S3中，如图2所示，由于识别出来的表格单元格比实际的单元格稍大，需要估算单元格的实际顶点位置。计算横向临近单元格重叠区域的半宽度均值dW，纵向临近单元格重叠区域的半高度均值dH，将识别出的表格单元格的顶点坐标分别减去/加上dW和dH，即用dW和dH估算出了单元格的实际顶点位置。再用估算出的表格单元格的顶点拟合出表格的横线和竖线，结果如图3所示，蓝色直线即为拟合出来的表格线，其与实际表格线基本上一致。本专利技术又一实施例提供一种图片表格识别的装置，包括：训练数据单元，用于标记构建训练数据。训练模型单元，用于利用现有的目标识别模型训练数据，获得训练模型；所述目标识别模型为fasterR-CNN、yoloV3或SSD。表格识别单元，用于利用训练后的模型识别表格单元格，用于训练模型对输入的待识别图片进行识别，识别出图片中的表格单元格，剔除少数噪声点。表格计算单元，用于利用识别的表格单元格计算表格线的实际位置。用于计算横向临近单元格重叠区域的半宽度均值dW，纵向临近单元格重叠区域的半高度均值dH，用dW和dH估算出单元格的实际顶点位置。再用于以估算出的表格单元格的顶点拟合出表格的横线和竖线，即为表格单元格的表格线。本专利技术的表格识别方法与识别表格线再识别表格的方法相比，对扭曲图像的识别效果较好，对长表格的识别效果好于一般的表格识别方法。以上所述仅为本专利技术的较佳实施例而已，为方便本领域的技术人员更容易理解而设计，并不用以限制本专利技术，凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种图片表格识别的方法，其特征在于，包括：/nS1.标记构建训练数据；/nS2.利用现有的目标识别模型训练数据，获得训练模型；/nS3.利用训练后的模型识别表格单元格；/nS4.利用识别的表格单元格计算表格线的实际位置。/n

【技术特征摘要】
1.一种图片表格识别的方法，其特征在于，包括：
S1.标记构建训练数据；
S2.利用现有的目标识别模型训练数据，获得训练模型；
S3.利用训练后的模型识别表格单元格；
S4.利用识别的表格单元格计算表格线的实际位置。


2.如权利要求1所述的方法，其特征在于，所述目标识别模型为fasterR-CNN、yoloV3或SSD。


3.如权利要求1所述的方法，其特征在于，所述S3中，用训练模型对输入的待识别图片进行识别，识别出图片中的表格单元格，剔除少数噪声点。


4.如权利要求3所述的方法，其特征在于，计算横向临近单元格重叠区域的半宽度均值dW，纵向临近单元格重叠区域的半高度均值dH，用dW和dH估算出单元格的实际顶点位置。


5.如权利要求4所述的方法，其特征在于，再用估算出的表格单元格的顶点拟合出表格的横线和竖线，即为表格单元格的表格线。


6.一种图片表格识别的装置，其特征在于...

【专利技术属性】
技术研发人员：李长明，尹明君，
申请(专利权)人：畅捷通信息技术股份有限公司，
类型：发明
国别省市：北京;11