图片表格的识别方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种图片表格的识别方法、装置、电子设备及存储介质，涉及图像识别技术领域，该方法包括：对表格区域进行分割，得到横线分割灰度图、竖线分割灰度图、行区域分割灰度图和列区域分割灰度图；对二值化的横线分割灰度图、竖线分割灰度图、行区域分割灰度图和列区域分割灰度图进行连通区域分析和聚类，得横线段对象集合、竖线段对象集合、行区域像素点集合和列区域像素点集合；根据横线段对象集合、竖线段对象集合、行区域像素点集合与列区域像素点集，确定出多个单元格；将图片表格中提取出的文本内容添加至单元格中。本申请实施例提供的方法、装置、电子设备及存储介质可准确的识别出图片表格中的表格。

【技术实现步骤摘要】
图片表格的识别方法、装置、电子设备及存储介质
本文件涉及图像识别
，尤其涉及一种图片表格的识别方法、装置、电子设备及存储介质。
技术介绍
图片表格识别技术主要是针对手机拍摄图片、其他自然场景图片或电子文档转化的图片中的表格进行识别。目前，对于图片表格的识别往往是先将表格进行校正，使图像中的表格线基本可视为直线后进行图像识别处理。然而，由于外界因素影响导致表格线产生弯曲变形、颜色不均匀等情形时，表格的识别效果将会大打折扣。因此，如何提供一种有效的方案以准确识别出图片表格是现有技术中一亟待解决的问题。
技术实现思路
本申请实施例提供一种图片表格的识别方法、装置、电子设备及存储介质，用以解决现有技术存在的图片表格的识别效果差的问题。为解决上述技术问题，本申请实施例是这样实现的：第一方面，本申请实施例提供了一种图片表格的识别方法，包括：通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，得到与表格横线对应的横线分割灰度图、与表格竖线对应的竖线分割灰本文档来自技高网...

【技术保护点】
1.一种图片表格的识别方法，其特征在于，包括：/n通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，得到与表格横线对应的横线分割灰度图、与表格竖线对应的竖线分割灰度图、与行文本内容对应的行区域分割灰度图和与列文本内容对应的列区域分割灰度图；/n分别对所述横线分割灰度图和所述竖线分割灰度图进行二值化处理，并对二值化处理后的所述横线分割灰度图和二值化处理后的所述竖线分割灰度图进行连通区域分析和聚类，得到与所述横线分割灰度图对应的横线段对象集合和与所述竖线分割灰度图对应的竖线段对象集合；/n分别对所述行区域分割灰度图和所述列区域分割灰度图进行二值化处理，并对...

【技术特征摘要】
1.一种图片表格的识别方法，其特征在于，包括：
通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，得到与表格横线对应的横线分割灰度图、与表格竖线对应的竖线分割灰度图、与行文本内容对应的行区域分割灰度图和与列文本内容对应的列区域分割灰度图；
分别对所述横线分割灰度图和所述竖线分割灰度图进行二值化处理，并对二值化处理后的所述横线分割灰度图和二值化处理后的所述竖线分割灰度图进行连通区域分析和聚类，得到与所述横线分割灰度图对应的横线段对象集合和与所述竖线分割灰度图对应的竖线段对象集合；
分别对所述行区域分割灰度图和所述列区域分割灰度图进行二值化处理，并对二值化处理后的所述行区域分割灰度图和二值化处理后的所述列区域分割灰度图进行连通区域分析和聚类，得到与所述行区域分割灰度图对应的多个行区域像素点集合和与所述列区域分割灰度图对应的多个列区域像素点集合；
根据所述横线段对象集合与所述竖线段对象集合对应的线段交点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，确定出与所述表格区域对应的多个单元格；
对所述图片表格中的内容进行文本提取，得到所述图片表格中的文本内容；
基于所述文本内容的位置和所述多个单元格中每个单元格的位置，将所述文本内容添加至对应的单元格中。


2.根据权利要求1所述的方法，其特征在于，根据所述横线段对象集合与所述竖线段对象集合对应的线段交点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，确定出与所述表格区域对应的多个单元格，包括：
根据所述横线段对象集合与所述竖线段对象集合对应的线段交点，确定出与所述表格区域对应的多个单元格顶点；
基于与所述表格区域对应的多个单元格顶点、所述多个行区域像素点集合与所述多个列区域像素点集对应的重叠区域，得到与所述表格区域对应的多个单元格。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述图片表格、所述横线分割灰度图、所述竖线分割灰度图、所述行区域分割灰度图和所述列区域分割灰度图作为预先训练的单元格合并判别模型的输入进行运算，得到相邻单元格之间的置信度矩阵；
基于相邻单元格之间的置信度矩阵，对相邻的单元格进行合并处理，得到多个目标单元格；
所述基于所述文本内容的位置和所述多个单元格中每个单元格的位置，将所述文本内容添加至对应的单元格中，包括：
基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将所述文本内容添加至对应的目标单元格中；
其中，所述置信度矩阵用于表征相邻单元格是否需要合并的置信度。


4.根据权利要求3所述的方法，其特征在于，所述基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将所述文本内容添加至对应的目标单元格中，包括：
对所述文本内容进行排序；
基于所述文本内容的位置和所述多个目标单元格中每个目标单元格的位置，将排序后的所述文本内容添加至对应的目标单元格中。


5.根据权利要求1所述的方法，其特征在于，所述对所述图片表格中的内容进行文体提取，得到所述图片表格中的文本内容，包括：
对所述图片表格中的内容进行文本检测和文本识别，得到所述图片表格中的文本内容。


6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对获取到的图片表格进行表格提取，得到所述图片表格中的表格区域。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述表格区域缩放至预定尺寸；
所述通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，包括：
通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对缩放后的所述表格区域进行分割。


8.一种图片表格的识别装置，其特征在于，包括：
分割模块，用于通过基于表格线的语义分割模型和基于表格内容区域的语义分割模型，对图片表格的表格区域进行分割，得到与表格横线对应的横线分割灰度图、与表格竖线对应的竖线分割灰度图、与行文本内容对应...

【专利技术属性】
技术研发人员：蒙丽宇，汪明浩，
申请(专利权)人：北京思图场景数据科技服务有限公司，
类型：发明
国别省市：北京;11