图片中非结构化表格识别方法及装置制造方法及图纸

本申请实施例提供一种图片中非结构化表格识别方法及装置，方法包括：对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格。本申请无需使用深层的网络进行长时间训练，就有效能提高非结构化表格识别结果的准确率，进而能够准确、简单且快速地向用户输出或展示非结构化表格，以有效提高用户读取非结构化表格中数据的准确性和便捷性，提高用户体验。

Recognition method and device of unstructured form in picture

【技术实现步骤摘要】
图片中非结构化表格识别方法及装置
本申请涉及图片识别
，具体涉及图片中非结构化表格识别方法及装置。
技术介绍
目前，在计算机视觉领域中，对图片中的内容进行识别的研究已经取得了不错的效果。现在已经开始针对图片中存在表格的情况，对表格中的内容进行识别。现阶段，对表格图片进行识别主要分为两步：对表格区域进行定位和对表格区域进行识别。定位常用的技术手段有：连通域提取等传统图像处理技术以及R-CNN(Region-CNN)、faster-R-CNN等深度神经网络训练得到的定位模型进行定位。文字识别技术则常用到Tesseract、C-RNN等。但现在针对非结构化表格图片进行识别依然没有较好的技术手段达到成功的准确率。非结构化表格是指文字相对对齐，且缺少甚至没有表格线的一系列文本块区域(如三线表)。这类图片尽管可以将其视为段落文本进行整文识别，但识别结果没有任何相关性，而表格内容通常是高度相关的，这就导致无法获取相对行列位置区域的某个文本块。因此，对于非结构化表格图片的识别中识别结果格式混乱但内容逻辑相关的情况，目前还没有一种高效的图像处理方法。
技术实现思路
针对现有技术中的问题，本申请提供一种图片中非结构化表格识别方法及装置，无需使用深层的网络进行长时间训练，就有效能提高非结构化表格识别结果的准确率，进而能够准确、简单且快速地向用户输出或展示非结构化表格，以有效提高用户读取非结构化表格中数据的准确性和便捷性，提高用户体验。为解决上述技术问题，本申请提供以下技术方案：第一方面，本申请提供一种图片中非结构化表格识别方法，包括：对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格。进一步地，所述基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，包括：应用预设的图像预处理方式，基于所述位置信息对所述非结构化表格区域进行相邻的文本块提取，其中，所述图像预处理方式包括：连通域提取方式。进一步地，所述图像预处理方式还包括：图像灰度化处理方式、边缘检测处理方式和形态学处理处理方式。进一步地，所述应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，包括：获取补齐表格线后的非结构化表格区域对应的各个文字切片；将各个所述文字切片分别输入预设的文字识别模型，并将该文字识别模型的输出分别作为各个所述文字切片的文字识别结果；根据各个所述文字切片的文字识别结果生成对应的非结构化表格。进一步地，所述获取补齐表格线后的非结构化表格区域对应的各个文字切片，包括：应用预设的切片方式对补齐表格线后的非结构化表格区域进行单元格切片处理，得到各个单元格各自对应的文字切片，以及各个所述文字切片各自对应的位置信息。进一步地，所述根据各个所述文字切片的文字识别结果生成对应的非结构化表格，包括：根据各个所述文字切片的文字识别结果以及各个所述文字切片各自对应的位置信息，对各个所述文字切片的文字识别结果进行格式整理；基于各个所述文字切片的文字识别结果的格式整理结果生成对应的非结构化表格。进一步地，所述文字识别模型为R-CNN网络。进一步地，所述切片方式包括：形态学处理方式和Hough变换方式。进一步地，在所述对目标图片中的非结构化表格区域进行定位之前，还包括：接收至少一张图片，自接收的图片中分别提取单一张图片作为当前的目标图片。第二方面，本申请提供一种图片中非结构化表格识别装置，包括：表格定位模块，用于对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；表格线补齐模块，用于基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；识别模块，用于应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格。进一步地，所述表格线补齐模块包括：表格预处理单元，用于应用预设的图像预处理方式，基于所述位置信息对所述非结构化表格区域进行相邻的文本块提取，其中，所述图像预处理方式包括：连通域提取方式。进一步地，所述图像预处理方式还包括：图像灰度化处理方式、边缘检测处理方式和形态学处理处理方式。进一步地，所述识别模块包括：单元格切片单元，用于获取补齐表格线后的非结构化表格区域对应的各个文字切片；文字识别单元，用于将各个所述文字切片分别输入预设的文字识别模型，并将该文字识别模型的输出分别作为各个所述文字切片的文字识别结果；识别结果转化和输出单元，用于根据各个所述文字切片的文字识别结果生成对应的非结构化表格。进一步地，所述单元格切片单元具体用于执行下述内容：应用预设的切片方式对补齐表格线后的非结构化表格区域进行单元格切片处理，得到各个单元格各自对应的文字切片，以及各个所述文字切片各自对应的位置信息。进一步地，所述识别结果转化和输出单元具体用于执行下述内容包括：根据各个所述文字切片的文字识别结果以及各个所述文字切片各自对应的位置信息，对各个所述文字切片的文字识别结果进行格式整理；基于各个所述文字切片的文字识别结果的格式整理结果生成对应的非结构化表格。进一步地，所述文字识别模型为R-CNN网络。进一步地，所述切片方式包括：形态学处理方式和Hough变换方式。进一步地，还包括：样本输入模块，用于接收至少一张图片，自接收的图片中分别提取单一张图片作为当前的目标图片。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图片中非结构化表格识别方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的图片中非结构化表格识别方法的步骤。由上述技术方案可知，本申请提供的一种图片中非结构化表格识别方法及装置，方法包括：对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格，能够根据文本块相对于表格的位置信息补齐表格中不完整的线条，再将每个单元格的切片送入识别模型，无需使用深层的网络进行长时间训练，就能提高非结构化表格识别结果的准确率，进而能够准确且快速地向用户输出或展示非结构化表本文档来自技高网...

【技术保护点】
1.一种图片中非结构化表格识别方法，其特征在于，包括：/n对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；/n基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；/n应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格。/n

【技术特征摘要】
1.一种图片中非结构化表格识别方法，其特征在于，包括：
对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；
基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，并根据提取得到的各个文本块补齐所述非结构化表格区域的表格线；
应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，得到该非结构化表格区域对应的非结构化表格。


2.根据权利要求1所述的图片中非结构化表格识别方法，其特征在于，所述基于所述位置信息对所述非结构化表格区域内的各个文本块进行提取，包括：
应用预设的图像预处理方式，基于所述位置信息对所述非结构化表格区域进行相邻的文本块提取，其中，所述图像预处理方式包括：连通域提取方式。


3.根据权利要求2所述的图片中非结构化表格识别方法，其特征在于，所述图像预处理方式还包括：图像灰度化处理方式、边缘检测处理方式和形态学处理处理方式。


4.根据权利要求1所述的图片中非结构化表格识别方法，其特征在于，所述应用预设的文字识别模型对补齐表格线后的非结构化表格区域进行文字识别，包括：
获取补齐表格线后的非结构化表格区域对应的各个文字切片；
将各个所述文字切片分别输入预设的文字识别模型，并将该文字识别模型的输出分别作为各个所述文字切片的文字识别结果；
根据各个所述文字切片的文字识别结果生成对应的非结构化表格。


5.根据权利要求4所述的图片中非结构化表格识别方法，其特征在于，所述获取补齐表格线后的非结构化表格区域对应的各个文字切片，包括：
应用预设的切片方式对补齐表格线后的非结构化表格区域进行单元格切片处理，得到各个单元格各自对应的文字切片，以及各个所述文字切片各自对应的位置信息。


6.根据权利要求4所述的图片中非结构化表格识别方法，其特征在于，所述根据各个所述文字切片的文字识别结果生成对应的非结构化表格，包括：
根据各个所述文字切片的文字识别结果以及各个所述文字切片各自对应的位置信息，对各个所述文字切片的文字识别结果进行格式整理；
基于各个所述文字切片的文字识别结果的格式整理结果生成对应的非结构化表格。


7.根据权利要求4所述的图片中非结构化表格识别方法，其特征在于，所述文字识别模型为R-CNN网络。


8.根据权利要求5所述的图片中非结构化表格识别方法，其特征在于，所述切片方式包括：形态学处理方式和Hough变换方式。


9.根据权利要求1所述的图片中非结构化表格识别方法，其特征在于，在所述对目标图片中的非结构化表格区域进行定位之前，还包括：
接收至少一张图片，自接收的图片中分别提取单一张图片作为当前的目标图片。


10.一种图片中非结构化表格识别装置，其特征在于，包括：
表格定位模块，用于对目标图片中的非结构化表格区域进行定位，得到该非结构化表格区域的位置信息；
表格线补齐模块...

【专利技术属性】
技术研发人员：许明，钟华，李兆佳，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11