一种表格图像的识别方法及系统技术方案

本发明专利技术公开了一种表格图像的识别方法及系统，其中，方法包括：对表格图像进行二值化预处理，获取图像样本；将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取；通过投影分析法将所述单元格中的单个字符进行分割提取，获取单个字符图像；基于深度学习神经网络的识别模型对每一所述单元格内的单个字符图像进行识别，获取所述单个字符图像的识别结果，最终输出所述表格图像的内容。本发明专利技术具有识别处理速度快、准确率高的优点，给现从事信息录入的公司带来很大的便利和效益。

【技术实现步骤摘要】
一种表格图像的识别方法及系统
本专利技术属于图像识别
，涉及一种表格图像的识别方法及系统。
技术介绍
目前，国内外有部分国家地区，比如日本，依然采用手写形式填写表格，因此，有大批量的表格信息需要人工识别处理。面对复杂多变的表格，目前还没有相应的图像处理技术，能够有效处理这种大批量的含有复杂表格字符信息的图片。因此，亟待一种能够应对常见的复杂表格识别问题的表格图像的识别方法，来提高字符识别的效率，增加准确率。
技术实现思路
针对上述现有技术存在的不足之处，本专利技术提供了一种表格图像的识别方法及系统。本专利技术一方面提供了一种表格图像的识别方法，包括：对表格图像进行二值化预处理，获取图像样本；将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取；通过投影分析法将所述单元格中的单个字符进行分割提取，获取单个字符图像；基于深度学习神经网络的识别模型对每一所述单元格内的单个字符图像进行识别，获取所述单个字符图像的识别结果，最终输出所述表格图像的内容。本专利技术一方面提供了一种表格图像的识别系统，包括：图像样本模块，用于对表格图像进行二值化预处理，获取图像样本；单元格提取模块，用于将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取；单个字符图像获取模块，用于通过投影分析法将所述单元格中的单个字符进行分割提取，获取单个字符图像；识别模块，用于基于深度学习神经网络的识别模型对每一所述单元格内的单个字符图像进行识别，获取所述单个字符图像的识别结果，最终输出所述表格图像的内容。本专利技术提供的一种表格图像的识别方法及系统，通过自动的对表格进行定位和提取后，再对单元格进行自动提取，因此，能够对表格形状不固定时的图片进行批量处理，同时还能够处理含有多个表格的大文件图片，而不是仅仅局限于单一表格类型的批量处理，总之，通过本专利技术对表格识别处理的高效性，字符识别效果明显，因此，本专利技术具有识别处理速度快、准确率高的优点，给现从事信息录入的公司带来很大的便利和效益。附图说明图1为本专利技术示例性实施例的一种表格图像的识别方法的流程示意图；图2为本专利技术实施例实施例的所举表格图像的例图；图3为本专利技术示例性实施例的所举图像样本的例图；图4为本专利技术示例性实施例的又一种表格图像的识别方法的流程示意图；图5为本专利技术示例性实施例的另一种表格图像的识别方法的流程示意图；图6为本专利技术示例性实施例的图像样本所获取的第1个表格图片；图7为本专利技术示例性实施例的图像样本所获取的第2个表格图片；图8为本专利技术示例性实施例的图像样本所获取的第3个表格图片；图9为本专利技术示例性实施例的图像样本所获取的第4个表格图片；图10为本专利技术示例性实施例的图像样本所获取的第5个表格图片；图11为本专利技术示例性实施例的表格裁剪出的部分单元格示意图；图12为本专利技术示例性实施例的再一种表格图像的识别方法的流程示意图；图13为本专利技术示例性实施例的水平线图的示意图；图14为本专利技术示例性实施例的竖直线图的示意图；图15为本专利技术示例性实施例的交点图的示意图；图16为本专利技术示例性实施例的另又一种表格图像的识别方法的流程示意图；图17为本专利技术示例性实施例的分布直方图的示意图；图18为本专利技术示例性实施例的再又一种表格图像的识别方法的流程示意图；图19为本专利技术示例性实施例的又再一种表格图像的识别方法的流程示意图；图20为本专利技术示例性实施例的另再一种表格图像的识别方法的流程示意图；图21为本专利技术示例性实施例的更又一种表格图像的识别方法的流程示意图；图22为本专利技术示例性实施例的更再一种表格图像的识别方法的流程示意图；图23为本专利技术示例性实施例的一种表格图像的识别系统的模块连接示意图；图24为本专利技术示例性实施例的又一种表格图像的识别系统的模块连接示意图；图25为本专利技术示例性实施例的另一种表格图像的识别系统的模块连接示意图；图26为本专利技术示例性实施例的再一种表格图像的识别系统的模块连接示意图；图27为本专利技术示例性实施例的另又一种表格图像的识别系统的模块连接示意图；图28为本专利技术示例性实施例的再又一种表格图像的识别系统的模块连接示意图；图29为本专利技术示例性实施例的又再一种表格图像的识别系统的模块连接示意图；图30为本专利技术示例性实施例的另再一种表格图像的识别系统的模块连接示意图；图31为本专利技术示例性实施例的更又一种表格图像的识别系统的模块连接示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，一种表格图像的识别方法，包括：S100、对表格图像进行二值化预处理，获取图像样本。对如图2所示的表格图像进行二值化预处理前，其中，图2含有多个表格，还需要通过cvtColor函数对表格图像进行灰度处理后，再使用adaptiveThreshold函数对表格图像进行灰度处理，使其达成自动阈值的二值化，如图3为经二值化预处理后的图像样本。如果图像样本有噪音，则采用中值滤波法对图像样本进行滤波去噪；如果对表格图像获取的过程中有倾斜等现象，需要进行倾斜校正的处理，例如，采用霍夫变换，先通过houghtransform检测图片中的图片，计算直线的倾斜角度并实现对图片的旋转。S200、将图像样本内的表格区域进行定位，并将表格区域内的单元格从图像样本上进行提取。在执行步骤S200时，如图4所示，其具体实现步骤进一步包括：S201、提取图像样本内的表格线，将提取的表格线进行腐蚀膨胀处理，获取表格线上的水平线和竖直线的交点；S202、对图像样本内的表格线进行轮廓查找，并通过对查找到的轮廓进行判断，确定轮廓所占的区域是否为表格区域；同时，在执行步骤S202时，如图5所示，其具体实现步骤进一步包括：S202-1、通过findContours对结合图进行轮廓查找，并根据形状和大小判断查找到的轮廓是否为表格。S202-2、若轮廓所占的区域为表格区域，则使用approxPolyDP函数将表格区域逼近成为闭合区域后，再利用boundingRect函数将闭合区域转化为将闭合区域全面覆盖的矩形区域。其中，该步骤将图像样本转化成如图6、7、8、9、10所示的单个表格图，实现了从含有多个表格和文字区域的图像样本中，将表格区域进行定位提取。S203、若轮廓所占的区域为表格区域，则从表格区域内将含有表格和/或文字的图像进行提取，并结合获取到的表格线上的水平线和竖直线的交点，将各个单元格从图像样本上进行提取。更为具体的，在结合获取到的表格线上的水平线和竖直线的交点，将各个所述单元格从图像样本上进行提取时，包括：通过结合图内的水平线和竖直线的交点，确定每一单元格在矩形区域的位置，并将每一单元格从矩形区域上进行提取。通过结合图内的水平线和竖直线的交点，寻找大于3像素点的交点，将交点浓缩到单个像素，遍历结合图上的各行的点，找到每个单元格x,y值间的关系：[YList[yt]+3:YList[yt+1],XList[xt]+3:XList[xt+1]]将上述数列利用srcimg函数把本文档来自技高网...

【技术保护点】
1.一种表格图像的识别方法，其特征在于，包括：对表格图像进行二值化预处理，获取图像样本；将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取；通过投影分析法将所述单元格中的单个字符进行分割提取，获取单个字符图像；基于深度学习神经网络的识别模型对每一所述单元格内的单个字符图像进行识别，获取所述单个字符图像的识别结果，最终输出所述表格图像的内容。

【技术特征摘要】
1.一种表格图像的识别方法，其特征在于，包括：对表格图像进行二值化预处理，获取图像样本；将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取；通过投影分析法将所述单元格中的单个字符进行分割提取，获取单个字符图像；基于深度学习神经网络的识别模型对每一所述单元格内的单个字符图像进行识别，获取所述单个字符图像的识别结果，最终输出所述表格图像的内容。2.根据权利要求1所述的一种表格图像的识别方法，其特征在于，在将所述图像样本内的表格区域进行定位，并将所述表格区域内的单元格从所述图像样本上进行提取时，包括：提取所述图像样本内的表格线，将提取的所述表格线进行腐蚀膨胀处理，获取所述表格线上的水平线和竖直线的交点；对所述图像样本内的表格线进行轮廓查找，并通过对查找到的所述轮廓进行判断，确定所述轮廓所占的区域是否为所述表格区域；若所述轮廓所占的区域为所述表格区域，则从所述表格区域内将含有表格和/或文字的图像进行提取，并结合获取到的所述表格线上的水平线和竖直线的交点，将各个所述单元格从所述图像样本上进行提取。3.根据权利要求2所述的一种表格图像的识别方法，其特征在于，在提取所述图像样本内的表格线时，将提取的所述表格线进行腐蚀膨胀处理，获取所述表格线上的水平线和竖直线的交点，包括：对所述图像样本内的水平线和竖直线分别进行提取，获得水平线图和竖直线图；分别对所述水平线图和竖直线图依次进行腐蚀和膨胀处理后，将所述水平线图和所述竖直线图进行图像相加，获得水平线和竖直线的结合图；提取所述结合图上的水平线和竖直线的交点，完成对所述表格线上的水平线和竖直线的交点的获取。4.根据权利要求3所述的一种表格图像的识别方法，其特征在于，在通过对查找到的所述轮廓进行判断，确定所述轮廓所占的区域是否为所述表格区域时，包括：对所述结合图进行轮廓查找，并根据形状和大小判断查找到的所述轮廓是否为表格；若所述轮廓所占的区域为所述表格区域，则将所述表格区域逼近成为闭合区域后，将所述闭合区域转化为将所述闭合区域全面覆盖的矩形区域；结合获取到的所述表格线上的水平线和竖直线的交点，将各个所述单元格从所述图像样本上进行提取，包括：通过所述结合图内的所述水平线和竖直线的交点，确定每一所述单元格在所述矩形区域的位置，并将每一所述单元格从所述矩形区域上...

【专利技术属性】
技术研发人员：肖冬，鲍忠林，孙海洋，张文睿，杨鹏，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21