表格单据中表格框线检测方法及系统技术方案

本发明专利技术公开了一种表格单据中表格框线检测方法及系统，所述方法包括：S1，获取拍摄的纸质表格单据的图像；S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。本发明专利技术能够实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。

Detection Method and System of Form Frame Line in Form Documents

【技术实现步骤摘要】
表格单据中表格框线检测方法及系统
本专利技术涉及人工智能
，特别是涉及一种表格单据中表格框线检测方法及系统。
技术介绍
目前纸质表格单据的分析查验基本由人工执行，通过人工阅读的方式确认表格内容。人工审核存在效率低，容易出错、人力成本高等特点，无法实现单据审批的自动化。人工审核的方式不利于各个机构的业务开展和管理。使用计算机快速准确的识别纸质表格单据，成为亟需解决的问题，其中，表格框线的检测成为表格单据智能化识别的第一步，但现有技术中缺乏有效的解决方案来实现表格框线的自动智能检测。
技术实现思路
为此，本专利技术的一个目的在于提出一种表格单据中表格框线检测方法，实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。一种表格单据中表格框线检测方法，包括以下步骤：S1，获取拍摄的纸质表格单据的图像；S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。根据本专利技术提供的表格单据中表格框线检测方法，具有以下有益效果：1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本专利技术中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。另外，根据本专利技术上述的表格单据中表格框线检测方法，还可以具有如下附加的技术特征：进一步地，步骤S2中，计算图像的倾斜角度并对图像进行角度校正具体包括：S21，将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；S22，使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；S23，使用canny边缘检测算子从二值图像中获得边缘图像；S24，使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。进一步地，步骤S3中，表格线段交点检测模型通过以下步骤获取：S31，收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；S32，用图像倾斜校正方法校正该样本图像；S33，使用矩形框标注样本图像表格中线段交点的位置；S34，使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。进一步地，步骤S4中，剔除错误识别的交点，补齐遗漏的、未识别的交点具体包括：S41，确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；S42，遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；S43、在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；S44，遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。进一步地，步骤S5具体包括：S51，每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；S52，每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；S53，根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。本专利技术的另一个目的在于提出一种表格单据中表格框线检测系统，实现表格框线的自动智能检测，以快速、准确的识别表格中线段交点，恢复表格形状，为单据的下一步文字分析提供基础。一种表格单据中表格框线检测系统，包括：获取模块，用于获取拍摄的纸质表格单据的图像；计算模块，用于计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；检测模块，用于使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；处理模块，用于利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；连接模块，用于精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。根据本专利技术提供的表格单据中表格框线检测系统，具有以下有益效果：1、采用使用人工智能技术提取表格中的交点准确率更高：传统方式在图像中使用角点检测算法来检测交点，比如Harris角点检测算法，这些传统算法的角点检测准确率远低于基于深度学习的人工智能技术获得的交点检测模型的准确率。2、基于深度学习的针对表格中交点的交点检测模型适用场景更广，识别率更高：模型训练时使用不同角度、不同光照、不同类型的表格图像作为训练数据，场景种类丰富，兼顾了各种条件下的影响因素，鲁棒性更好，比传统角点检测方式的识别率更高。3、能够获得交点类型：传统交点检测只能确定交点位置，难以确定交点连接几条线段，本专利技术中的交点检测模型在识别交点时能够直接确定交点的类型，最后根据交点检测模型识别出的交点类型和位置两个信息进行综合考虑，通过相关算法将一小部分未检出点和错误点进行特殊处理，保证了最终正确恢复表格框线。另外，根据本专利技术上述的表格单据中表格框线检测系统，还可以具有如下附加的技术特征：进一步地，所述计算模块包括：转换单元，用于将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；降噪单元，用于使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；获得单元，用于使用canny边缘检测算子从二值图像中获得边缘图像；提取单元，用于使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋本文档来自技高网...

【技术保护点】
1.一种表格单据中表格框线检测方法，其特征在于，包括以下步骤：S1，获取拍摄的纸质表格单据的图像；S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。

【技术特征摘要】
1.一种表格单据中表格框线检测方法，其特征在于，包括以下步骤：S1，获取拍摄的纸质表格单据的图像；S2，计算图像的倾斜角度并对图像进行角度校正，使图像中的表格处于水平竖直状态；S3，使用基于深度学习的表格线段交点检测模型检测校正后的图像，记录图像中表格线段交点的位置和类型；S4，利用该表格线段交点的位置和类型，对交点进行处理，剔除错误识别的交点，补齐遗漏的、未识别的交点；S5，精确定位最终有效的交点位置，根据交点的位置和类型，在水平和竖直方向上连接相邻的交点，以恢复表格形状。2.根据权利要求1所述的表格单据中表格框线检测方法，其特征在于，步骤S2中，计算图像的倾斜角度并对图像进行角度校正具体包括：S21，将获取拍摄的纸质表格单据的彩色图像转换为灰度图像；S22，使用双边滤波算法对图像进行降噪，使用直方图均衡化方法增强图像，然后使用自适应二值化方法得到二值图像；S23，使用canny边缘检测算子从二值图像中获得边缘图像；S24，使用霍夫变换算法和形态学操作提取边缘图像中的直线信息，将提取的直线分成水平和竖直两个方向，每种类型的直线选择长度最长的前20条，对这20条直线的斜率进行直方图统计，通过角度旋转90°将垂直方向的直线斜率转换到水平方向的斜率，设置一个角度范围阈值α，统计斜率差异在α范围内直线数量总和最多的直线，计算这些直线斜率均值作为图像倾斜角度，利用图像倾斜角度计算旋转矩阵，对原始图像进行仿射变换校正图像角度。3.根据权利要求1所述的表格单据中表格框线检测方法，其特征在于，步骤S3中，表格线段交点检测模型通过以下步骤获取：S31，收集不同角度、不同光照、不同种类的情况下拍摄的纸质表格单据图像作为样本图像；S32，用图像倾斜校正方法校正该样本图像；S33，使用矩形框标注样本图像表格中线段交点的位置；S34，使用标注好的样本图像训练目标检测深度神经网络模型，获得针对表格交点的目标检测模型，即表格线段交点检测模型。4.根据权利要求1所述的表格单据中表格框线检测方法，其特征在于，步骤S4中，剔除错误识别的交点，补齐遗漏的、未识别的交点具体包括：S41，确定表格四个顶点，初步确定表格位置，并剔除表格位置之外的交点；S42，遍历每一个交点，沿着其水平方向和垂直方向，根据交点位置和类型查找和当前交点组成最小单元格的交点，在上、下、左、右四个方向上分别查找；S43、在只检测到3个交点的情况下，根据交点类型和位置，补齐单元格缺失的第4个交点；S44，遍历所有交点后，检测是否出现线段相交的交点，比较交点所在的连通体区域的大小，删除较小连通区域的所有交点。5.根据权利要求4所述的表格单据中表格框线检测方法，其特征在于，步骤S5具体包括：S51，每一行的点的y值取均值，作为该行的位置，对齐每一行，其中，y表示交点y轴坐标或者是行坐标；S52，每一列的点的x值取均值，作为该列的位置，对齐每一列，其中，x表示交点x轴坐标或者是列坐标；S53，根据每个交点的类型，在水平、竖直方向连接线段组成表格的单元格，以恢复表格形状。6.一种...

【专利技术属性】
技术研发人员：李霄，熊奎，
申请(专利权)人：南昌市微轲联信息技术有限公司，
类型：发明
国别省市：江西,36