一种财务报表的表格线定位检测方法技术

本发明专利技术公开了一种财务报表的表格线定位检测方法，包括：获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。本发明专利技术主要应用于财务报表的表格线检测，其保证了表格线提取的完整性及与原图的一致性，适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测；自动提取检验报告表格里的关键信息并识别，以满足财务报表到标准表格的映射、保存和校验。

A Tabular Line Location Detection Method for Financial Statements

【技术实现步骤摘要】
一种财务报表的表格线定位检测方法
本专利技术涉及财务报表的人工智能识别领域，特别涉及一种财务报表的表格线定位检测方法。
技术介绍
随着社会经济的发展和中国城镇化的推进，越来越多的人进入城市就业，越来越多的公司诞生；同时随着互联网技术的发展，电子交易，数字交易已经普及；对于公司、银行、证卷交易产生越来越多的财务表格单据及信息。传统的财务报表统计、校对、审计都全靠人工进行；速度慢、效率底，很难满足越来越多的表格单据信息的识别、入库及自动校对。如何快速准确的对财务等表格单据进行智能识别、核对，同时减少人工成本，是急需解决的问题；而其中表格线检测的完整性和准确性，对于表格重建及表格的识别有着重要的作用。
技术实现思路
本专利技术的目的是：提出一种财务报表的表格线定位检测方法，其能够重构表格，自动提取检验报告表格里的关键信息并识别，以满足财务报表到标准表格的映射、保存和校验。本专利技术解决其技术问题所采用的技术方案是：一种财务报表的表格线定位检测方法，包括如下步骤：S1、获取表格图像：将手机拍摄或扫描表格图像I，并上传至服务器；S2、表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；S3、字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h；S4、表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2；S5、红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；S6、表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的；S7、自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；S8、干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并；S9、表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。进一步，所述步骤S2中图像倾斜校正处理的具体步骤如下：S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。进一步，所述步骤S5中红章去除处理的具体步骤如下：S51、获取所述表格图像M2的自适应二值图像B1，通过所述自适应二值图像B1及所述表格图像M2来获取背景平均灰度值，目标平均灰度及最大灰度值；此处对于所述自适应二值图像B1目标为字符及表格线，其它情况视为背景；S52、将所述表格图像M2转换为HSV图像H，由于红章变红其中r通道最大，而目标像素r、g、b相差不大且值相对小，对所述HSV图像H进行如下遍历检测：1)当该点h<20或h>160，并且s>30，v>30，(b+g+r)>200，abs(b-g)+abs(b-r)+abs(g-r)>120判断此点为红色；2)针对该点分别向上下左右四个方向，遍历15个像素点；上下用来解决竖直线与红章重合，左右用来解决水平线与红章重合；对遍历到的像素点统计其(r+g+b)的平均值得ave_hori，ave_ver；3)当ave_hori或者ave_ver小于平均背景值时，说明当前点为目标像素点与红章重合区域点，不进行去除；否则将该点进行去除，填充为渐变背景色。进一步，所述步骤S6中构造自适应大小的水平结构元素和竖直结构元素的方法如下：S61、对于水平线，其卷积核高度为1宽度为(3*h)/2*2+1；S62、对于竖直线，设置卷积核为宽度为1,高度为h。进一步，所述步骤S8中水平和竖直短直线的筛选过滤与合并的具体步骤如下：S81、在获得的表格水平线中，检测直线，并获取平均行高，对紧邻的明显可以认为是在一条直线上的短直线合并；对距离过小，小于一个字符高度，并且其上下的水平线间距与平均行高接近时，则剔除本条线；判断直线y轴近似的水平线，其水平间距接近则合并；S82、在获得的表格竖直线中，检测直线，在竖直方向紧邻的明显可以认为是在一条直线上的短直线合并；判断直线x轴近似的竖直线，其竖直间距接近则合并；S83、孤立极短的直线是干扰线加以剔除。进一步，所述步骤S9中修正表格的具体步骤包括：S91:把处理好的表格水平线图和表格竖直线图相加得到初步的表格图；S92:表格水平和竖线相交，会有9种相交特征，根据这9种相交特征修正表格线。本专利技术的有益效果是：本专利技术主要应用于财务报表的表格线检测，其保证了表格线提取的完整性及与原图的一致性，适应轻微弯取、局部断裂、噪声干扰情况下表格新的定位检测；从而可以识别移动设备(如手机、Pad)拍摄上传的图片，并且同时支持扫描仪设备扫描的图像；保证了表格重建的准确性，进而保证了识别的准确率；将财务报表识别应用扩展到移动端，极大的扩展了其应用空间，可以更灵活、高效的完成财务报表的识别、保存、校验。附图说明图1是本专利技术的表格线检测流程示意图。图2是表格线的9种相交特征示意图。图3是表格线修复示意图。具体实施方式本专利技术对于表格图像的处理步骤如图1所示，包括：获取表格图像、表格图像预处理、字符高度获取、表格图像缩放、红章去除处理、表格线增强处理、自适应二值化处理、干扰线的去除与合并和表格的重构与修复。以下对于各个处理步骤进行详细讲解：获取表格图像：可采用手机拍摄或扫描表格图像I，并上传至服务器，以便于处理系统获取表格图像。表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；其中，图像倾斜校正处理的具体步骤如下：S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字本文档来自技高网...

【技术保护点】
1.一种财务报表的表格线定位检测方法，其特征在于，包括如下步骤：S1、获取表格图像：将手机拍摄或扫描表格图像I，并上传至服务器；S2、表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；S3、字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h；S4、表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2；S5、红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；S6、表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的；S7、自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；S8、干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并；S9、表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。...

【技术特征摘要】
1.一种财务报表的表格线定位检测方法，其特征在于，包括如下步骤：S1、获取表格图像：将手机拍摄或扫描表格图像I，并上传至服务器；S2、表格图像预处理：将所述表格图像I1进行缩放处理、灰度化处理和图像增强预处理，最终获得表格图像I1；再对所述表格图像I1进行自适应二值化处理得到表格图像I2；再对所述表格图像I2进行图像倾斜校正处理，得到表格图像M；S3、字符高度获取：对所述表格图像I2进行连通域查找，并剔除非字符连通域，对获取的字符连通域分别计算处理,并取其外接矩形框的高度及宽度最大值的平均值，作为字符高度h1；根据S2中的计算的缩放比例，用字符高度h1反算出实际字符高度h；S4、表格图像缩放：根据实际字符高度h，判断所述表格图像M是否可以缩放，若实际字符高度h大于28时，则将其缩放至20个像素高度，得到表格图像M2；S5、红章去除处理：根据红章特征及表格线为灰度图特征对所述表格图像M2进行红章去除处理，获得红章去除后的表格图像M3；S6、表格线增强处理：将所述表格图像M3进行灰度变换，获得单通道表格图像M4；根据获取的所述实际字符高度h构造自适应大小的水平结构元素和竖直结构元素，并分别对所述表格图像M4进行卷积，达到增强图像中水平及竖直线的目的；S7、自适应二值化处理：根据所述字符高度h2来设置自适应二值化函数的核尺寸，依据计算获取的背景像素值和目标像素值设置自适应二值化的相应阈值，来分别实现水平及竖直方向增强后图像的二值图；S8、干扰线的去除与合并：用数学形态学的方法来进一步检测水平线和竖直线，过滤掉部分非表格线干扰；对水平和竖直短直线进行筛选过滤与合并；S9、表格的重构与修复：将水平和竖直线图相加重建表格，并根据表格相交特征修正表格；检测重建表格的各个交点，并获取每个单元格的四个坐标点，采用基于深度学习模型的LSTM+CTC方法对字符进行识别；依据标准映射表，重构表格并进行保存、校验和统计。2.如权利要求1所述的表格线定位检测方法，其特征在于，所述步骤S2中图像倾斜校正处理的具体步骤如下：S21、采用Sobel边缘检测算法对二值化后的表格图像进行边缘提取；S22、采用Hough直线检测算法获得表格水平边缘与垂直边缘倾斜角度；S23、根据所述水平及垂直边缘倾斜角度进行放射变换，获取校正后的表格图像。3.如权利要求1所述的表格线定位...

【专利技术属性】
技术研发人员：周康明，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海,31