一种质量检验报告扫描图像表格语义解析方法与系统技术方案

本发明专利技术提供一种多方向可纠错的封闭开关设备质量检验报告扫描图像表格语义解析方法与系统，具体包括1)对质量检验报告扫描图像表格进行图像预处理；2)对质量检验报告扫描图像不同角度切分表格的文字进行定位与识别；3)对质量检验报告扫描图像文字识别结果语义解析与纠错，得出结果。本发明专利技术的优点在于：利用表格线识别定位文字，去除扫描文档的阴影干扰；实现了倾斜文本和多尺度文本的检测；对文本识别的错字错词实现自动纠错。

【技术实现步骤摘要】
一种质量检验报告扫描图像表格语义解析方法与系统
本专利技术属于计算机及信息服务技术，特别涉及对特定扫描图像的表格内容语义解析的方法和系统。
技术介绍
语义解析是图像与文本理解中高层认知的重点和难点，对于封闭开关设备质量检验报告扫描图像表格，我们希望利用图像与文本理解算法识别扫描图像，并对识别结果进行语义解析，实现封闭开关设备的自动验收。对于图像理解算法，可以对文字进行定位与识别。目前比较成熟的文本检测框架为CTPN(ConnectionistTextProposalNetwork)，精确度较好，但是检测时间较长，只能检测水平方向的文本，有很大的优化空间。对于文本理解算法，文本语义解析在扫描图像的表格内容中可进行信息抽取与文本纠错。目前文本语义解析的纠错模型包括了端到端的深度模型、CRF(conditionalrandomfield)、seq2seq等。端到端的深度模型可以避免人工提取特征，减少人工工作量，CRF会计算全局最优输出节点的条件概率，对句子中特定错误类型的检测，会根据整句话判定该错误，seq2seq模型是使用encod本文档来自技高网...

【技术保护点】
1.一种质量检验报告扫描图像表格语义解析方法，其特征在于，包括以下步骤：/n步骤1，对封闭开关设备质量检验报告扫描图像表格进行图像预处理，包括图像自适应的二值化、噪声去除，识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置；/n步骤2，构建多方向文字定位模型实现切分表格的文字定位，设计带角度信息的倾斜候选框，实现对不同扫描角度的质量检验报告的文字定位；/n步骤3，基于DenseNet构建文字识别模型对定位文字进行识别，设计卷积层之间的残差连接提高文字的识别率，实现质量检验报告的切片表格文字识别；/n步骤4，对于识别后的文字部分，利用预训练的RNN模型进行表格文...

【技术特征摘要】
1.一种质量检验报告扫描图像表格语义解析方法，其特征在于，包括以下步骤：
步骤1，对封闭开关设备质量检验报告扫描图像表格进行图像预处理，包括图像自适应的二值化、噪声去除，识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置；
步骤2，构建多方向文字定位模型实现切分表格的文字定位，设计带角度信息的倾斜候选框，实现对不同扫描角度的质量检验报告的文字定位；
步骤3，基于DenseNet构建文字识别模型对定位文字进行识别，设计卷积层之间的残差连接提高文字的识别率，实现质量检验报告的切片表格文字识别；
步骤4，对于识别后的文字部分，利用预训练的RNN模型进行表格文字的语义解析，构建针对封闭开关设备质量检验报告的快速文本修正模型；
步骤5，利用训练好的文本修正模型，结合切片位置信息还原表格文字布局，得到封闭开关设备质量检验报告扫描图像表格的最终识别结果，并实现检验报告的自动比对。


2.根据权利要求1所述一种质量检验报告扫描图像表格语义解析方法，其特征在于：步骤1中识别扫描图像表格的表格线，以表格线交点作为判断依据切分表格，并记录每份切片所处的位置，其具体实现步骤如下；
首先识别图像中的所有竖线，设定距离阈值，将在距离阈值内的竖线视为同一竖线，取坐标最高最低点作为竖线的起点和结点坐标；同理识别所有横线，定距离阈值，将在距离阈值内的横线视为同一横线，取坐标最左最右点作为竖线的起点和结点坐标，得到扫描表格的所有表格线；
计算所有横竖线的交点坐标，遍历除最右和最下面两条线上的所有交点，记遍历当前点为点A，记A点右侧和下方的点为B和C，若能找到成立矩形的第四个点D，则构成矩形切片，否则继续遍历，得到所有矩形切片即为所有表格切片。


3.根据权利要求1所述一种质量检验报告扫描图像表格语义解析方法，其特征在于：步骤2中构建多方向文字定位模型实现切分表格的文字定位，其具体实现方式如下，
整体模型分为三个部分，第一部分使用VGG网络对表格切片提取图像特征，第二部分在图像特征矩阵中生成带倾斜角的文本候选区域，第三部分设计损失函数，训练得到多方向文字定位模型，实现对不同扫描角度的质量检验报告的文字定位；
其中，第二部分在图像特征矩阵中生成带倾斜角的文本候选区域的具体实现方式如下，
设计文本区域的表现形式为：(x,y,w,h,θ)，其中(x,y)表示文本区域的几何中心点坐标，(w,h)分别表示文本区域的长边和短边，θ表示文本区域长边与x正轴的夹角，通过θ+kπ将θ的范围控制在之间；
设计旋转的Anchor，进行如下改进：1)选择六个旋转角度，分别是2)选择三个比例分别为1:3,1:5,1:8；3)选择三个大小，分别为8，16，32像素；对于H×W的特征图上的每一个点共生成六个方向，三个宽高比，三个大小，一共54×H×W个Anchor；
第三部分损失函数设计如下，
L(p,l,v*,v)＝Lcls(p,l)+λlLreg(v*,v)
其中参数l表示类别，其中对于文本l＝1，对于背景l＝0，参数p为softmax函数计算的类的概率，λ为平衡参数，v表示预测的文本区域，v*表示真实的文本区域；
类别l的分类损失定义如下，
Lcls(p,l)＝-logpl
其中pl为类别l的softmax函数计...

【专利技术属性】
技术研发人员：尹旷，喇元，叶建斌，张宇，朱博，苏海博，方健，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：广东;44