一种工业图纸表格结构化识别方法及系统技术方案

本发明专利技术公开了一种工业图纸表格结构化识别方法，首先获取工业图纸的原始图片数据，对形成的RGB图片伽马纠正后使用标注工具进行内容选取，得到若干矩形标记区，最后根据每个矩形标记区的坐标位置，对其中的文字或符号进行二维排序；其对应的系统包括依次设置的图纸数据分析模块，算法分析模块和数据结构化模块。采用本发明专利技术的显著效果是，实现了工程图纸的数据结构化和在线化；实现了数字化管理和转型；实现了自动化生产的参数配置、结果校对和生产管控；适用于多种场景的图纸文字识别和符号识别，多种场景的操作系统实时结构化输出，检验文件的快速编制和结果录入和工艺参数和生产工具的自动录入。工具的自动录入。工具的自动录入。

【技术实现步骤摘要】
一种工业图纸表格结构化识别方法及系统


[0001]本专利技术涉及图像识别与处理
，具体涉及工业图纸的识别、处理与转化。

技术介绍

[0002]工业图纸的表格中一般含有文字、字母以及各种符号，且文字、字母以及符号有各种形式的组合。一般情况下，我们将文字、字母以及二者组合部分的内容称为正常区域，将含有符号和上下标记的内容称为非正常区域，在将纸质的工业图纸表格转化为计算机可编辑的表格时，可采用通用文字识别技术和高精度文字识别技术两种方式。
[0003]其中通用文字识别技术是通用场景检测算法是通过将的图片中文字进行识别检测分析然后通过序列化解码预测进行文件解析方法实现通用的图像识别。这种方法无法识别特殊符号并且对行对齐的要求很高。其基于分割和检测的深度学习算法在通用文字识别算法方面使用发现，工业图纸表格进行结构化解析时无法实现非对称表格文字定位，同时研究人员发现，在解析正常区域识别时存在对版面的分辨率特别敏感，以上算法根据不同类型区域信息感受野在下采样过程存在过拟合导致计算密度很大，但对网格式非复杂背景的表格提取文字效果差并且这种金字塔设计对硬件运算能力要求很高。
[0004]而高精度文字识别技术是采用深度学习中目标检测和语义分割模型先完成对文字区域的进行分割，该方法对场景图像数据进行预测类别和标出区域检测识别然后将结果得出进行存库及取证。该过程通过强化学习的方法进行优化和在线学习，从而实现高精度文字检测识别灵活性。但是该方法存在两个问题：第一是计算复杂度高，模型出现问题很难短时间修改，第二是该算法解决了多角度识别但没解决多尺度识别。随着DBNet、EAST等神经网络技术发展对多模态通用场景的数字识别取得显著性成果，高精度文字识别技术在通用文字检测识别方面已经突超越传统所有算法的准确率并且可以实现多种角度和自由场景，但是这些深度学习算法存在特殊性是在该模型设计了一系列的下采样提取特征图信息，这种方法对于工业图纸背景多变单一前景文字规整但尺度变化很大。由于模型输入设置成一个固定的输入对读取的图片的特征图的敏感性导致如果存在字体差异性识别准确率降低很多。这个给工业图纸的公差和相关符号的识别带来极大挑战。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种工业图纸表格结构化识别方法，其关键在于按以下步骤进行：
[0006]步骤一、获取工业图纸的原始图片数据，形成统一的RGB图片；
[0007]步骤二、对所述RGB图片进行伽马纠正，以调节所述RGB图片的对比度，优化所述RGB图片的清晰度；
[0008]步骤三、使用标注工具对优化后的所述RGB图片的内容进行选取，得到若干矩形标记区，根据每个矩形标记区所含的内容进行符号和非符号检测分类；
[0009]步骤四、对每个所述矩形标记区进行特征提取，获取其中的图表内容，得到对应的
文字或符号；
[0010]步骤五、在同一坐标系下，根据每个所述矩形标记区的坐标位置，按坐标位置对与其相关联的文字或符号使用邻接矩阵编码的方式进行二维排序，排序后的图表内容通过字典关联的内存映射表记录在具体的表格中，得到可编辑图纸表格文档。
[0011]此外，本专利技术还提供了一种工业图纸表格结构化识别方法的系统，其要点在于：包括依次设置的图纸数据分析模块，算法分析模块和数据结构化模块；
[0012]所述图纸数据分析模块用于获取工业图纸的原始图片数据，形成统一的RGB图片，并对所述RGB图片进行伽马纠正；
[0013]所述算法分析模块用于对所述RGB图片的内容进行选取，得到若干矩形标记区，根据每个矩形标记区所含的内容进行符号和非符号检测分类；并对每个所述矩形标记区进行特征提取，获取其中的图表内容，得到对应的文字或符号；
[0014]所述数据结构化模块用于获取每个所述矩形标记区的坐标位置，并按坐标位置对与其相关联的文字或符号使用邻接矩阵编码的方式进行二维排序。
附图说明
[0015]图1为本专利技术的原理图；
[0016]图2为实施例3的流程图。
具体实施方式
[0017]以下结合实施例和附图对本专利技术作进一步说明。
[0018]实施例1：
[0019]一种工业图纸表格结构化识别方法，按以下步骤进行：
[0020]步骤一、使用HTTP协议传输请求获得服务器或者文件目录存放地址信息，然后选取其中需要读取的工业图纸的PDF文件作为原始图片数据，对所述PDF文件进行循环读取和编解码分析，根据PDF文件数据中的光栅信息解码为图像的数据矩阵，将所述数据矩阵转码以获得位图数据，将PDF文件分页解码成图片，然后根据图片生成的逻辑顺序进行编码编码重构为三通道的RGB图像，最后将其转为JPG格式；
[0021]步骤二、对所述RGB图片进行伽马纠正，以调节所述RGB图片的对比度，优化所述RGB图片的清晰度；
[0022]步骤三、使用labelimg标注工具对优化后的所述RGB图片的内容进行选取，得到若干矩形标记区，根据每个矩形标记区所含的内容进行符号和非符号检测分类；
[0023]步骤四、对每个所述矩形标记区进行特征提取，获取其中的图表内容，得到对应的文字或符号；
[0024]步骤五、在同一坐标系下，根据每个所述矩形标记区的坐标位置，按坐标位置对与其相关联的文字或符号使用邻接矩阵编码的方式进行二维排序，排序后的图表内容通过字典关联的内存映射表记录在具体的表格中，得到可编辑图纸表格文档。
[0025]其中，所述矩形标记区的坐标位置按以下方式获得：
[0026]基于同一坐标系获取每个所述矩形标记区的左上角和右下角的坐标值，并且进行聚类分析以实现在算法定位过程优化；
[0027]初始化k个样本，作为初始化的聚类中心为a，a＝a1,a2,......a
k
，对于每个样本x
i
，采用欧几里得距离，针对每个类别的a
i
重新计算每个类别的聚类中心均值为
[0028]上式中：
[0029]N为样本数量；
[0030]a
j
为算法更新后每个样本的坐标均值中心坐标；
[0031]c
i
表示聚类中心的值；
[0032]x
i
为输入点簇的数据点。
[0033]实施例2：
[0034]一种基于实施例1的工业图纸表格结构化识别系统，包括依次设置的图纸数据分析模块，算法分析模块和数据结构化模块；
[0035]所述图纸数据分析模块用于获取工业图纸的原始图片数据，形成统一的RGB图片，并对所述RGB图片进行伽马纠正；
[0036]所述算法分析模块用于对所述RGB图片的内容进行选取，得到若干矩形标记区，根据每个矩形标记区所含的内容进行符号和非符号检测分类；并对每个所述矩形标记区进行特征提取，获取其中的图表内容，得到对应的文字或符号；
[0037]所述数据结构化模块用于获取每个所述矩形标记区的坐标位置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业图纸表格结构化识别方法，其特征在于按以下步骤进行：步骤一、获取工业图纸的原始图片数据，形成统一的RGB图片；步骤二、对所述RGB图片进行伽马纠正，以调节所述RGB图片的对比度，优化所述RGB图片的清晰度；步骤三、使用标注工具对优化后的所述RGB图片的内容进行选取，得到若干矩形标记区，根据每个矩形标记区所含的内容进行符号和非符号检测分类；步骤四、对每个所述矩形标记区进行特征提取，获取其中的图表内容，得到对应的文字或符号；步骤五、在同一坐标系下，根据每个所述矩形标记区的坐标位置，按坐标位置对与其相关联的文字或符号使用邻接矩阵编码的方式进行二维排序，排序后的图表内容通过字典关联的内存映射表记录在具体的表格中，得到可编辑图纸表格文档。2.根据权利要求1所述的一种工业图纸表格结构化识别方法，其特征在于：所述步骤一中，获取工业图纸的PDF文件作为所述原始图片数据，对所述PDF文件进行循环读取和编解码分析，将其分页解码成图片，然后根据图片生成的逻辑顺序进行编码传输形成统一的RGB图片。3.根据权利要求2所述的一种工业图纸表格结构化识别方法，其特征在于：所述步骤一中，使用HTTP协议传输请求获得服务器或者文件目录存放地址信息，然后选取其中需要读取的工业图纸的PDF文件。4.根据权利要求2所述的一种工业图纸表格结构化识别方法，其特征在于：所述步骤一中，根据PDF文件数据中的光栅信息解码为图像的数据矩阵，再将所述数据矩阵转码以获得位图数据，再编码重构为三通...

【专利技术属性】
技术研发人员：周建峰，李晓芳，安军刚，季然，谭启明，朱运周，刘凯，田小凯，
申请(专利权)人：海默潘多拉数据科技深圳有限公司，
类型：发明
国别省市：