一种基于深度学习的管道仪表流程图信息抽取方法及设备技术

本发明专利技术提出一种基于深度学习的管道仪表流程图信息抽取方法及设备，属于计算机视觉中的目标检测领域，PDF或纸质的管道仪表流程图要转成CAD格式的文件类型，要花费大量时间进行人工重绘工作，而现有的目标检测算法对管道仪表流程图无法进行有效识别尺寸差距大的设备，同时对虚线、线形、标注线、设备名称的识别还存在难题，本发明专利技术的管道仪表流程图信息抽取方法，与目标检测算法不同，首先提出了一种管道仪表流程图的设备、线性、文字等轨迹生成和迭代方法，之后基于轨迹曲线分别实现对设备类型、线性等的检测，最后在基于轨迹曲线在图纸上的坐标和轨迹曲线间连接关系实现文字和设备的对应，设备间连接，从而完成整张图纸的信息抽取。息抽取。息抽取。

【技术实现步骤摘要】
一种基于深度学习的管道仪表流程图信息抽取方法及设备


[0001]本专利技术属于计算机视觉中的目标检测领域，尤其涉及一种基于深度学习的管道仪表流程图信息抽取方法及设备。

技术介绍

[0002]在将PDF版本或纸质版本的管道仪表流程图（PID）转为CAD格式的文件时，需要人工手动进行重绘，耗时耗力，而使用目标检测的方法对PID图进行识别则在处理不同尺寸的设备、线形，如实线、虚线、粗细不同的线、相似文字如“5，S”时，准确率较低，经常造成误检。目前常见的管道仪表流程图信息提取或设备检测方法有如下几种：1.基于深度学习的PID图纸解析方法、计算机系统及介质该方法首先建立识别模型集；以第一识别框遍历PID图纸图像得到管线识别数据集；以第二识别框遍历PID图纸图像得到器件识别数据集；应用非极大值抑制算法在管线识别数据集及器件识别数据集中进行数据融合得到管线数据及器件数据；应用聚类关联Attract算法遍历各个管线，识别出与该管线关联的器件，形成PID图纸中管线与器件对应关系。当该专利技术对PID图中设备尺寸差距巨大，文字相似的识别准确率低，同时需要大量的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的管道仪表流程图信息抽取方法，其特征在于，包括以下步骤：S1，对于图例D
L
，获取每个设备的轨迹信息以及对应的标签；对于一整套管道仪表流程图PID图纸D={{D1,
ꢀ…
, D
j
,
…
, D
n
}, D
L
}，其中D
j
为D中的一张图纸，n表示图纸的数量，D
L
为图例，图例D
L
规定了图纸D中每个符号代表什么；S2，从{D1,
ꢀ…
, D
j
,
…
, D
n
}中任选一张图纸D
j
，进行S3至S11的迭代过程；S3，对于图纸D
j
，首先获取图纸的矩阵表示M'
j
，进行预处理操作，得到矩阵表示的图纸M
j
；S4，对矩阵M
j
进行S5至S10的迭代过程；S5，从M
j
中随机选取不为0的点p(x1, y1)，然后从该点的上下方向和左右方向进行延伸，基于边界判定规则求解线宽d和线的方向θ,如果M
j
全等于0，则跳转到S11；S6，沿着图纸中上一个点所在线，按照步长s移动到下一个点q；基于上一个点的线的方向θ，按照公式x2= cell(x
1 + s*cos θ), y2= cell(y
1 + s*sin θ)求解下一个点的坐标q(x2, y2)，s表示每一次移动的步长，cell表示向上取整，设置点p到q为分支B，判断q是否已经被其它分支走过,如果q不在走过的曲线中，则进入S7；如果q在已经走过的曲线中，则终止该分支，跳转到S9；S7，找到线宽发生变化的点；如果M
j
[x2, y2]大于0，则基于边界判定规则求解点q处的线宽d
’
和线的方向θ
’
，如果d
’
等于d，设置矩阵M
j
中点p到q，宽度为d的区域为0，同时跳转到S6，否则缩小步长s，重新计算q，直到找到d不等于d
’
的临界点C,进入S8；如果M
j
[x2, y2]小于等于0，则缩小步长s，跳转到S6；如果当s等于1时，M
j
[x2, y2]还小于等于0，则终止该分支进入S9；S8，在临界点C处，基于轨迹曲线分支规则，求解出曲线分支的数量g，如果g等于1，则说明没有分支，则继续跳转到S6继续执行，如果g大于1，则说明存在g个分支，则轨迹曲线分出g个分支，对于每个分支按照S6的规则继续拓展下去；S9，如果一条线的全部分支都终止了或都合并成一个分支，则获取从开始分支点到最终终止点或合并点的轨迹曲线，并基于轨迹曲线识别模型来判断轨迹曲线对应图例D
L
中的某个设备，同时将两个设备之间的轨迹信息使用轨迹曲线识别模型来判断线形，并进入S10；S10，若所有的分支都中止了，则跳转到S5；S11，此时已经识别出了图中的所有设备和文字，然后根据轨迹曲线求解设备和文字的中心节点和边长，基于位置判定规则，生成文字和设备的对应关系。2.如权利要求1所述的一种基于深度学习的管道仪表流程图信息抽取方法，其特征在于，所述步骤S1中，对于图例D
L
，获取每个设备的轨迹信息以及对应的标签的具体过程为：S11，对于一整套图纸的图例D
L
，首先找到所有的设备图像及其对应的设备名称，设备名称对应标签信息；S12，针对每一个设备图像，从连接设备的起始管道开始，随机选择一个起点，设置起始点为原点，坐标为(0, 0)，获取起点信息起点所在线的线宽d和与x轴正方向的夹角θ，每一个点的信息为t={(x, y), d, θ}；S13，从起点开始，沿着线的方向θ，按照步长1进行延伸，遇到线分叉则同样分叉，直到无法延伸并且所有分叉最终汇合，到达终点；
S14，从起点到终点的轨迹为T={t1, t2,
ꢀ…
, t
m
}，m表示共有多少个点，对于每一个设备来说，m的大小不固定。3.如权利要求1所述的一种基于深度学习的管道仪表流程图信息抽取方法，其特征在于，所述步骤S3中进行预处理操作，得到矩阵表示的图纸M
j
，所述预处理操作的具体过程为：S31，对于图纸D
j
，首先获取图纸的正文内容，即去除图纸的边框和右边文字部分，只保留仪表管线部分，将图纸用矩阵M1表示；S32，对于矩阵M1按行遍历，对于每一行，横线h由{h1, h2, h1}3段线段横向排列而成组成，其中h1的长度大于最粗的线段，h2的长度为虚线间距的1.1倍，将横线h从左向右移动，若每一行中两端h1部分值全大于0，并且存在等于0的部分，则将h2部分等于0的部分改为1，遍历完成后得到矩阵M2；S33，对于矩阵M2按列遍历，对于每一列，竖线v由{v1, v2, v1}3段线段竖向排列而成组成，其中v1的长度大于最粗的线段，v2的长度为虚线间距的1.1倍，将横线v从上向下移动，若每一列中两端v1部分值全大于0，并且存在等于0的部分，则将v2部分等于0的部分改为1，遍历完成后得到矩阵M3；S34，将矩阵M3进行二值化处理，得到矩阵表示的图纸M
j
。4.如权利要求1所述的一种基于深度学习的管道仪表流程图信息抽取方法，其特征在于，所述步骤S5中基于边界判定规则求解线宽d和线的方向θ，所述边界判定规则具体为：S51，基于点p(x1, y1)，沿着垂直和水平两个方向进行延伸；S52，当垂直方向或水平方向遇见矩阵M
j
中等于0的点时，再沿着相同的方向延伸z个点，如果这个z个点都等于0，说明处于边界部分，则得到4个交点，否则继续延伸下去；S53，当处于边界部分时，针对每一个交点，沿着交点边界的两个方向延伸m个点，得到P
i
，i表示交点的编号，P
i
为m个点的集合；S54，对于每一个集合P
i
，对m个点的横纵坐标求平均，最终得到四个点{m1(x1, y1), m2(x2, y2), m3(x3, y3), m4(x4, y4)}，m1和m2为竖直方向的两个交点，m3和m4为水平方向上的两个交点；S55，计算m1和m2之间的距离d1，m3和m4之间的距离d2，如果d1和d2之比大于...

【专利技术属性】
技术研发人员：张卫山，陈涛，张宝宇，赵宏伟，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：