一种基于深度学习的图像格式管道和仪表图管线识别方法技术

本发明专利技术公开了一种基于深度学习的图像格式管道和仪表图管线识别方法。涉及图像识别和管道和仪表图领域。本发明专利技术通过基于深度学习的算法，在管道和仪表图P&ID中先识别并删除符号和文字区域，将长管线分割成重复短管线，在识别完成后，将符合条件的短管线合并为长管线，达到识别各种长度管线的效果，并最后输出各段管线的端点和分类。本发明专利技术与人工识别管道和仪表图中管线相比，管线识别时间大幅缩小，识别准确率不受限于人工熟练度影响，信息化程度更好。相比现有的几种方法，本发明专利技术在识别准确率较高的前提下，使用更短的识别时间识别多种类型和多种长度的管线。型和多种长度的管线。型和多种长度的管线。

【技术实现步骤摘要】
一种基于深度学习的图像格式管道和仪表图管线识别方法


[0001]本专利技术涉及图像识别和管道和仪表图领域，具体涉及一种基于深度学习的图像格式管道和仪表图管线识别方法。

技术介绍

[0002]管道和仪表流程图P&ID的基本组成部分有管道、设备、仪表和配件，这些组成部分的关系都可以在图像中得到详细描述,并通过详细的设计表现复杂的工艺流程。现在许多工厂在工程、采购和施工都在使用数字P&ID。数字P&ID的好处就是其中的设备、仪表等基本组成部分都以数据形式进行储存，操作人员可以更好的解析并获取图中保存的信息。在P&ID转化为数字形式的过程中,需要人工识别出图中所有的仪表、设备、管道，以及各个组件的相互关系，并将各自的属性进行正确的匹配，然后对图中所有对象信息进行数字化生成。这个过程中，大多数操作都是人工手动执行的，因此需要耗费大量时间，并且转化的时间快慢和正确程度取决于人工熟练度。目前有方法使用传统技术识别连续线，使用深度学习技术识别连续线上的管线特征，并将识别的特征和连续线关联来达到识别管线的目标，整体识别需要花费一个小时左右时间。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度学习的图像格式管道和仪表图管线识别方法，以解决在石油化工行业，人工转化图像格式P&ID中管线需要消耗大量时间的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的图像格式P&ID管线识别方法，操作流程如图1所示，包括以下步骤：S1、对于图像格式管道和仪表图P&ID包含的各类管线，不同类型管线可视作连续线并带有不同的特征，相同的管线的特征相同，特征间距离固定，一段管线的长度从十几px到几千px不定，长度变化剧烈，在通过深度学习技术手段去除符号和文字的影响后，将长管线进行标注并切割为短管线，与原本存在的短管线合并一起，根据特征识别短管线，并将识别的切分短管线按相应规则进行合并，从而识别不同分类、尺度变化剧烈的管线，整个处理流程分为三个预处理步骤和两个识别步骤；S2、预处理步骤一，将图像格式P&ID进行符号标注，然后将大尺度的完整图像进行切分获得多张小尺度切分图像，将小尺度图像进行训练，在小尺度图像上进行识别，将识别结果在完整图像上进行位置还原，将每个符号所在区域以白色背景进行替代，获得去除符号的完整图像格式P&ID；S3、预处理步骤二，将去除符号的完整图像格式P&ID进行切分，首先使用文字识别算法进行文字定位，将文字位置在完整图像进行位置还原，将每个文字所在区域以白色背景进行替代，获得去除符号和文字的完整图像格式P&ID；S4、预处理步骤三，将去除符号和文字的完整图像格式P&ID进行管线标注，在完整图像进行管线标注时，将两个端点在同一水平或垂直线的连续管线标注为一个管线样本，
标注完成后，将大尺度的完整图像进行切分获得多张小尺度切分图像，对于跨越两个及以上切分区域的标注样本，将标注框进行重新计算，使每个切分部分都分配到单个标注框，样本分类不变，切分完成后，进行管线样本训练；S5、识别步骤一，为实现管线识别，首先输入完整图像格式P&ID按照S1和S2步骤进行符号和文字识别，并在完整图像中进行去除，然后在切分后进行管线识别，然后在完整图像中进行识别框位置还原，在切分过程中，部分单个管线样本会被切分成两个及以上样本，所以在还原过程中，需要对相同分类值的两个及以上的识别框进行合并；S6、识别步骤二，对于识别的管线，通过对识别框进行处理，获得每条管线的端点坐标，处理过程为，使用识别框纵横比确定管线是水平还是垂直方向，如果是水平方向，从上边框中间坐标往下遍历到第一个黑色像素，确定管线水平坐标，然后从左边框符合该水平坐标的点向右遍历到第一个黑色像素，即为管线左端点，从右边框符合该水平坐标的点向左遍历到第一个黑色像素，即为管线右端点。
[0004]优选的，如图5所示，步骤S1和S2所述图像切分与还原具体操作如下，本方法使用数据集图像大小为8410
×
5940，将输入图像填充空白区域，扩充为8600
×
6000，切分成100张860
×
600的图像，每个切分图像记作S(i,j)，i和j取值范围为0到9，则S(i,j)图像的(x,y)坐标还原到完整图像的坐标为(x+10i,y+10j)。
[0005]优选的，在S4步骤，对相同分类值的两个及以上的识别框进行合并的具体操作如下，在所有的切分图像S(i,j)，首先计算j为0的十个切分图像，输入十个图像的所有识别框坐标，先判断第一个识别框的右上坐标是否和切分线重合，如果重合，则判断第二个识别框的左上坐标是否和切分线重合，如果重合，判断两个坐标是否位于同一水平线，如果判断通过，则将第一个识别框的左上、左下和第二个识别框的右上右下坐标合并为一个新识别框，并取代两个识别框，如果发生合并，则重新计算第一个和第二个识别框，然后以第一个识别框为主，依次计算第二、第三、第四直至最后一个识别框，第一个识别框计算完毕后，以第二个识别框为主，依次计算第三、第四、第五直至最后一个识别框，当j为0的十个切分图像的水平合并识别框计算完毕后，依次计算j为1、j为2直到j为9的十个切分图像，当水平方向计算完毕后，在竖直方向，依次计算i为0、i为1到i为9的十个切分图像，如果合并的两个识别框宽度不一致，将宽度调整至两个宽度值中较小的那一个。
[0006]优选的，如图3所示，本方法可以将这8种类型的管线进行有效的识别，从P&ID图像中识别后获得管线的类型和端点坐标，同时，本方法不局限于这8种管线，对于包含与这8类管线特征不同的新类型管线，通过本方法的操作流程都可以有效识别。
[0007]与现有技术相比，本专利技术的有益效果如下：通过基于深度学习的算法识别管线，将几百到几千长度的长管线视为相互连接的短管线，在将完整图像切分后进行短管线识别，并将部分属于单段长管线的多段短管线进行合并，达到识别长短管线的效果，本方法能够通过算法识别管线来代替人工识别管线，相比人工识别管线受限于熟练度影响，算法识别可以达到较高的准确度，并将管线识别时间进行缩短。
附图说明
[0008]图1为本专利技术的识别流程示意图；
图2为本专利技术所述完整P&ID中的一部分包含管线图像；图3为本专利技术的8种识别管线种类图；图4为本专利技术的管线切分示意图；图5为本专利技术的切分图像中识别框坐标还原示意图；图6为本专利技术的切分图像识别框重新分配示意图。
具体实施方式
[0009]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像格式管道和仪表图管线识别方法，应用于深度学习技术领域，其特征在于，包括以下步骤：S1、对于图像格式管道和仪表图P&ID包含的各类管线，不同类型管线可视作连续线并带有不同的特征，相同的管线的特征相同，特征间距离固定，一段管线的长度从十几px到几千px不定，长度变化剧烈，在通过深度学习技术手段去除符号和文字的影响后，将长管线进行标注并切割为短管线，与原本存在的短管线合并一起，根据特征识别短管线，并将识别的切分短管线按相应规则进行合并，从而识别不同分类、尺度变化剧烈的管线，整个处理流程分为三个预处理步骤和两个识别步骤；S2、预处理步骤一，将图像格式P&ID进行符号标注，然后将大尺度的完整图像进行切分获得多张小尺度切分图像，将小尺度图像进行训练，在小尺度图像上进行识别，将识别结果在完整图像上进行位置还原，将每个符号所在区域以白色背景进行替代，获得去除符号的完整图像格式P&ID；S3、预处理步骤二，将去除符号的完整图像格式P&ID进行切分，首先使用文字识别算法进行文字定位，将文字位置在完整图像进行位置还原，将每个文字所在区域以白色背景进行替代，获得去除符号和文字的完整图像格式P&ID；S4、预处理步骤三，将去除符号和文字的完整图像格式P&ID进行管线标注，在完整图像进行管线标注时，将两个端点在同一水平或垂直线的连续管线标注为一个管线样本，标注完成后，将大尺度的完整图像进行切分获得多张小尺度切分图像，对于跨越两个及以上切分区域的标注样本，将标注框进行重新计算，使每个切分部分都分配到单个标注框，样本分类不变，切分完成后，进行管线样本训练；S5、识别步骤一，为实现管线识别，首先输入完整图像格式P&ID按照S1和S2步骤进行符号和文字识别，并在完整图像中进行去除，然后在切分后进行管线识别，然后在完整图像中进行识别框位置还原，在切分过程中，部分单个管线样本会被切分成两个及以上样本，所以在还原过程中，需要对相同分类值的两个及以上的识别框进行合并；S6、识...

【专利技术属性】
技术研发人员：李忠涛，刘圣勇，赵帅，玄文凯，张玉璘，
申请(专利权)人：济南大学，
类型：发明
国别省市：