一种基于深度学习的地下管道缺陷定位及等级判定方法技术

本发明专利技术公开了一种基于深度学习的地下管道缺陷定位及等级判定方法，包括主要步骤有：（1）图像预处理；（2）基于深度学习的缺陷识别与定位；（3）基于深度学习的缺陷等级的判定；（4）深度学习框架损失函数的构建。其中，针对地下管道缺陷识别与缺陷等级判定本发明专利技术提出了两个深度学习的网络结构DCNN1、DCNN2，并且提出了一个可以判定缺陷等级的全新目标检测框架。判定缺陷等级后即可有针对性地去修复严重程度不同的缺陷，缺陷较为轻微的地下管道可采取修补性措施，而针对较为缺陷较为严重的地下管道则需要立即采取更换等维修措施，因此缺陷等级的判定是一个重要且急需解决的问题。

A Method of Defect Location and Grading for Underground Pipeline Based on Deep Learning

The invention discloses a method for defect location and grade determination of underground pipelines based on in-depth learning, which includes: (1) image preprocessing; (2) defect recognition and location based on in-depth learning; (3) defect grade determination based on in-depth learning; (4) loss function construction of in-depth learning framework. Among them, two deep learning network structures DCNN1 and DCNN2 are proposed for defect recognition and defect grade determination of underground pipelines, and a new target detection framework for defect grade determination is proposed. After judging the defect grade, the defects with different severity can be repaired. The underground pipeline with slight defect can take repairing measures, while the underground pipeline with more serious defect needs to be replaced immediately. Therefore, the determination of defect grade is an important and urgent problem to be solved.

【技术实现步骤摘要】
一种基于深度学习的地下管道缺陷定位及等级判定方法
本专利技术涉及地下管道缺陷检测领域，具体涉及一种基于深度学习的地下管道缺陷定位及等级判定方法。
技术介绍
由于世界各地现代化城市的地下管道网络已经非常陈旧甚至已达到其设计寿命，因此地下管道网络缺陷检测已成为各地关注主要关注点之一。然而对于地下管道的检测还存在很多难点，如传统方法存在着效率低下，识别率不高等缺点。同时地下管道环境复杂，管道缺陷之间差异小等多个因素，导致地下管道缺陷的识别成为一个相当复杂的问题，面临诸多挑战。在过去的十年中，随着计算机视觉的发展，地下管道检测技术已经有了急速进步，一些有效的检测技术包括：地下管道扫描与评估技术(SSET)，基于激光的扫描系统，闭路电视(CCTV)和潜望镜(QV)等。地下管道内部图像很容易获得，但仍然没有有效的方法来自动检测大量图像中的缺陷。地下管道检查主要取决于操作员的手动操作，依赖操作员的经验，耗时、昂贵且容易出错。另外缺陷的严重程度判断也是一个重要且急需解决的问题，目前还没有有效方法对缺陷等级进行判定；因此，提供一种能够基于深度学习的地下管道缺陷定位及等级判定方法，是一个值得研究的问题。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于深度学习的地下管道缺陷定位及等级自动判定方法，该检测方法不仅减少了人工干预，增加检测精度，而且在准确识别缺陷的基础上还能判定该缺陷的等级，这使得缺陷修复具有针对性，提高了效率。本专利技术的目的是这样实现的：一种基于深度学习的地下管道缺陷定位及等级判定方法，包括以下几个步骤：(1)图像预处理：针对基于图像的地下管道缺陷检测任务，图像预处理方式主要包括对比度增强和图像去噪；(2)基于深度学习的缺陷识别与定位：提出了一种针对地下管道缺陷识别准确率高的网络结构；(3)缺陷等级的判定：提出了一种深度学习框架可进行缺陷识别与定位并同时进行缺陷等级判定；(4)缺陷等级判定框架损失函数构建：针对本专利技术提出的网络结构DCNN1、DCNN2，分别构建损失函数Loss1、Loss2，最后合成整个框架的损失函数。所述步骤(1)具体为：(1.1)用对比度增强的方法来提高图像亮度，而对比度的增强则是利用改进的动态直方图均衡化法(DHE)来完成。DHE基于局部最小值划分图像直方图，并在分别对其进行均衡之前为每个分区指定特定的灰度级范围。这些分区进一步通过重新分区测试，以确保没有任何主导部分；(1.2)利用双边滤波的方法消除噪声，并可较好保持图像边缘及纹理信息。通过将信号分解成其频率分量来改进双边滤波器，以这种方式，可以消除不同频率分量中的噪声；进一步地，所述步骤(2)主要包括：(2.1)提出了全新的深度学习目标检测框架，可对输入的地下管道图像缺陷进行识别与定位。它将图像划分为偶数网格，同时预测边界框、框的置信度和类别概率，这些预测被编码为S×S×(B*5+C)的张量；(2.2)本专利技术提出了一种全新的深度网络结构DCNN1，该网络主要用于地下管道缺陷识别与定位。该网络结构由8个卷积层和2个全连接层组成，如图4所示；进一步地，所述步骤(3)具体为(3.1)将经过预处理的图像输入上述(2.1)中的目标检测框架，输出一个固定大小的张量，该张量经过处理得到一个固定大小的特征向量；(3.2)然后对不同的缺陷分别提取其特征向量；(3.3)与此同时采用上采样提取DCNN1中第一层、第二层和第三层的特征向量，并将三个特征向量进行合并合成一个新的特征向量；(3.4)继续利用向量合并的方法将(3.3)中合成的特征向量与(3.2)中各缺陷的特征向量连接成一个全新的特征向量；(3.5)将(3.4)中合成的新特征向量输入本专利技术提出的网络结构DCNN2后，最终可得到缺陷等级。上述步骤即为基于深度学习的目标检测框架，将图像输入该框架，即可实现缺陷的识别定位与等级判定。进一步地，所述步骤(3.5)中的网络结构DCNN2包括6个卷积层，6个池化层和一个全连接层，其主要实现的功能是判断所提取的缺陷等级。进一步地，所述步骤(4)具体为(4.1)本专利技术提出的缺陷等级判定框架的损失函数为Loss＝α1Loss1+α2Loss2其中Loss1为DCNN1的损失函数，Loss2为DCNN2的损失函数，大量实验表明α1＝0.6，α2＝0.4时缺陷等级判定框架效果较好；(4.2)Loss1为DCNN1的损失函数，其表达式为其中表示第个栅格中第个框含有这个目标的置信度，表示第个栅格中第个框不含有这个目标的置信度，xi，yi，ωi，hi分别表示预测框的中心坐标以及预测框的宽度及高度，表示真实框的坐标以及框的高度及宽度大小，Ci表示预测框中是否含有目标，表示框中是否含有目标的真实情况；(4.3)Loss2为Softmax损失函数，Softmax激活函数由于其简单性和概率解释而广泛用于DCNN网络框架的最后一个全连接层，其表达式为：其中yi是缺陷等级的真实分类，ypred是缺陷等级的预测概率。积极有益效果：(1)本专利技术提出的模型框架实现了较高的识别精度的同时保持较快的识别速度，效果优于其他框架模型；(2)本专利技术提出的框架模型缺失率小于其他框架，这表明在使用该模型时，缺陷的遗漏率会更低；(3)本专利技术提出的框架不仅能识别和定位地下管道缺陷，还能对识别出的缺陷判定其等级，这对缺陷检测与修复来说具有重要意义。附图说明图1为本专利技术基于深度学习的地下管道缺陷定位及等级判定方法流程图；图2为本专利技术七种地下管道缺陷原始图像；图3为本专利技术地下管道图像预处理效果示意图；图4为本专利技术提出的全新网络结构DCNN1示意图；图5为本专利技术提出的全新基于深度学习的目标检测框架流程示意图；图6为本专利技术提出的目标检测框架缺陷识别结果与缺陷等级分类示意图。具体实施方式下面结合附图并通过实例对本专利技术做进一步详细说明，以下实例是对本专利技术的解释，而本专利技术并不局限于以下实施例。本专利技术的一种基于深度学习的地下管道缺陷定位及等级判定方法，包括以下几个步骤：步骤一：实验准备和图像预处理，具体过程为：(1.1)从CCTV地下管道检查视频中收集12000张图像，如图2例图所示，然后进行数据增强。数据增强主要通过水平翻转和缩放来增加数据集；(1.2)在数据增强之后，将36000个图像缩小到相同大小的448×448像素，并对图像进行预处理，具体为利用改进的动态直方图均衡化法(DHE)增强图像对比度；利用双边滤波的方法消除噪声，其中通过将信号分解成其频率分量来改进双边滤波器，以这种方式，可以消除不同频率分量中的噪声；(1.3)在本实例中，80％的数据集作为训练集，10％的数据集作为验证集，10％数据集作为测试集。预处理结果如图3所示。步骤二：设计基于深度学习的目标检测框架，具体过程为：(2.1)设计一种全新的深度网络结构DCNN1，该网络主要用于地下管道缺陷识别与定位。该网络结构由8个卷积层和2个全连接层组成，如图4所示；(2.2)设计包括6个卷积层，6个池化层和一个全连接层全新的网络结构DCNN2，其主要实现的功能是判断所提取的缺陷等级，如图5所示；(2.3)将经过预处理的图像输入上述(2.1)中的目标检测框架，输出一个固定大小的张量，该张量经过处理得到一个固定大小的特征向量；(2.4)然后对不同的缺陷分别提取其本文档来自技高网...

【技术保护点】
1.一种基于深度学习的地下管道缺陷定位及等级判定方法，其特征在于，包括以下几个步骤：(1)图像预处理：针对基于图像的地下管道缺陷检测任务，图像预处理方式主要包括对比度增强和图像去噪；(2)基于深度学习的缺陷识别与定位：针对地下管道缺陷识别准确率高的网络结构；(3)缺陷等级的判定：深度学习框架可进行缺陷识别与定位并同时进行缺陷等级判定；(4)缺陷等级判定框架损失函数构建：针对网络结构DCNN1、DCNN2，分别构建损失函数Loss1、Loss2，最后合成整个框架的损失函数。

【技术特征摘要】
1.一种基于深度学习的地下管道缺陷定位及等级判定方法，其特征在于，包括以下几个步骤：(1)图像预处理：针对基于图像的地下管道缺陷检测任务，图像预处理方式主要包括对比度增强和图像去噪；(2)基于深度学习的缺陷识别与定位：针对地下管道缺陷识别准确率高的网络结构；(3)缺陷等级的判定：深度学习框架可进行缺陷识别与定位并同时进行缺陷等级判定；(4)缺陷等级判定框架损失函数构建：针对网络结构DCNN1、DCNN2，分别构建损失函数Loss1、Loss2，最后合成整个框架的损失函数。2.根据权利要求1所述的一种基于深度学习的地下管道缺陷定位及等级判定方法，其特征在于，所述步骤(1)具体为：(1.1)用对比度增强的方法来提高图像亮度，而对比度的增强则是利用改进的动态直方图均衡化法(DHE)来完成；DHE基于局部最小值划分图像直方图，并在分别对其进行均衡之前为每个分区指定特定的灰度级范围；这些分区进一步通过重新分区测试，以确保没有任何主导部分；(1.2)利用双边滤波的方法消除噪声，并可保持图像边缘及纹理信息；通过将信号分解成其频率分量来改进双边滤波器，以这种方式，可以消除不同频率分量中的噪声。3.根据权利要求1所述的一种基于深度学习的地下管道缺陷定位及等级判定方法，其特征在于，所述步骤(2)包括：(2.1)提出了全新的深度学习目标检测框架，对输入的地下管道图像缺陷进行识别与定位；它将图像划分为偶数网格，同时预测边界框、框的置信度和类别概率，这些预测被编码为S×S×(B*5+C)的张量；(2.2)深度网络结构DCNN1，主要用于地下管道缺陷识别与定位；该网络结构由8个卷积层和2个全连接层组成。4.根据权利要求1所述的一种基于深度学习的地下管道缺陷定位及等级判定方法，其特征在于：所述步骤(3)为(3.1)将经过预处理的图像输入上述(2.1)中的目标检测框架，输出一个固定大小的张量，该张量经过处理得到...

【专利技术属性】
技术研发人员：鞠建荣，刘文伍，范娟娟，汪俊，周磊，谢乾，李大伟，
申请(专利权)人：南京市测绘勘察研究院股份有限公司，
类型：发明
国别省市：江苏,32