一种基于计算机视觉与机器学习的管道缺陷识别方法技术

本发明专利技术涉及的是一种基于计算机视觉与机器学习的管道缺陷识别方法。通过对管道机器人采集的管道图像、视频进行灰度拉伸；进行滑滤波处理滤除噪声干扰；采用Canny算子对疑似缺陷区域轮廓提取；采集图像分成细胞单元中各像素点的梯度或边缘方向直方图，直方图组合起来提取图像HOG特征；采用迁移学习策略训练VGGNet模型，训练好的VGGNet的特征提取器提取图像特征；将管道图像的HOG特征和VGGNet提取的特征进行融合，使用SVM将特征分类，识别管道缺陷；统计管道缺陷识别结果输出管道缺陷类型。本发明专利技术能识别真实管道环境的缺陷特征，提高分类模型的鲁棒性和识别的准确率，提升系统图像处理速度和识别的效率，适用于城市管道、工业管道检修领域。

A Pipeline Defect Recognition Method Based on Computer Vision and Machine Learning

The invention relates to a pipeline defect recognition method based on computer vision and machine learning. By stretching the gray scale of pipeline images and videos collected by pipeline robots, filtering the noise interference by sliding filtering, extracting the contour of suspected defect areas by Canny operator, dividing the collected images into gradient or edge direction histograms of each pixel in the cell unit, and combining the histograms to extract the HOG features of the image, training VGNet model by using migration learning strategy, and training. A good VGNet feature extractor extracts image features; fuses HOG features and VGNet features of pipeline images, classifies features by SVM, and identifies pipeline defects; and outputs pipeline defect types by statistical results of pipeline defect recognition. The invention can recognize the defect characteristics of real pipeline environment, improve the robustness and accuracy of classification model, improve the image processing speed and recognition efficiency of the system, and is applicable to the field of urban pipeline and industrial pipeline maintenance.

【技术实现步骤摘要】
一种基于计算机视觉与机器学习的管道缺陷识别方法
本专利技术涉及图像与视频处理和特征识别
，尤其涉及一种基于计算机视觉和机器学习检测管道缺陷的识别方法。
技术介绍
管道缺陷检测与修复工作是城市建设的重要环节，成为当前计算机视觉的热点研究问题。管道缺陷识别是通过从视频帧中根据特定的技术指标对缺陷部位进行识别。缺陷识别对后期管道修复有着决定性作用。目前管道缺陷识别主要是通过管道机器人携带闭路电视(CCTV)硬件获取管道视频，并通过技术人员对视频进行分析，人工进行管道缺陷识别，但这种方法对人工的依赖性很高，需要有经验的操作人员才能准确地判别病害，人为判别容易受到视力疲劳、注意力降低等多种人为因素的影响，从而影响检测精度和准确性。针对上述方法存在的弊端，本专利技术重点研究基于计算机视觉与机器学习的管道病害识别算法，对管道图像进行预处理，利用预训练VGGNet提取的管道图像特征和管道图像HOG特征融合，采用SVM滑动分类器对多种类别的管道病害信息进行精确识别。这种方法可以降低对人工的依赖性。目前管道缺陷识别领域存在一些问题，如视频中管道环境的复杂性、管道的差异性和缺陷的差异性，导致在实际复杂管道环境中，管道缺陷特征易受管道环境变化影响，分类模型抗干扰能力较差，在差异较大的管道环境中管道缺陷识别准确率较低。本专利技术提出了一种基于计算机视觉与机器学习的管道缺陷识别方法适用于管道缺陷检修领域。
技术实现思路
本专利技术针对现有技术中的上述问题，结合目前在计算机视觉领域表现优异的基于特征融合的图像处理方法，本专利技术提出一种基于计算机视觉与机器学习的管道缺陷识别方法，该方法能识别真实管道环境的缺陷特征，提高分类模型的鲁棒性和识别的准确率，提升系统图像处理速度和识别的效率，适用于城市管道、工业管道检修领域。为了达到上述目的，本专利技术采用的技术方案如下：本专利技术涉及一种基于计算机视觉与机器学习的管道缺陷检测方法，包括以下步骤：步骤(1)、控制管道机器人在管道中获取管道图像、视频，进行灰度拉伸及平滑滤波处理；步骤(2)、对处理后的管道图像、视频进行Canny算子边缘检测；步骤(3)、对检测过后的图像、视频进行HOG特征提取；步骤(4)、对检测过后的图像、视频进行VGG特征提取；步骤(5)、根据特征运用SVM识别管道缺陷；步骤(6)、统计结果，将数据保存；再返回步骤2；本专利技术的有益效果是，该方法在增加管道识别的效率、降低管道识别对人工的依赖性的情况下，还能保证识别准确率，对管道缺陷检测有一定的参考价值。附图说明下面结合附图和实施例对本专利技术进一步说明：图1为本专利技术实施例的总体流程图；图2为本专利技术灰度拉伸、平滑滤波、Canny算子边缘检测侧效果图；图3为本专利技术使用的VGGNet-16网络结构图；图4为本专利技术使用的SVM示意图；图5为本专利技术实施例采集视频上的识别结果示例。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明，以下实施例不构成对本专利技术的限定。如图1所示，本专利技术方法的实施流程具体包括以下步骤：S1010：携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸。增强疑似腐蚀区域和正常管道的对比度，使其明暗更加鲜明，特征更加明显，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，由此得到的因变量作为输出图像中的灰度值g(x,y)，公式(1)具体如下g(x,y)＝T[f(x,y)](1)采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，消除真实的管道环境中因点光源造成的光线不均匀，局部高亮，金属反光等导致的轮廓带有的锯齿。邻域平均法中每个像素的权重是相等的，重要性假设一致。公式(2)具体如下式中s为(x,y)邻域中像素坐标的集合，M为集合s内像素的数量，平滑滤波效果图如图2(b)所示。S1110：采用Canny算子对疑似缺陷区域进行轮廓提取，进而找到疑似缺陷区域的边缘。使用高斯滤波去除图像噪声，使用大小为(2*N+1)模板，以扫描图像中的每个像素,使用模板确定邻域像素加权平均灰度,以取代模板中心像素灰度值。一维高斯函数表述如公式(3)具体如下：根据上述函数，计算给定尺寸和Sigma的高斯卷积核参数，并使用计算得到的高斯卷积核跟灰度图像卷积。实验过程中Canny算子使用的是尺寸5×5，σ＝1的高斯核。计算梯度和方向。计算公式(4)具体如下：其中f(x,y)为图像灰度值，P代表X方向梯度幅值，Q代表Y方向梯度幅值，M为该点幅值，θ为梯度方向，即梯度角度。求得X和Y方向的梯度和梯度角之后再来计算X和Y方向融合的梯度幅值，计算公式(5)具体如下：梯度幅值的非极大值抑制。非最大抑制应用于“减薄”边缘。应用梯度计算后，从梯度值中提取的边缘仍然非常模糊。将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的该值将被保留。否则，该值将被抑制。用双阈值算法检测和连接边缘。经过双阈值算法检测和连接边缘步骤之后，Canny图像如图2(c)所示。S1140：对检测过后的图像、视频进行HOG特征提取。方向梯度直方图通过计算和统计图像局部区域的梯度方向直方图来构成特征。首先将图像分成小的连通区域即细胞单元然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器作为管道病害特征提取的一部分。S1150：对检测过后的图像、视频进行VGGNet特征提取。VGGNet系列网络结构如下表所示：上表显示了VGGNet网络结构。从左到右的每列表示深度不断增加的不同模型。从上到下，表示模型的深度。其中conv<filtersize>-<channelnumber>,以及为什么使用3x3过滤的原因如下。卷积核设计为此尺寸是因为它可以捕捉所有方向上的最小尺寸。由于第一层通常有很多高频和低频信息，它不覆盖中频信息，而且步长如果太大，会导致大量的混叠。因此，滤波器尺寸和步长应尽可能小。此处使用lxl卷积模板，因为lxl等同于线性变换输入通道的操作。决策函数的非线性不会影响接受域的大小。VGGNet卷积神经网络中，采用了所有的网络结构都使用了3*3的卷积核和2*2的池化核的策略，模型通过不断加深卷积网络的结构来达到提升性能的目的。图3所示为本设计采用的VGGNet-16网络结构图，VGG由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling(最大化池)分开，所有隐层的激活单元都采用ReLU函数。VGGnet系列网络中虽然从A到E每一级的卷积网络逐渐变的更深，但是卷积网络的整体参数量并没有明显的增长，原因在于参数量主要都消耗在最后3个全连接层。使用迁移学习策略解决由于管道缺陷数据集较小导致的过拟合与识别率低等情况。利用迁移学习策略，直接使用其他人预先训练好的模型。然后找到输出的可重用层。我们可以使用这些层的输出作为输入来训练具有更少，更小规模的数据集的网络。能够完善模型的“通用性”。迁移学习策略允许模型知晓不同类型的数据，所以模型可以学习更好的基础规则。VGGNet网络的拓展性很强，迁移到其他本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉与机器学习的管道缺陷识别方法，其特征在于，包括以下步骤：步骤(1)、携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，由此得到的因变量作为输出图像中的灰度值g(x,y)，其公式如下g(x,y)＝T[f(x,y)]                               (1)采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，邻域平均法中每个像素的权重是相等的，重要性假设一致。公式如下

【技术特征摘要】
1.一种基于计算机视觉与机器学习的管道缺陷识别方法，其特征在于，包括以下步骤：步骤(1)、携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，由此得到的因变量作为输出图像中的灰度值g(x,y)，其公式如下g(x,y)＝T[f(x,y)](1)采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，邻域平均法中每个像素的权重是相等的，重要性假设一致。公式如下式中s为(x,y)邻域中像素坐标的集合，M为集合s内像素的数量；步骤(2)、采用Canny算子对疑似缺陷区域进行轮廓提取，进而找到疑似缺陷区域的边缘；使用高斯滤波去除图像噪声，使用大小为(2*N+1)模板，以扫描图像中的每个像素,使用模板确定邻域像素加权平均灰度,以取代模板中心像素灰度值。一维高斯函数表述为公式如下根据上述函数，计算给定尺寸和Sigma的高斯卷积核参数，并使用计算得到的高斯卷积核跟灰度图像卷积。实验过程中Canny算子使用的是尺寸5×5，σ＝1的高斯核。计算梯度和方向。计算公式如下：其中f(x,y)为图像灰度值，P代表X方向梯度幅值，Q代表Y方向梯度幅值，M为该点幅值，θ为梯度方向，即梯度角度。求得X和Y方向的梯度和梯度角之后再来计算X和Y方向融合的梯度幅值，计算公式如下：计算梯度幅值的非极大值抑制。非最大抑制应用于“减薄”边缘。应用梯度计算后，从梯度值中提取的边缘仍然非常模糊。将当前像素的边缘强度与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩模中的其他像素相比是最大的该值将被保留。否则，该值将被抑制。用双阈值算法检测和连接边缘得到Canny图像；步骤(3)、对检测过后的图像、视频进行HOG特征提取，先将图像分成小的连通区域即细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器作为管道病害特征提取的一部分；步骤(4)、对检测过后的图像、视频进行VGGNet特征提取。采用了所有的网络结构都使用了3*3的卷积核和2*2的池化核的策略，模型通过不断加深卷积网络的结构来达到提升性能的目的。图3所示为本设计采用的VGGNet-16网络结构图，VGG由5层卷积层、3层全连接层、softma...

【专利技术属性】
技术研发人员：李策，尚新宇，刘雨薇，杨峰，刘瑞莉，牛天驹，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：北京,11