基于卷积神经网络的管道视频缺陷检测方法技术

本发明专利技术涉及一种基于卷积神经网络的管道视频缺陷检测方法，对视频抽帧，训练多个CNN对每帧图像进行分类，统计每个CNN返回的结果，确定该帧的缺陷类型，以管道闭路电视视频为输入，将视频切分为连续图像帧，将每帧图像送入多个训练好的CNN中进行二分类，分类结果只包括含有某种特定缺陷和无缺陷。本发明专利技术显著提高了管道缺陷检测的准确率，为视频检测提供了一种可行方法，不仅可以提高管道缺陷的自动化检测效率，也可减轻工作人员的劳动强度，本方法检测准确率高且检测速度快，在管道视频缺陷检测中具有很大的应用价值，且取得了较为满意的结果，可作为管道缺陷检测工作者的技术参考，可以很好地满足实际应用的需要。

【技术实现步骤摘要】
基于卷积神经网络的管道视频缺陷检测方法
本专利技术属于图像处理
，具体涉及一种基于卷积神经网络的管道视频缺陷检测方法。
技术介绍
排水管道是城市排水系统的重要组成部分，在使用过程中，环境因素引起的管道功能性缺陷和结构性缺陷，致使排水管道不能正常工作，当暴雨来袭，雨水不能及时排除，很多大城市遭遇“内涝成海”的情况，给城市建设和人民生活带来不便。为了能够最大限度地发挥现有管道的排水能力，对现有排水管道的定期检测，是及时发现排水管道安全隐患的有效措施。目前，CCTV(ClosedCircuitTelevision)检测技术被广泛应用于管道内部检测中，管道机器人携带摄像头下井拍摄视频，操作人员通过播放视频的方式无需下井就能准确检测出管道状况。但是，管道内部光线昏暗且情况复杂，操作员长时间工作容易视觉疲劳影响检测精确度。因此，管道视频缺陷检测是一项非常具有挑战性的工作。传统的管道检测方法主要基于人工特征提取结合神经网络(ANN)和支持向量机(SVM)作为分类器的机器学习方法。它们通常采取人工选取特征的方法并将特征向量送入分类器进行分类。然而，这种方法的通用性不强、图像分类的泛化能力不强，当图像类别过多时，很难找出一组可以描述所有类别图像的特征，因此并不适用于复杂情况。
技术实现思路
针对上述现有技术中存在的问题，本专利技术的目的在于提供一种可避免出现上述技术缺陷的基于卷积神经网络的管道视频缺陷检测方法。为了实现上述专利技术目的，本专利技术提供的技术方案如下：一种基于卷积神经网络的管道视频缺陷检测方法，对视频抽帧，训练多个CNN对每帧图像进行分类，统计每个CNN返回的结果，确定该帧的缺陷类型。进一步地，以管道闭路电视视频为输入，将视频切分为连续图像帧，将每帧图像送入多个训练好的CNN中进行二分类，分类结果只包括含有某种特定缺陷和无缺陷。进一步地，所述CNN包括上半部分网络结构和下半部分网络结构；上半部分网络结构由4层卷积层和3层池化层组成，下半部分网络结构是由一个2层卷积结构组成的特征提取器；融合上半部分网络结构和下半部分网络结构的两个全连接层，训练softmax输出分类概率。进一步地，上半部分网络结构的第一卷积层采用32个5×5核，第二卷积层2采用64个3×3核，第三卷积层分别采用2个1×1卷积核降低输入维度，然后分别送入两个第四卷积层，最后堆叠特征图，送入全连接层；下半部分网络结构的第一卷积层采用32个5×5核，第二卷积层采用64个3×3核，只在第一卷积层后进行池化，经过第二卷积层后将特征图送入512个隐层单元全连接；最后融合上半部分网络结构和下半部分网络结构的两个512维全连接层，训练softmax输出分类概率。进一步地，所述CNN的激活函数为ELU，ELU纠正线性单元的定义为α是一个可调整的参数，它控制着ELU负值部分在何时饱和。进一步地，α为1。进一步地，所述CNN的池化为随机池化，按照特征点的大小分配其被选中的概率，步骤如下：1)求池化区域的统计和2)池化区域每个像素除以统计和计算出来的总和，得到每个像素的概率值3)按照概率值随机采样mj＝ai，l～P(p1，…，p|Rj|)；Rj为池化层滑动窗口的大小；K为池化层滑动窗口中元素的个数；ai为池化窗口的元素值；l为池化窗口中按照pi随机选择的值。进一步地，输入充足的数据训练所述CNN，在数据量不够的情况下采用数据增强技术，通过图像的几何变换，使用一种或多种组合来扩大数据集。进一步地，采取翻转、高亮的方法扩充数据集，首先对图像进行从左到右翻转，然后对图像进行高亮。进一步地，训练CNN包括对图像进行归一化，采取减去平均像素值并除以像素的标准差的方式对图像进行归一化，公式为：其中Xn是归一化像素，x是原始像素，和s分别指原始图像像素的均值和标准差。本专利技术提供的基于卷积神经网络的管道视频缺陷检测方法，显著提高了管道缺陷检测的准确率，为视频检测提供了一种可行方法，不仅可以提高管道缺陷的自动化检测效率，也可减轻工作人员的劳动强度，本方法检测准确率高且检测速度快，在管道视频缺陷检测中具有很大的应用价值，且取得了较为满意的结果，可作为管道缺陷检测工作者的技术参考，可以很好地满足实际应用的需要。附图说明图1为管道视频缺陷检测的流程图；图2为本专利技术的改进卷积神经网络结构图；图3(a)为ReLU曲线图；图3(b)为LReLU曲线图；图3(c)为ELU曲线图；图4为5-折交叉验证平均准确率的折线图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本专利技术做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于卷积神经网络的管道视频缺陷检测方法，通过对视频抽帧，训练多个二分类卷积神经网络对每帧图像进行检测并分类，统计每个卷积神经网络返回的结果，确定该视频帧的缺陷类型，最后统计整段视频帧的结果。传统的卷积神经网络(CNN)由输入层、卷积层(Convolutionallayer)、激活函数、池化层(PoolingLayer)、全连接层(Fully-connectedlayer)组成。利用多个卷积神经网络(convolutionalneuralnetwork，CNN)模型检测排水管道中是否含有缺陷并分析缺陷类型。每个神经网络学习一种特定缺陷，训练过程中将图像分类为包含或不包含特定类型缺陷进行学习。检测流程以管道闭路电视视频为输入，首先视频被切分为连续图像帧，然后将每帧送入6个训练好的卷积神经网络中进行二分类，分类结果只包括含有某种特定缺陷和无缺陷，最后联合每个神经网络的返回值确定结果。图1给出了管道视频缺陷检测的流程。图1中每个CNN的结构相同，训练标签不同。训练数据分为正样本(即包含缺陷的图像)和负样本(即不包含该缺陷的图像)。在CNN处理图像过程中主要采用多层级联的结构，此类网络设计更多地考虑图像的细节特征，通过多层级的卷积操作细化采样图像特征，从而实现对图像的整体表现。但是，由于此类网络过于关注局部感受野内的细节特征，容易受限于图像本身，当图像中的目标相对较小时，仅仅依靠细节不能准确描述目标。相反，适当增加全局性特征可以取得更好的效果；传统的CNN只有一个通道且首层卷积核大小固定，于是单通道CNN存在着由于卷积模板单一，导致的丢失原始图像部分差异尺度特征的问题。因此本专利技术设计两个不同层级的网络结构并且通过并联这两个神经网络结构实现排水管道缺陷检测。这样做的目的不仅能解决特征提取不充分的问题还能整体把握图像全局特征和细节特征。本专利技术在卷积层中间加入1×1卷积来降低维度。1×1卷积核可以降低输入的通道数、降低运算复杂度，加快网络计算速度。利用1×1卷积，实现多个featuremap的线性组合。本专利技术在卷积层2，4之间加入1×1卷积层，使得输出的featuremap数降到16，可使下一卷积层的训练参数从69760降到18512，大幅减少参数量，提升了网络的计算速度。图2所示CNN网络结构中，上半部分网络结构由4层卷积层，3层池化层组成。其中卷积层1采用32个5×5核，卷积层2采用64个3×3核，卷积层本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的管道视频缺陷检测方法，其特征在于，对视频抽帧，训练多个CNN对每帧图像进行分类，统计每个CNN返回的结果，确定该帧的缺陷类型。

【技术特征摘要】
1.一种基于卷积神经网络的管道视频缺陷检测方法，其特征在于，对视频抽帧，训练多个CNN对每帧图像进行分类，统计每个CNN返回的结果，确定该帧的缺陷类型。2.根据权利要求1所述的管道缺陷检测方法，其特征在于，以管道闭路电视视频为输入，将视频切分为连续图像帧，将每帧图像送入多个训练好的CNN中进行二分类，分类结果只包括含有某种特定缺陷和无缺陷。3.根据权利要求1所述的管道缺陷检测方法，其特征在于，所述CNN包括上半部分网络结构和下半部分网络结构；上半部分网络结构由4层卷积层和3层池化层组成，下半部分网络结构是由一个2层卷积结构组成的特征提取器；融合上半部分网络结构和下半部分网络结构的两个全连接层，训练softmax输出分类概率。4.根据权利要求1-3所述的管道缺陷检测方法，其特征在于，上半部分网络结构的第一卷积层采用32个5×5核，第二卷积层2采用64个3×3核，第三卷积层分别采用2个1×1卷积核降低输入维度，然后分别送入两个第四卷积层，最后堆叠特征图，送入全连接层；下半部分网络结构的第一卷积层采用32个5×5核，第二卷积层采用64个3×3核，只在第一卷积层后进行池化，经过第二卷积层后将特征图送入512个隐层单元全连接；最后融合上半部分网络结构和下半部分网络结构的两个512维全连接层，训练softmax输出分类概率。5.根据权利要求1所...

【专利技术属性】
技术研发人员：刘克会，吕学强，王艳霞，李程，徐栋，
申请(专利权)人：北京市新技术应用研究所，北京信息科技大学，
类型：发明
国别省市：北京,11