一种基于多标签卷积神经网络的管道病害图像分类方法技术

本发明专利技术公开一种基于多标签卷积神经网络的管道病害图像分类方法，所述管道病害图像分类方法步骤如下：步骤1：收集管道内窥检测视频，提取视频中的图像帧；步骤2：计算每一个图像的时间戳特征；步骤3：将步骤1收集到的一部分图像帧送入多标签卷积神经网络模型中进行训练，获得能够正确分类出管道病害种类的多标签卷积神经网络模型；步骤4：用训练好的多标签卷积神经网络模型检测待检测管道内窥图像，然后多标签卷积神经网络模型会输出独热编码，根据独热编码确定出存在的管道病害种类，在现有Inception‑ResNet‑v2网络的基础上增加了多标签分类层，实现多种管道病害图像的分类功能。

【技术实现步骤摘要】
一种基于多标签卷积神经网络的管道病害图像分类方法
本专利技术涉及计算机数字图像处理和基于卷积神经网络的深度学习算法领域，尤其涉及一种基于多标签卷积神经网络的管道病害图像分类方法。
技术介绍
目前常用的管道内窥图像的获取方式有两种：一种是基于闭路电视检测技术(CloseCircuitTelevisionInspection，CCTV)的管道检测机器人技术，一种是基于管道快速视图检测技术(PipeQuickViewInspection，QV)的管道潜望镜技术。现有技术中获取图像后的处理方法目前仍然以人工观察为主，再进行分类识别。人工观察会出现下述难点：管道建设长度的增加会导致庞大内窥视频及图像数据的产生，以管道检测机器人为例，其运行最大速度在2.5-3m/s，对于长度为1000m的管道，至少需要拍摄5分钟的视频，按照30fps的帧率进行拍摄，则会产生9000张图片，如此庞大的数据量由人工检查筛选难免会由于工作疲劳、主观意识等因素导致检测结果不准确；所以就需要利用计算机数字图像处理技术，实现管道内窥图像的病害自动分类识别。管道遍布广、种类多、产生的病害种类相对复杂，但是管道检测是维护管道正常运营的重要手段，从人工下潜检查，到探地雷达、声纳等专业仪器检测，再发展到目前采用管道机器人或管道潜望镜获取管道内窥图像进行观测的方式，其安全性和普适性已有了较大提升，且数字图像处理技术成功地将几种管道病害的自动识别与监测变为现实。目前利用计算机数字图像处理技术对管道内窥图像进行分类的方法有两种主要方案：①.主观地获取特定病害种类的图像特征，使用传统的机器学习分类器进行分类：&lt;1>.针对管道中出现的破裂、错口、脱节病害图像，提取水平和对角小波分量、图像熵、共生相关性为特征，并组合成特征向量；<2>.针对管道中出现的污物沉积、树根病害图像，提取轮廓圆度、紧致度、凹凸度为特征，并组合成特征向量；<3>.针对管道中出现的堵塞、非法管道接入等病害图像提取角二阶矩、图像熵、相关性、相异性、对比度、均匀性为特征，并组合成特征向量；<4>.将上述特征向量送入支持向量机、随机森林、全连接神经网络中，进行训练，实现病害种类的分类。②.利用卷积神经网络客观地提取图像抽象特征进行分类：<1>.将所有拍摄到的管道内窥图像规范化成尺寸为256×256的分辨率；<2>.针对管道病害中常见的树根入侵、污物沉积、管壁破裂三种病害，将上述图片送入如图3所示的卷积神经网络中，进行训练；图中输入层×3表示输入的图像是彩色图像，共有红、绿、蓝三个通道，各个卷积层的中尺寸表示，经过卷积运算，原图的尺寸和通道数。例如128×128×32表示经过第一个卷积运算，原图变成了分辨率为128×128，并且具有32个数据通道的图像，这个图像称为特征图。<3>.全连接层中的数字表示将特征图转换为特定维数的向量，例如1024，就是将特征图变成了1024维的向量。输出层的3表示类别向量，采用独热编码标识；<4>.例如输入一张存在树根入侵的病害图像，则输出层就会输出形如[0，0，1]的向量；同理污物沉积就会输出[0，1，0]，管壁破裂就会输出[1，0，0]。但是现有的计算机数字图像处理技术需要主观地获取病害图像对应的特征，过于依赖拍摄图像的质量；对于阴暗潮湿，环境复杂的管道内壁，获取高质量的图像存在一定的困难；而且不同的病害种类图像特征的区分敏感度不同，选用什么样的特征作为分类依据需要一定的管道检测工作经验，限制了图像检测技术的发展；另外现有的卷积神经网络由于其模型简单，分类种类少，无法应对复杂的管道病害种类分类问题，且分类准确率较低。
技术实现思路
本专利技术在现有Inception-ResNet-v2网络的基础上增加了多标签分类层，实现多种管道病害图像的分类功能。一种基于多标签卷积神经网络的管道病害图像分类方法，所述管道病害图像分类方法如下：步骤1：收集管道内窥检测视频，提取管道内窥检测视频中的图像帧；步骤2：计算每一个图像的时间戳特征；步骤3：将步骤1收集到的一部分图像帧送入多标签卷积神经网络模型中进行训练，获得能够正确分类出管道病害种类的多标签卷积神经网络模型；步骤4：用训练好的多标签卷积神经网络模型检测待检测管道内窥图像，然后多标签卷积神经网络模型会输出独热编码，根据独热编码确定出存在的管道病害种类。优选的，所述多标签卷积神经网络模型包括上层Inception-ResNet-v2网络结构和下层多标签分类层，所述上层Inception-ResNet-v2网络结构还包括随机失活层。优选的，所述下层多标签分类层的处理步骤为：第一步：在上层Inception-ResNet-v2网络结构中的随机失活层输出的特征向量中添加一个时间戳特征TimeFeature，第二步：将第一步中添加了时间戳特征的特征向量进行降维激活处理，得到中纬度值，第三步:将第二步中的中纬度值继续进行降维处理，最后输出独热编码。优选的，所述时间戳特征TimeFeature的计算公式为：其中Current_Frame_Index为所述的待待检测管道内窥图像在整个管道内窥检测视频中所处的位置序号，All_Frames_Num为整个管道内窥检测视频的总帧数。优选的，所述的管道病害种类包括：洼水、树根、积泥、杂物、结垢、封堵、轻度腐蚀、中度腐蚀、重度腐蚀、脱节、破裂、错口、变形、入侵、轻度渗漏、中度渗漏和重度渗漏。本专利技术所取得的有益效果是：①.采用模型复杂的卷积神经网络，不必主观地提取特征，提高病害分类的准确率；②.结合了待检测图像的时间戳特征，丰富了分类特征的类型，利用时间戳特征有助于将检测录像视频中的非病害图像帧和无关图像帧(例如管道检测潜望镜或管道检测机器人被工作人员放入井中或回收时拍摄到的无关图像)区分出来；③.能够区分17种管道病害种类，几乎囊括了目前城市管道种所有的病害种类，应用范围更广。附图说明从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上；在不同的视图中，相同的附图标记指定对应的部分。图1为本专利技术的网络结构框图；图2为本专利技术的下层多标签分类层的处理流程图；图3为现有技术中的卷积神经网络结构图。具体实施方式为了使得本专利技术的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本专利技术进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本专利技术的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此附图本文档来自技高网...

【技术保护点】
1.一种基于多标签卷积神经网络的管道病害图像分类方法，其特征在于，所述管道病害图像分类方法步骤如下：步骤1：收集管道内窥检测视频，提取管道内窥检测视频中的图像帧；步骤2：计算每一个图像的时间戳特征；步骤3：将步骤1收集到的一部分图像帧送入多标签卷积神经网络模型中进行训练，获得能够正确分类出管道病害种类的多标签卷积神经网络模型；步骤4：用训练好的多标签卷积神经网络模型检测待检测管道内窥图像，然后多标签卷积神经网络模型会输出独热编码，根据独热编码确定出存在的管道病害种类。

【技术特征摘要】
1.一种基于多标签卷积神经网络的管道病害图像分类方法，其特征在于，所述管道病害图像分类方法步骤如下：步骤1：收集管道内窥检测视频，提取管道内窥检测视频中的图像帧；步骤2：计算每一个图像的时间戳特征；步骤3：将步骤1收集到的一部分图像帧送入多标签卷积神经网络模型中进行训练，获得能够正确分类出管道病害种类的多标签卷积神经网络模型；步骤4：用训练好的多标签卷积神经网络模型检测待检测管道内窥图像，然后多标签卷积神经网络模型会输出独热编码，根据独热编码确定出存在的管道病害种类。2.如权利要求1所述的一种基于多标签卷积神经网络的管道病害图像分类方法，其特征在于，所述多标签卷积神经网络模型包括上层Inception-ResNet-v2网络结构和下层多标签分类层，所述上层Inception-ResNet-v2网络结构还包括随机失活层。3.如权利要求2所述的一种基于多标签卷积神经网络的管道病害图像分类方法，其特征在于，所述下层多标签...

【专利技术属性】
技术研发人员：唐露新，张宇维，
申请(专利权)人：广东技术师范大学天河学院，
类型：发明
国别省市：广东,44