一种基于3D卷积神经网络的地下空间管道异常检测方法技术

本发明专利技术提供了一种计算机视觉的地下空间管道异常检测方法。本发明专利技术对采样的视频数据进行标记，抽取视频帧，采用深度学习中的三维卷积核法(3D CNN)训练卷积神经网络所需的样本集，对样本集进行预处理，批量修改为尺寸为200*200。设计三维卷积核网络结构，进行训练；针对采取的视频数据，对于缺陷帧进行粗略选择，然后每隔15ms对视频进行采样，并将采样帧输入到神经网络中，检测是否有异常情况存在。

An Abnormal Detection Method for Underground Space Pipeline Based on 3D Convolutional Neural Network

【技术实现步骤摘要】
一种基于3D卷积神经网络的地下空间管道异常检测方法
本专利技术涉及地下空间的地下管道领域，特别是基于计算机视觉领域的地下空间管道异常检测方法。
技术介绍
随着城市化进程的不断加快，多数城市都在不同程度上出现了空间发展受限的情况，具体表现为交通道路拥堵、公共服务基础设施严重不足、城市空间环境恶化等情况，即所谓的“城市综合症”。空间受限严重阻碍了现代城市可持续发展的进程。城市地下空间的开发利用是解决城市建设空间不足和提高城市综合功能的有效途径，是提高土地利用率和促进城市可持续发展的一项有效措施。虽然近年来中国许多大中城市已经开展了各个层面的地下空间规划和建设，取得了一定的成绩。但处于朝阳发展阶段的中国城市地下空间规划，仍然面临着一系列问题。地下管道异常检测是一个复杂且庞大的过程，在地下空间建设维护等方面有着广泛的应用前景。管道的检测技术主要有以下几种技术漏磁法、超声波法、涡流法、光环图像法、环形光切图像法、PSD单点扫描法、全向检测法、内窥镜检测法等。针对该问题，目前主要有通过人工的方法，安排专门人员对视频进行浏览，手动找出有问题的影像，然后手动标记缺陷。这种方法效率十分低下，且容易受人的主观情绪影响，容易出错。本专利技术主要提出一种基于计算机视觉领域的地下空间管道异常检测方法，能够进一步提高检测效率和准确率。首先采样视频样本，然后对样本进行标记训练，能够快速检测地下空间管道的情况。应用CNN一个简单的方法就是对每一帧运用CNN来识别，但是这种方法并没有考虑到连续帧间的运动信息。为了有效的综合信息，提出了一种3D卷积的方法。通过在CNNs的卷积层进行3D卷积，以捕捉在时间和空间维度都具有区分性的特征。
技术实现思路
本专利技术主要提出一种基于计算机视觉领域的地下空间管道异常检测方法，能够进一步提高地下空间管道检测效率和准确率。对采样的视频数据进行标记，抽取视频帧，采用深度学习中的三维卷积核法(3DCNN)训练卷积神经网络所需的样本集，对样本集进行预处理，批量修改为尺寸200*200。设计三维卷积核网络结构，进行训练；针对采取的视频数据，对于缺陷帧进行粗略选择，然后每隔15ms对视频进行采样，并将采样帧输入到神经网络中，检测是否有异常情况存在。本专利技术所采用的技术方案是：一种基于计算机视觉的地下空间管道异常检测方法，包括以下步骤：步骤1：从大量的管道机器人拍摄的视频中抽取视频帧，分为A、B两个样本集；步骤2：对样本集进行预处理，统一改为尺寸为200*200，建立训练数据集，将图片划分为训练集、验证集和测试集；步骤3：设计三维卷积核(3DCNN)的网络结构，进行训练，得到权重矩阵；步骤4：针对现有的视频数据，对缺陷目标首先进行粗略选择，然后每间隔15ms进行采样；步骤5：将每一个采样的视频帧划分批次batch输入到三维卷积中进行训练，为了避免出现过拟合，对训练数据进行数据增强，方法包括改变图像色彩、水平翻转，加噪声，在送入进行训练之前对图像进行标准化处理，并判断是否有异常存在；步骤6：根据步骤5中的结果，综合判断是否有异常存在。进一步，步骤1中A样本集为正常的图像，B为有异常存在的图像。步骤2中的具体方法为：对于采集的视频图片，批量修改大小为200*200；并使图像按照RGB三个颜色通道进行统计；对采集到的所有图片按种类进行分类，有异常的图像标记1，没有异常的图像标记为0，得到有标记的数据；并且将训练数据按照合适比例进行随机分开，每次训练模型都会在验证集进行验证，在此期间不断进行调优，例如调整学习率，改变权重、调整网络结构、改变dropout强度等。步骤3中的三维卷积核法是基于视频分析的问题，3DCNN在视频分类，动作识别等领域发挥着巨大的优势。3DCNN应用于一个视频帧序列图像集合，并不是简单地把图像集合作为多通道来看待输出多个图像，而是让卷积核扩展到时域，卷积在空域和时域同时进行，输出仍然是有机的图像集合。实现时，将视频分成多个包含16帧的片段作为网络的输入。第一个池化层d＝1，是为了保证时间域的信息不要过早地被融合，接下来的池化层的d＝2。有所卷积层的卷积核大小为3*3*3，相对其他尺寸的卷积核，达到了精度最优，计算性能最佳。在其中，各个神经元的激活函数采用relue函数。3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核。在这个结构中，卷积层中每一个特征map都会与上一层中多个邻近的连续帧相连，因此捕捉运动信息。步骤4中将视频数据进行初步分割，在时序上进行自适应采样，形成图像集。本专利技术与现有技术相比，采用三维卷积核方法进行卷积训练；训练时采用带有标记的地下管道异常彩色图像为样本，充分利用有限的信息，解决了目前需要靠人工判别管道异常效率低的问题。附图说明为了更清楚地说明本专利技术的技术方案，下面将对
技术实现思路
中所需要使用的附图作简要地介绍。图1为本专利技术的流程图。图2为针对地下空间管道设计的3D卷积神经网络具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术实施方式作进一步地详细描述。通过计算机视觉、深度学习技术，尤其是近年来在计算机视觉领域比较流行的三维卷积神经网络结构，使计算机在图像视频识别领域的准确率有了很大的提高。所述的基于计算机视觉的地下空间管道异常检测方法可以包括如下步骤：步骤1：准备训练所需的地下空间管道A、B两个样本集；A样本集为正常的图像，B样本集为有异常的管道图像。图像类型应该具有多样性，且两种样本数据量应该一样。步骤2：对样本集进行预处理，修改为统一尺寸200*200，生成训练样本数据。步骤3：设计三维卷积核的神经网络结构，进行训练，获取权重矩阵W,以便用于接下来的检测。步骤4：针对视频数据，对于缺陷目标帧进行粗选，接着每隔15ms进行采样。步骤5：将每一个采样的视频帧划分批次batch输入到三维卷积中进行训练，为了避免出现过拟合，对训练数据进行数据增强，方法包括改变图像色彩、水平翻转，加噪声，在送入进行训练之前对图像进行标准化处理，并判断是否有异常存在。步骤6：根据步骤5中获取的每一帧的结果，总结出视频中是否含有缺陷。根据步骤5中的识别结果，对是否有异常进行判别，如果图像集中超过70％的图像为有异常的图像，则总共的结果为有异常。本文档来自技高网...

【技术保护点】
1.一种基于3D卷积神经网络的地下空间管道异常检测方法，包括以下部分：步骤1：从大量的管道机器人拍摄的视频中抽取视频帧，分为A、B两个样本集；步骤2：对样本集进行预处理，统一改为尺寸为200*200，建立训练数据集，将图片划分为训练集、验证集和测试集；步骤3：设计三维卷积核(3D CNN)的网络结构，进行训练，得到权重矩阵；步骤4：针对现有的视频数据，对缺陷目标首先进行粗略选择，然后每间隔15ms进行采样；步骤5：将每一个采样的视频帧划分批次batch输入到三维卷积中进行训练，为了避免出现过拟合，对训练数据进行数据增强，方法包括改变图像色彩、水平翻转，加噪声，在送入进行训练之前对图像进行标准化处理，并判断是否有异常存在；步骤6：根据步骤5中的结果，综合判断是否有异常存在。

【技术特征摘要】
1.一种基于3D卷积神经网络的地下空间管道异常检测方法，包括以下部分：步骤1：从大量的管道机器人拍摄的视频中抽取视频帧，分为A、B两个样本集；步骤2：对样本集进行预处理，统一改为尺寸为200*200，建立训练数据集，将图片划分为训练集、验证集和测试集；步骤3：设计三维卷积核(3DCNN)的网络结构，进行训练，得到权重矩阵；步骤4：针对现有的视频数据，对缺陷目标首先进行粗略选择，然后每间隔15ms进行采样；步骤5：将每一个采样的视频帧划分批次batch输入到三维卷积中进行训练，为了避免出现过拟合，对训练数据进行数据增强，方法包括改变图像色彩、水平翻转，加噪声，在送入进行训练之前对图像进行标准化处理，并判断是否有异常存在；步骤6：根据步骤5中的结果，综合判断是否有异常存在。2.根据权利要求1所述的一种基于计算机视觉的地下空间管道异常检测方法，其特征在于：所述的步骤1中A样本为正常的管道图像，B样本集为有异常的管道图像。3.根据权利要求1所述的一种基于计算机视觉的地下空间管道异常检测方法，其特征在于：所述的步骤2中具体为：对步骤1中采集到的图像，统一修改尺寸为200*200；并按照RGB三个颜色通道进行统计；对数据进行数据...

【专利技术属性】
技术研发人员：庞善臣，孟璠，韩宁生，姚加敏，董立媛，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37