一种基于深度卷积神经网络的无人机影像管线提取方法技术

一种基于深度卷积神经网络的无人机影像管线提取方法，首先构建无人机影像管线样本库，在对无人机样本影像进行预处理的基础上，采用端到端结构的深度卷积神经网络训练管线提取模型；然后，采用该管线提取模型预测日常巡检获取的无人机影像，由此获得管线预测结果图；接着，对管线预测结果进行去噪处理，将由此得到的管线像素点作为种子点，进行区域生长；最后，对区域生长结果图进行后处理，获得最终的管线提取结果图。本发明专利技术结合卷积神经网络与区域生长算法，能够克服深度网络模型预测管线结果不连续、边界粗糙等问题，还可以实现管线的自动提取，提高了无人机日常巡检效率。提高了无人机日常巡检效率。提高了无人机日常巡检效率。

【技术实现步骤摘要】
一种基于深度卷积神经网络的无人机影像管线提取方法


[0001]本专利技术属于无人机影像处理
，主要涉及无人机影像信息提取技术，具体涉及一种基于深度卷积神经网络的无人机影像管线提取方法。

技术介绍

[0002]近年来，随着无人机软硬件的快速发展，无人机技术已在诸多行业应用中崭露头角。例如，无人机巡检已被用于输电线路、城市高压燃气管道、原油集输管线等日常巡检。与人工巡检相比，无人机巡检效率高，能及时发现管线漏点等异常，并能做到巡检范围全覆盖，实用价值较高。但是，当前无人机管线巡检过程中，无人机影像的管线识别仍依赖于人工目视解译，从而造成了巡检自动化程度不高、异常预警不及时等问题。
[0003]管线在无人机影像上表现出明显的线性特征；同时，由于无人机影像的超高空间分辨率，管线内部光谱波动清晰可见。根据这些特征，管线提取可采用图像处理与目标识别相关方法。传统的管线提取方法可采用人机交互的方式，例如区域生长法；这类方法可以获取的管线精度高，但是需要操作人员不断选取种子点，无法满足管线巡检的高时效性及自动化需求。另一类管线识别方法可采用面向对象的影像分类方法，通过影像分割、对象特征构建、分类器训练及管线预测等步骤实现。这类方法需通过人工构建影像对象的特征，分类器泛化能力不足，从而导致不同季节、不同时间段巡检获取的无人机影像管道识别精度低等问题。
[0004]随着深度学习的兴起，图像特征逐步由人工构建转向计算机自动提取。目前，深度卷积神经网络在影像目标识别领域应用广泛，其自动层级特征表达在计算机视觉任务中的表现令人印象深刻。从模型的输入输出角度来分，深度卷积神经网络包括基于块(Patch
‑
based)和基于像素(Pixel
‑
based)两类。基于块的深度卷积神经网络输入一个图像块，输出图像块中心点的类型。因此，采用基于块的深度卷积神经网络进行目标识别时，通常需要与滑窗等方法结合使用。基于像素的深度卷积神经网络可直接获得输入图像中每个像素的类别，这类端到端的网络主要包括基于全卷积神经网络或“编码——解码”的网络结构，例如，U
‑
Net、SegNet、PSPNet、Deeplab等。和传统的目标识别方法相比，这些网络模型在识别精度方面得到了明显提升。但是，当前深度网络的目标识别精度与实际应用还存在一定差距，其漏分率和错分率仍给无人机管线巡检的自动化造成了极大的障碍。

技术实现思路

[0005]本专利技术主要针对传统管线提取方法人工依赖性强、效率低下，同时，基于深度卷积神经网络的识别方法精度无法满足实用需求的问题，提出一种基于深度卷积神经网络的无人机影像管线提取方法。
[0006]本专利技术采用深度卷积神经网络模型自动在无人机影像上采集类型为管线的像素点，把去噪后的管线像素点作为区域生长算法的种子点；然后通过搜索种子点邻域，把光谱特征类似的像素类型归为管线；从而完成无人机影像管线的自动高精度提取。
[0007]本专利技术的技术方案是一种基于深度卷积神经网络的无人机影像管线提取方法，包含以下步骤：
[0008]步骤1、构建管线样本库：根据管线巡检范围，分别在一年中的1月、5月、8月和11月获取覆盖整个监测区域的无人机影像；采用人工目视解译的方法标注无人机影像上对应的管线区域，由此构建无人机影像管线样本库；按照3:1的比例将样本库分为训练集和验证集；
[0009]步骤2、无人机影像预处理：采用翻转、旋转、平移、缩放操作对步骤1中所述无人机影像进行数据预处理；
[0010]步骤3、训练管线提取模型：选用端到端结构的深度卷积神经网络提取管线，把经过步骤2处理后所得的无人机影像及对应标签图用于上述所选的深度卷积神经网络模型的训练，由此得到管线提取模型；
[0011]步骤4、自动选取管线种子点，包括以下过程：
[0012](41)选取日常管线巡检时获取的无人机影像I；
[0013](42)把步骤(41)中所述无人机影像I输入由步骤3训练所得的管线提取模型，从而获取影像I中管线的预测位置，将被预测为管线的像素点集合P＝{p
i
|i＝1,2,...,n}作为初始种子点；
[0014](43)对步骤(42)中得到的管线初始种子点P＝{p
i
|i＝1,2,...,n}进行去噪处理，流程如下：
[0015](43a)把无人机影像I转化为灰度图并进行二值化处理，其中，阈值设为τ，把大于阈值τ的像素点B＝{b
i
|i＝1,2,...,m}赋为255，其余赋为0；
[0016](43b)如果步骤(43a)中所述像素点集合B中的像素b
i
∈P，那么像素b
i
的值保持不变，即仍为255，否则，把像素b
i
对应的值赋为0，从而生成二值图I
b
；
[0017](43c)采用3*3大小的结构元，对由步骤(43b)生成的二值图I
b
进行腐蚀处理，获得最终的种子点集合。
[0018]步骤5、将由步骤4自动选取的管线像素点作为无人机影像I上的种子点进行区域生长，包括以下过程：
[0019](51)在无人机影像I上搜索种子点的八邻域，当邻域像素点满足以下判断规则：
[0020][0021]其中，C
r
，C
g
，C
b
为当前种子点红、绿、蓝三波段的值，D
r
，D
g
，D
b
表示种子点邻域像素点的红、绿、蓝三波段的值，σ表示阈值，则把这个邻域像素点视为管线，并将其记为种子点；
[0022](52)重复步骤(51)，直到没有满足条件的点被生长为止，则关于管线提取的区域生长停止。
[0023]优选地，在所述步骤5之后还包括：步骤6、采用3*3大小的结构元，对由步骤5生成的管线区域生长结果图进行膨胀处理，获得无人机影像管线提取结果图。
[0024]本专利技术的优点是：
[0025]1)本专利技术针对管线日常巡检获取的无人机影像，结合卷积神经网络与区域生长算法，可以实现管线的自动提取，提高了巡检效率；
[0026]2)本专利技术通过精选的卷积神经网络管线预测像素点，实现管线的区域增长，能够克服深度网络模型预测管线结果不连续、边界粗糙等问题，提高了无人机影像管线提取的精度。
附图说明
[0027]图1是一种基于深度卷积神经网络的无人机影像管线提取方法的流程图。
[0028]图2(a)、图2(c)、图2(e)是本专利技术实施例中从无人机影像样本库选取的三幅原始影像图，图2(b)、图2(d)、图2(f)分别是图2(a)、图2(c)、图2(e)对应的管线标签图，其中白色表示管线，黑色表示背景。
[0029]图3是本专利技术实施例中无人机日常巡检中拍摄的影像。
[0030]图4是本专利技术实施例中U
‑
Net模型预测图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度卷积神经网络的无人机影像管线提取方法，其特征在于，包含以下步骤：步骤1、构建管线样本库：根据管线巡检范围，分别在一年中的1月、5月、8月和11月获取覆盖整个监测区域的无人机影像；采用人工目视解译的方法标注无人机影像上对应的管线区域，由此构建无人机影像管线样本库；按照3:1的比例将样本库分为训练集和验证集；步骤2、无人机影像预处理：采用翻转、旋转、平移、缩放操作对步骤1中所述无人机影像进行数据预处理；步骤3、训练管线提取模型：选用端到端结构的深度卷积神经网络提取管线，把经过步骤2处理后所得的无人机影像及对应标签图用于上述所选的深度卷积神经网络模型的训练，由此得到管线提取模型；步骤4、自动选取管线种子点，包括以下过程：(41)选取日常管线巡检时获取的无人机影像I；(42)把步骤(41)中所述无人机影像I输入由步骤3训练所得的管线提取模型，从而获取影像I中管线的预测位置，将被预测为管线的像素点集合P＝{p
i
|i＝1,2,...,n}作为初始种子点；(43)对步骤(42)中得到的管线初始种子点P＝{p
i
|i＝1,2,...,n}进行去噪处理，流程如下：(43a)把无人机影像I转化为灰度图并进行二值化处理，其中，阈值设为τ，把大于阈值τ的像素点B＝{b
i
|i＝1,2,...,m}赋为255...

【专利技术属性】
技术研发人员：杨海平，徐美霞，顾国民，吴炜，
申请(专利权)人：杭州蓝祺信息技术有限公司，
类型：发明
国别省市：