一种基于深度学习的无人机电力巡线方法技术

本发明专利技术公开了一种基于深度学习的无人机电力巡线方法。无人机沿电力巡线并实时采集图像，预处理构建数据集；选取深度学习网络装载初始的模型参数训练获得电力线分割网络模型；待分割的无人机实时图像预处理后输入电力线分割网络模型中，得到电力线的像素级分割区域；对电力线的像素级分割区域进行矩形范围提取拟合出电力线的位置与方向的偏差并计算偏差率；通过模糊控制器对电力线的位置与方向处理得到位置与方向的控制数据，以实现无人机巡线。本发明专利技术整个方法过程简单可靠，基于深度学习实现各种环境下无人机电力巡线。习实现各种环境下无人机电力巡线。习实现各种环境下无人机电力巡线。

【技术实现步骤摘要】
一种基于深度学习的无人机电力巡线方法


[0001]本专利技术涉及电力巡线、图像处理领域的一种无人机电力巡线方法，特别涉及基于深度学习的电力巡线方法。

技术介绍

[0002]近年来，由于国家不断加大电网规划、建设与改造力度，电网发展水平显著提升，电力线路增长迅速。电力线分布具有设备数量多、分布范围广和网架结构复杂的特点，而传统人工的电力巡检方式受到地理环境、天气状况、巡检人员专业素质的影响，存在着工作人员安全无保障、巡检效率低、巡检质量低和工作量大等问题。因此，以人工为主的电网运行维护模式已无法应对现阶段社会高速发展对电能的需求和长距离的安全运行维护需求。
[0003]随着无人机技术的发展与成熟，将无人机应用于电力巡线，可以获取实时、清晰的无人机图像数据，与传统的人工巡检方式相比，提高了电力巡线效率。不用浪费大量的人力与时间在巡线中，同时，可避免复杂、危险地形环境电力巡线存在的工作人员人身安全问题。电力巡线过程中采集的无人机图像数据也可用于电力线后续的检测维护。
[0004]但采用无人机电力巡线还是存在着下述的问题：
[0005]对无人机电力巡线的控制方式是人工操作为主，这种方式需要操作人员在电力巡线过程中对无人机实时操作，导致需要人力的投入，造成人力浪费，不能有效的解决人力浪费的问题。较为推广的自动电力巡线方式是激光雷达建图导航，这种方式灵活性差，只能对已采集建图的电力线进行规划导航，对不在地图中的电力线无法进行导航，同时需要人工预先现场采集激光点云数据。采用上述方法很难有效减少人力在电力巡线中的投入，并且对于人工难以到达的复杂、危险地形环境难以进行无人机自动电力巡线，无法完全解决复杂、危险地形环境电力巡线存在的工作人员人身安全问题。

技术实现思路

[0006]本专利技术主要解决的技术问题是，通过深度学习实现电力线的像素级分割，再通过图像处理技术提取电力线区域的方向并拟合出电力线位置方向，最后通过模糊控制器确定控制信号以实现无人机巡线。本专利技术整个方法过程简单可靠，基于深度学习实现各种环境下无人机电力巡线。
[0007]为了解决上述技术问题，如图1所示，本专利技术包括如下步骤：
[0008]1)无人机沿电力巡线并实时采集图像，针对采集的图像进行预处理，进而构建数据集；
[0009]2)针对分割对象与应用场景的特点，选取深度学习网络，对深度学习网络装载初始的网络参数进行训练，训练完毕后获得电力线分割网络模型；
[0010]3)将待分割的无人机实时图像预处理后输入已训练的电力线分割网络模型中，得到电力线的像素级分割区域，即每个像素是否为电力线的分割结果；
[0011]4)通过图像处理对电力线的像素级分割区域进行矩形范围提取，并拟合出电力线
的位置与方向的偏差，计算位置与方向的偏差率；
[0012]5)通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，以实现无人机巡线。将位置与方向的控制数据实时发送到沿电力巡线的无人机上进而控制无人机更好地沿电力巡线地飞行。
[0013]在步骤1)中，通过无人机采集不同背景下的电力线图像，对电力线图像进行滤波、灰度化和图像增强的预处理操作，从而构建原始数据集，电力线图像中已经标注电力线位置范围和类别，对电力线图像进行数据增强以扩充原始数据集。
[0014]所述的数据增强具体采用超像素法和添加随机频域噪声。
[0015]所述的不同背景是指电力线经过的不同背景，例如树、人行道等
[0016]具体实施中，事先可将其中影响深度学习网络训练及测试的异常的电力线图像剔除，包括电力塔杆倒塌、光照极端以及拍摄不到电力线这些异常的原始数据。
[0017]在步骤2)中，深度学习网络主要由主干网络和头部网络依次连接构成；
[0018]如图2所示，所述的主干网络主要有七个基础网络子模块构成，每个基础网络子模块均是由一个残差网络模块(a)和一个深度可分离卷积网络模块(b)连接构成，残差网络模块主要由第一卷积层、第一深度可分离卷积层、第二卷积层、相加层构成，第一卷积层、第一深度可分离卷积层、第二卷积层依次连接，第一卷积层的输入作为残差网络模块的输入，第二卷积层的输出和残差网络模块的输入同时输入到相加层中进行像素相加处理后输出作为残差网络模块的输出；深度可分离卷积网络模块主要由第三卷积层、第二深度可分离卷积层和第四卷积层依次连接构成，第三卷积层的输入为深度可分离卷积网络模块的输入，第四卷积层的输出为深度可分离卷积网络模块的输出；
[0019]如图3所示，所述的头部网络主要包括空洞空间卷积池化金字塔模块和第五卷积层、头部连接层、第六卷积层、头部上采样层构成；空洞空间卷积池化金字塔模块包括四个卷积层和一个池化层、金字塔连接层、融合卷积层和金字塔上采样层，四个卷积层和一个池化层并列设置，头部网络的输入分别输入到四个卷积层和一个池化层中，四个卷积层和一个池化层各自的输出金字塔连接层拼接后获得多尺度编码特征，多尺度编码特征输入到融合卷积层，融合卷积层的输出连接到金字塔上采样层的输入，同时头部网络的输入经第五卷积层后和金字塔上采样层的输出一起输入到头部连接层进行拼接，头部连接层的输出再经第六卷积层和头部上采样层连接，头部上采样层的输出作为头部网络的输出。
[0020]本专利技术利用轻量级基础网络的标准卷积和深度可分离卷积形成基础网络子模块作为主干网络；头部网络利用空洞空间卷积池化金字塔模块提取5个尺度的特征图拼接多尺度特征融合得到编码特征，多尺度编码特征上采样利用通道与特征融合合并成一个全新的特征作为头部网络的输出。
[0021]具体实施中，将数据集分为训练集和测试集，将训练集输入到深度学习网络。
[0022]2‑
3)将数据集输入上述选取的网络中，基于分类损失函数以反向传播更新网络权重对网络完成训练，形成电力线分割网络模型。
[0023]所述的主干网络为MobileNet，头部网络为Deeplab v3+，分类损失函数为二元交叉熵损失函数。
[0024]在步骤3)中，使用滤波对待分割的无人机实时图像进行滤波从而消除噪声，再通过灰度化算法得到灰度图像，将灰度图像输入至电力线分割网络模型中通过前向传播得到
电力线的像素级分割区域。
[0025]在步骤4)中，通过边界扩展将图像上下边界向外扩展固定的范围，再通过图像形态学中的闭操作处理以消除检测图像中小的空洞并填补断裂，检测图像中的属于电力线分割区域的各个连通域的最小外接矩形，通过最小外接矩形检测出所有电力线分割区域的大小，选取最小外接矩形面积最大的电力线分割区域，将剩余的电力线分割区域去除，再通过对该电力线分割区域求最小外接矩形的最长中心线得到电力线的位置和方向；
[0026]进而根据拟合出的电力线中心点到图像竖直中线的水平方向距离得到电力线的位置偏差，根据拟合出的电力线与图像竖直方向之间的角度得到电力线的方向偏差，将t时刻的位置偏差x
t
和上一次位置偏差x
t
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无人机电力巡线方法，其特征在于，包括如下步骤：1)无人机沿电力巡线并实时采集图像，针对采集的图像进行预处理，进而构建数据集；2)选取深度学习网络，对深度学习网络装载初始的网络参数进行训练，训练完毕后获得电力线分割网络模型；3)将待分割的无人机实时图像预处理后输入已训练的电力线分割网络模型中，得到电力线的像素级分割区域；4)通过图像处理对电力线的像素级分割区域进行矩形范围提取，并拟合出电力线的位置与方向的偏差，计算位置与方向的偏差率；5)通过模糊控制器对电力线的位置与方向分别计算得到位置与方向的控制数据，以实现无人机巡线。2.根据权利要求1所述的一种基于深度学习的无人机电力巡线方法，其特征在于：在步骤1)中，通过无人机采集不同背景下的电力线图像，对电力线图像进行滤波、灰度化和图像增强的预处理操作，从而构建原始数据集，电力线图像中已经标注电力线位置范围和类别，对电力线图像进行数据增强以扩充原始数据集。3.根据权利要求1所述的一种基于深度学习的无人机电力巡线方法，其特征在于：在步骤2)中，深度学习网络主要由主干网络和头部网络依次连接构成；所述的主干网络主要有七个基础网络子模块构成，每个基础网络子模块均是由一个残差网络模块(a)和一个深度可分离卷积网络模块(b)连接构成，残差网络模块主要由第一卷积层、第一深度可分离卷积层、第二卷积层、相加层构成，第一卷积层、第一深度可分离卷积层、第二卷积层依次连接，第一卷积层的输入作为残差网络模块的输入，第二卷积层的输出和残差网络模块的输入同时输入到相加层中进行像素相加处理后输出作为残差网络模块的输出；深度可分离卷积网络模块主要由第三卷积层、第二深度可分离卷积层和第四卷积层依次连接构成，第三卷积层的输入为深度可分离卷积网络模块的输入，第四卷积层的输出为深度可分离卷积网络模块的输出；所述的头部网络主要包括空洞空间卷积池化金字塔模块和第五卷积层、头部连接层、第六卷积层、头部上采样层构成；空洞空间卷积池化金字塔模块包括四个卷积层和一个池化层、金字塔连接层、融合卷积层和金字塔上采样层，头部网络的输入分别输入到四个卷积层和一个池化层中，四个卷积层和一个池化层各自的输出金字塔连接层拼接后获得多尺度编码特征，多尺度编码特征输入到融合卷积层，融合卷积层的输出连接到金字塔上采样层的输入，同时头部网络的输入经第五卷积层后和金字塔上采样层的输出一起输入到头部连接层进行拼接，头部连接层的输出再经第六卷积层和头部上采样层连接，头部上采样层的输出作为头部网络的输出。2
...

【专利技术属性】
技术研发人员：陈许若彦，郑恩辉，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：