一种基于航拍图像的检测输电线路中绝缘子缺失的方法技术

本发明专利技术涉及一种基于航拍图像的检测输电线路中绝缘子缺失的方法，包括：①构建数据库；②训练检测模型：采用快速检测网络faster‑RCNN，包括检测网络fast‑RCNN和区域生成网络RPN；③交叉训练微调网络构建检测模型：采用交叉训练的方法，重新训练网络，并将检测网络fast‑RCNN和区域生成网络RPN组合为一个端到端的卷积神经网络，从而构成缺失绝缘子检测模型；④用检测模型对要测试的图片进行检测，得到绝缘子目标的候选框，调整候选框的阈值，对候选框进行非极大值抑制，得到最终的候选框。

Method for detecting insulator deletion in transmission line based on aerial image

The invention relates to a method for detection of transmission line insulator, lack of aerial images based on the construction of database include: training; detection model: the rapid detection of faster network RCNN, including fast RCNN and network detection area generation network RPN; the detection model of cross training fine network construction: using the method of cross training. To train the network, and the network of fast RCNN and detection area generation network RPN combination for an end to the convolutional neural network terminal, which constitute the missing insulator detection model; the detection model to test the image target detection, get insulator candidate box, adjust the candidate frame threshold, non maximum the value of inhibition of the candidate frame, get the final candidate box.

【技术实现步骤摘要】
一种基于航拍图像的检测输电线路中绝缘子缺失的方法
本专利技术属于遥感影像
，涉及一种检测巡检航拍图像中绝缘子缺失的方法。
技术介绍
保障输电线路的可靠性和稳定性是智能电网建设的一项十分重要的内容。而绝缘子在其中有很大的作用，它是一种特殊的绝缘控件，能够在架空输电线路中起到重要作用，包括支撑线路、电气绝缘等等；但是同时它也会经常出故障，污秽、裂纹、破损等故障对输电线路的安全运行造成了极大的威胁。据统计，由绝缘子故障引起的事故目前已成为电力系统故障中所占比例最高的事故。因此，监测和检查绝缘子的状况，及时完成故障诊断就显得尤为重要。中国幅员辽阔，地形复杂，气候类型多样。有许多输电线路建在重山峻岭、江河湖海等无人区，再加上复杂的环境、地理和气候条件，这对传统的人工巡检有着非常不利的影响，使得工作人员有的时候未能及时发现问题，使得后续的问题解决遇到了很大的困难，一旦出现短路或是其他问题使得大面积停电的情况出现，造成国家财产的损失和人民日常生活的不便。直升机巡线输电线路具有高效、可靠、便捷、不受地域影响等优点，技术含量高。在许多发达国家直升机巡线输电线路已逐步取代传统地面人工巡线。有效地降低了工作人员的工作强度，提高了巡检质量、效率和效益。之后通过对图像进行分析，可以判断出问题区域，使得工作人员能够更有针对性地解决问题。[1]王淼，杜毅，张忠瑞.无人机辅助巡视及绝缘子缺陷图像识别研究[J].电子测量与仪器学报，2015,29(12)：1862-1869.[2]刘建友，李宝树，仝卫国.航拍绝缘子图像的提取和识别[J].传感器世界,2010,15(12):22-24.
技术实现思路
本专利技术的目的是提供一种准确性高、速度快的检测输电线路中绝缘子缺失的方法，技术方案如下：一种基于航拍图像的检测输电线路中绝缘子缺失的方法，包括下列步骤：①构建数据库：将巡线拍摄的带有绝缘子的图像收集起来，挑选出其中含有缺失绝缘子的图像并对其进行标注，同时使用图像增强技术，构建符合格式要求，匹配网络结构的数据集；②训练检测模型：采用快速检测网络faster-RCNN，包括检测网络fast-RCNN和区域生成网络RPN，将数据集中的一部分数据作为训练数据输入到卷积神经网络VGG16中进行特征提取得到特征图，通过兴趣区ROI池化层映射出候选区域框，之后再添加2个全连接层对提取到的特征做非线性变换，输出判别是否为缺失绝缘子的置信度和粗选回归框的位置修正参数，最后利用Softmax损失函数和L1-Loss损失函数对分类概率和边框回归联合训练，整体探测框架用选择性搜索的方法生成建议窗口，将其输入到VGG16网络，用边框回归值校正原来的建议窗口，生成预测窗口坐标；③交叉训练微调网络构建检测模型：采用交叉训练的方法，重新训练网络，并将检测网络fast-RCNN和区域生成网络RPN组合为一个端到端的卷积神经网络，从而构成缺失绝缘子检测模型；④用检测模型对要测试的图片进行检测，得到绝缘子目标的候选框，调整候选框的阈值，对候选框进行非极大值抑制，得到最终的候选框。优选地，对原始图像进行图像增强后的图像均用来制作数据集，对原始图像进行图像增强的方法如下：a)加入图像噪声，包括高斯噪声、斑点噪声、泊松噪声和椒盐噪声；b)对图像进行滤波，使其产生模糊的效果，包括均值滤波、高斯滤波、圆形区域滤波、运动模糊和对比度增强滤波；c)对图像做亮度变换，处理后的图片的亮度为原图亮度的50％，75％，125％和150％；d)尺度放缩，包括最近邻域内插，双线性内插和双三次内插；e)调整JPEG质量，将JPEG图像按照JPEG编码规范降低质量，参数包括75％和90％。附图说明图1fast-RCNN示意图图2RPN结构图图3未做图像增强时的检测率图4做了图像增强后的检测率具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术具体实施方式做进一步地描述。1.制作数据集。将巡线拍摄的有绝缘子缺失的图片收集起来，按照一定比例分为训练集、验证集和测试集，图片应做预处理，尺寸大小统一处理为600×400的，之后对图片中绝缘子缺失部分进行标注，得到xml文件，数据集制作完成。2.进行图像增强。考虑到输电线路航拍图像的数据量小的特点，为了提高系统的鲁棒性和识别精度，我们对训练集和测试集的图片进行图像增强。(1)加入图像噪声。对一幅输入图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)。给定g(x,y)、退化函数H和加性噪声项η(x,y)，空间域中退化图像可由下式给出：g(x,y)＝h(x,y)*f(x,y)+η(x,y)在频域上：G(u,v)＝H(u,v)F(u,v)+N(u,v)图像噪声及其参数如下表所示：表1图像噪声及其参数(2)对图像进行滤波，使其产生模糊的效果。滤波方式及参数由下表给出：表2图像滤波方式及其参数(3)对图像做亮度变换。处理后的图片的亮度为原图亮度的50％，75％，125％和150％。(4)尺度放缩。对图像做预处理时有三种方式，分别是最近邻域内插，双线性内插和双三次内插。双线性内插是利用4个最近邻去估计给定位置的灰度。令(x,y)为我们想要赋以灰度值的位置的坐标，并令v(x,y)表示灰度值，则对于双线性内插来说，赋值公式是由下面公式得到的：v(x,y)＝ax+by+cxy+d双三次内插包括16个最近邻点。赋予点(x,y)的灰度值是使用下式得到的：其中，16个系数可由16个用(x,y)点最近邻点写出的未知方程确定。对于一般目的的数字图像处理，较少考虑额外的计算负担是合理的，所以双线性内插和双三次内插是人们选择的典型方法。(5)调整JPEG质量。将JPEG图像按照JPEG编码规范降低质量，参数包括75％和90％。通过利用上述策略对原始图像中的训练图像进行变换，实现对微航拍图像训练数据集的图像增强。增强后的数据量是原始数据量十数倍。3.训练检测模型。这里选用的是Faster-RCNN方法，fasterRCNN由两部分构成，即fast-RCNN和RPN，用RPN代替Faster-RCNN中的SelectiveSearch方法是Faster-RCNN的核心思想。fast-RCNN的结构如图1所示，RPN的结构如图2所示。首先设置初始的训练和测试参数，比如修改要检测的类别及其类别数，验证集的数目，迭代次数以及选择模型等。具体操作时，将图片和xml文件放入指定文件夹，开始训练时，把整张图片输入到卷积神经网络，进行特征提取并生成建议窗口，之后将建议窗口映射到卷积神经网络的最后一层卷积特征图上，通过RoI池化层使每个RoI生成固定尺寸的特征图，之后进行联合训练，使用“交叉优化”的策略，得到一个针对绝缘子的检测模型。具体方法如下：采用快速检测网络faster-RCNN，包括检测网络fast-RCNN和区域生成网络RPN，将数据集中的一部分数据作为训练数据输入到卷积神经网络VGG16中进行特征提取得到特征图，通过兴趣区ROI池化层映射出候选区域框，之后再添加2个全连接层对提取到的特征做非线性变换，输出判别是否为缺失绝缘子的置信度和粗选回归框的位置修正参数，最后利用Softmax损失函数和L1-Loss损失函数对分类概率和边框回归联合训练，整体探测框架用选择性搜索的方法生成建本文档来自技高网...

【技术保护点】
一种基于航拍图像的检测输电线路中绝缘子缺失的方法，包括下列步骤：①构建数据库：将巡线拍摄的带有绝缘子的图像收集起来，挑选出其中含有缺失绝缘子的图像并对其进行标注，同时使用图像增强技术，构建符合格式要求，匹配网络结构的数据集；②训练检测模型：采用快速检测网络faster‑RCNN，包括检测网络fast‑RCNN和区域生成网络RPN，将数据集中的一部分数据作为训练数据输入到卷积神经网络VGG16中进行特征提取得到特征图，通过兴趣区ROI池化层映射出候选区域框，之后再添加2个全连接层对提取到的特征做非线性变换，输出判别是否为缺失绝缘子的置信度和粗选回归框的位置修正参数，最后利用Softmax损失函数和L1‑Loss损失函数对分类概率和边框回归联合训练，整体探测框架用选择性搜索的方法生成建议窗口，将其输入到VGG16网络，用边框回归值校正原来的建议窗口，生成预测窗口坐标；③交叉训练微调网络构建检测模型：采用交叉训练的方法，重新训练网络，并将检测网络fast‑RCNN和区域生成网络RPN组合为一个端到端的卷积神经网络，从而构成缺失绝缘子检测模型；④用检测模型对要测试的图片进行检测，得到绝缘子目标的候选框，调整候选框的阈值，对候选框进行非极大值抑制，得到最终的候选框。...

【技术特征摘要】
1.一种基于航拍图像的检测输电线路中绝缘子缺失的方法，包括下列步骤：①构建数据库：将巡线拍摄的带有绝缘子的图像收集起来，挑选出其中含有缺失绝缘子的图像并对其进行标注，同时使用图像增强技术，构建符合格式要求，匹配网络结构的数据集；②训练检测模型：采用快速检测网络faster-RCNN，包括检测网络fast-RCNN和区域生成网络RPN，将数据集中的一部分数据作为训练数据输入到卷积神经网络VGG16中进行特征提取得到特征图，通过兴趣区ROI池化层映射出候选区域框，之后再添加2个全连接层对提取到的特征做非线性变换，输出判别是否为缺失绝缘子...

【专利技术属性】
技术研发人员：侯春萍，章衡光，杨阳，管岱，郎玥，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12