基于深度学习的航拍图像绝缘子掉片故障快速检测方法技术

本发明专利技术涉及一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法。该方法涉及高压输电线路巡线技术、图像识别技术、机器学习技术领域，包括：建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库；利用数据增强扩充数据库；建立与检测图像库对应的图像标签库，包括绝缘子检测标签库和绝缘子掉片故障标签库；建立深度学习目标检测模型SSD，包括基础网络MobileNet和辅助网络；生成数据集，包括绝缘子检测训练集、绝缘子检测测试集、绝缘子掉片故障检测训练集、绝缘子掉片故障检测测试集；训练模型；固化模型用于快速检测；测试模型，将待检测图片输入模型中得到绝缘子掉片故障检测结果。

【技术实现步骤摘要】
基于深度学习的航拍图像绝缘子掉片故障快速检测方法
本专利技术涉及高压输电线路巡线技术、图像识别技术、机器学习
，具体涉及一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法。
技术介绍
绝缘子是输电线路中数量最多的电力部件，具有电气绝缘和机械连接的功能。由于输电线路跨越不同的复杂地形，绝缘子长期暴露在各种环境条件下，极易发生掉片、闪络、覆冰等故障。绝缘子一旦发生故障将会严重影响到输电线路的安全可靠运行，进一步威胁到电力系统的安全。因此，对于绝缘子的故障检测是输电线路运检维护的必要程序之一。传统的人工巡线方式难以观测到复杂地形下处于高空中的绝缘子，高风险、高成本、低效率是各地区人工巡线中普遍存在的问题。近年来，无人机因其体积小、灵活、成本低等优势逐渐成为电力巡线的主要工具之一。通过飞手操控无人机，飞至绝缘子处进行拍摄，由地面上的专业人员现场分析，同时将数据带回运检维护中心储存备份或进行进一步的诊断。但无人机巡线产生了大量的巡线图像数据，极大增加了巡线人员的工作压力，现亟需一种可以自动检测绝缘子故障的方法。输电线路覆盖广泛，沿途地貌复杂多样，在航拍图像中绝缘子与背景的区分度低且故障区域极为隐蔽，同时无人机拍摄时的拍摄角度与环境条件具有较大的随机性，现有算法无法满足绝缘子故障检测的快速性、准确性需求。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，利用基于深度学习的目标检测技术快速而准确地识别出复杂背景中的绝缘子并定位出掉片故障所在区域，其检测速度足以满足实时视频检测的要求，帮助巡线工作人员完成初步的巡线图像数据诊断，减轻其工作强度并提升电力巡线的智能化水平。为实现上述目的，本专利技术的技术方案是：一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，包括如下步骤：步骤S1、建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库，其中，绝缘子检测图像库包括不同形态的正常绝缘子，图像为完整航拍图像且归一化到1024*1024像素尺寸；绝缘子掉片故障检测图像库中包括掉片故障的绝缘子，图像为原航拍图像裁剪后的绝缘子区域图像且保持裁剪后的像素尺寸；步骤S2、数据增强：利用数据增强技术扩充数据集，即将巡线绝缘子数据库中的一张原图通过包括扭曲、旋转、镜像、裁剪或拉伸的数据增强操作，变换为一张新的图像，所有的数据增强操作以预定概率施加在原图上，即一张图片被施加一种或多种数据增强操作；步骤S3、建立与巡线绝缘子数据库对应的图像标签库：巡线绝缘子数据库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件；绝缘子检测图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；绝缘子掉片故障图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)；步骤S4、建立深度学习模型：采用端到端的深度学习目标检测网络SSD，具体分为基础网络和辅助网络，其中基础网络选用轻量级的CNN网络mobilenet，辅助网络使用3*3卷积核构成6层附加卷积层，生成对应的特征图，辅助网络的输入为所述基础网络的不同卷积层的特征图输出；辅助网络上的每层特征图都生成固定数量的检测器，检测器有两种功能：（1）预测目标边界框的位置；（2）所预测目标种类的得分；步骤S5、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可读取的文件；步骤S6、训练绝缘子检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子检测图像库上进行训练，得到绝缘子检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S7、训练绝缘子掉片故障检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子掉片故障图像库上进行训练，得到绝缘子掉片故障检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置常量，缩小模型体积，方便模型移植，提高检测速度；步骤S9、模型测试：将待检测的图片或者视频输入到固化后的检测模型中，用矩形边界框在原图像或者视频中标注出检测到的绝缘子区域或绝缘子掉片故障区域，以及它们的置信度得分。相较于现有技术，本专利技术具有以下有益效果：本专利技术利用端到端的深度学习目标检测网络SSD有效提升了不同场景中的绝缘子掉片故障检测的准确率与检测速度，无需人工设计繁琐的绝缘子掉片故障的图像特征提取器，而是将特征提取的任务交给深度卷积神经网络，提取出更加全面、更能描述检测目标的深度特征信息，再将其输入辅助网络中进行预测推理，得到检测结果。SSD检测网络可以用在绝缘子检测以及绝缘子故障检测两个阶段，避免了传统方法中既要设计绝缘子检测算法、又要设计故障检测算法的情况。整个检测过程是端到端的快速检测通道，输入图片最终得到目标框，有助于减轻目前巡线人员面对海量巡线数据时的检索压力与强度。同时，本专利技术还利用了数据增强技术，在数据量不足的情况下，扩充有效的数据样本，增加数据库的多样性，提升深度学习检测网络的检测性能。附图说明图1基于深度学习的航拍图像绝缘子掉片故障检测方法系统流程图。图2SSD网络结构图。图3标签文件样例。图4测试结果的部分样例。图5模型测试的准确率-召回率曲线图。具体实施方式为了使本专利技术的目的、技术方案、和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明，整个方法的系统流程图如图1所示，输入图像首先经过SSD深度学习目标检测网络，检测出图像中的绝缘子区域，提取出绝缘子区域后，将此区域输入下一个SSD深度学习目标检测网络，检测出绝缘子区域中的掉片故障区域。1.建立绝缘子检测图像库与绝缘子掉片故障检测图像库。将所收集的包含正常绝缘子的巡线图像归一化到1024*1024像素尺寸，加入绝缘子检测图像库。将所收集的包含掉片故障绝缘子的巡线图像裁剪出绝缘子区域图像，裁剪后的绝缘子区域图像保持原像素大小，不进行归一化，然后加入绝缘子掉片故障检测图像库。2.数据增强。利用数据增强技术扩充数据集，具体做法是将数据库中的一张原图通过扭曲、旋转、镜像、裁剪、拉伸等数据增强操作，变换为一张新的图像。所有的操作以0.2的概率施加在原图上，即一张图片可能同时被施加多种数据增强操作。对生成的数据进行筛选，去除不合格的数据，如目标缺失、目标严重失真。3.建立与绝缘子检测图像库与绝缘子掉片故障检测图像库对应的图像标签库。图库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件,其中绝缘子检测图像库的标签文件中包含了图片的以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子所在区域的矩形边界框的坐标（xmin,ymin,xmax,ymax），其中（xmin,ymin）为本文档来自技高网...

【技术保护点】
1.一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，其特征在于，包括如下步骤：步骤S1、建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库，其中，绝缘子检测图像库包括不同形态的正常绝缘子，图像为完整航拍图像且归一化到1024*1024像素尺寸；绝缘子掉片故障检测图像库中包括掉片故障的绝缘子，图像为原航拍图像裁剪后的绝缘子区域图像且保持裁剪后的像素尺寸；步骤S2、数据增强：利用数据增强技术扩充数据集，即将巡线绝缘子数据库中的一张原图通过包括扭曲、旋转、镜像、裁剪或拉伸的数据增强操作，变换为一张新的图像，所有的数据增强操作以预定概率施加在原图上，即一张图片被施加一种或多种数据增强操作；步骤S3、建立与巡线绝缘子数据库对应的图像标签库：巡线绝缘子数据库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件；绝缘子检测图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；绝缘子掉片故障图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)；步骤S4、建立深度学习模型：采用端到端的深度学习目标检测网络SSD，具体分为基础网络和辅助网络，其中基础网络选用轻量级的CNN网络mobilenet，辅助网络使用3*3卷积核构成6层附加卷积层，生成对应的特征图，辅助网络的输入为所述基础网络的不同卷积层的特征图输出；辅助网络上的每层特征图都生成固定数量的检测器，检测器有两种功能：（1）预测目标边界框的位置；（2）所预测目标种类的得分；步骤S5、数据集生成：将所有参与训练的图像与其对应的标签文件合成一个用于训练的、可读取的文件；步骤S6、训练绝缘子检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子检测图像库上进行训练，得到绝缘子检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S7、训练绝缘子掉片故障检测模型：利用步骤S3的SSD模型通过反向传播算法在绝缘子掉片故障图像库上进行训练，得到绝缘子掉片故障检测模型，其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S8、固化模型用于快速检测：将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置常量，缩小模型体积，方便模型移植，提高检测速度；步骤S9、模型测试：将待检测的图片或者视频输入到固化后的检测模型中，用矩形边界框在原图像或者视频中标注出检测到的绝缘子区域或绝缘子掉片故障区域，以及它们的置信度得分。...

【技术特征摘要】
1.一种基于深度学习的航拍图像绝缘子掉片故障快速检测方法，其特征在于，包括如下步骤：步骤S1、建立巡线绝缘子数据库，包括绝缘子检测图像库和绝缘子掉片故障检测图像库，其中，绝缘子检测图像库包括不同形态的正常绝缘子，图像为完整航拍图像且归一化到1024*1024像素尺寸；绝缘子掉片故障检测图像库中包括掉片故障的绝缘子，图像为原航拍图像裁剪后的绝缘子区域图像且保持裁剪后的像素尺寸；步骤S2、数据增强：利用数据增强技术扩充数据集，即将巡线绝缘子数据库中的一张原图通过包括扭曲、旋转、镜像、裁剪或拉伸的数据增强操作，变换为一张新的图像，所有的数据增强操作以预定概率施加在原图上，即一张图片被施加一种或多种数据增强操作；步骤S3、建立与巡线绝缘子数据库对应的图像标签库：巡线绝缘子数据库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件；绝缘子检测图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标；绝缘子掉片故障图像库的标签文件中包括以下信息：图片ID号，图片的像素高度、宽度与深度，图片的路径，图片所包含的目标种类，绝缘子掉片故障所在区域的矩形边界框的坐标(xm...

【专利技术属性】
技术研发人员：江灏，刘欣宇，缪希仁，陈静，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35