一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法技术

本发明专利技术涉及一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，输入图像首先经过Faster R‑CNN深度学习目标检测网络，检测出图像中的防震锤区域，得到防震锤区域坐标后，计算出相邻防震锤之间的x轴间距，通过距离约束判定防震锤滑移故障。本发明专利技术能够帮助巡线工作人员完成初步的巡线图像数据诊断，减轻其工作强度并提升电力巡线的智能化水平。

【技术实现步骤摘要】
一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
本专利技术涉及高压输电线路巡线技术，特别是一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法。
技术介绍
微风震动是导致高压输电线路疲劳，继而导致线路断股的主要原因，严重威胁到输电线路的安全可靠运行。防震锤是输电线路中重要的防震金具之一，具有减少架空输电线路震动损伤的功能。由于输电线路跨越不同的复杂地形，防震锤长期暴露在各种自然环境条件下，极易发生滑移、锈蚀、缺失等故障，导致防震锤的防震功能失效。因此，对于防震锤的故障检测是输电线路运检维护的必要程序之一。传统的人工巡线方式难以观测到复杂地形下处于高空中的防震锤，工作人员需要登上高出进行观察，这种巡线方式存在高风险、高成本、低效率等问题。近年来，无人机因其体积小、灵活、成本低等优势逐渐成为电力巡线的主要工具之一，有效提升了巡线效率，提高工作人员的人身安全保障。巡线人员可以操控无人机，飞至防震锤处进行拍摄，由地面上的专业人员进行现场分析，同时将数据带回运检维护中心储存备份或进行进一步的诊断。但无人机巡线产生了大量的巡线图像数据，极大增加了巡线人员的工作压力，现亟需一种可以自动检测并诊断防震锤故障的方法。输电线路覆盖广泛，沿途地貌复杂多样，在航拍图像中防震锤与背景的区分度低且检测过程易受到其他电力部件的干扰，同时无人机拍摄时的拍摄角度与环境条件具有较大的随机性，现有算法无法满足防震锤检测与故障诊断的快速性、准确性需求。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，利用基于深度学习的目标检测技术快速而准确地识别出复杂背景中的防震锤，得到每个防震锤的位置坐标后，通过距离约束判定滑移故障，帮助巡线工作人员完成初步的巡线图像数据诊断，减轻其工作强度并提升电力巡线的智能化水平。本专利技术采用以下方案实现：一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，具体包括以下步骤：步骤S1：建立防震锤检测图像库；步骤S2：采用数据增强技术扩充步骤S1中的防震锤检测图像库；步骤S3：建立与所述防震锤检测图像库对应的图像标签库：对所述防震锤检测图像库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件；步骤S4：建立深度学习模型：采用深度学习目标检测网络FasterR-CNN作为建立的深度学习模型；步骤S5：生成数据集：将所有参与训练的图像以及与其对应的标签文件合成一个用于训练的、能够进行高效读取的文件；步骤S6：训练防震锤检测模型：利用步骤S3的深度学习模型通过反向传播算法在防震锤检测图像库上进行训练，得到防震锤检测模型；其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S7：固化模型用于快速检测：将步骤S5得到的防震锤检测模型中所含的训练变量剔除，只保留包括前向传播的神经元权重与偏置在内的常量，缩小防震锤检测模型的体积；步骤S8：将待检测的图片或者视频输入到固化后的防震锤检测模型中，用矩形边界框在原图像或者视频中，标注出检测到的防震锤区域，以及它们的置信度得分；步骤S9：利用步骤S8检测出的防震锤区域位置的坐标，计算出相邻防震锤之间的x轴间距，通过距离约束判断防震锤是否发生滑移故障。进一步地，步骤S1中的所述防震锤检测图像库的图像为完整航拍图像且归一化到1024*1024像素尺寸。较佳的，步骤S2具体为将图像库中的一张原图通过扭曲、旋转、镜像、裁剪、拉伸等数据增强操作，变换为一张新的图像。所有的操作以一定概率施加在原图上，即一张图片可能同时被施加多种数据增强操作。进一步地，步骤S3中所述标签文件包括图片的以下信息：图片ID号、图片的像素高度与宽度与深度、图片的路径、图片所包含的目标种类、防震锤目标所在区域的矩形边界框的坐标(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为边界框的左上顶点坐标，(xmax,ymax)为边界框的右下顶点坐标。进一步地，步骤S4中，所述深度学习目标检测网络FasterR-CNN具体分为基础网络、区域提议网络和FastR-CNN检测网络；其中基础网络选用卷积神经网络ResNet，基础网络对输入进行高纬度深层的特征提取；区域提议网络在基础网络所生成的特征图上继续使用3*3卷积生成尺寸与深度皆一致的特征图，然后通过并行的两个1*1卷积操作计算是否含有目标的置信度和相应提议区域位置坐标，生成提议区域；FastR-CNN检测网络根据区域提议网络所生成的提议区域，在每个提议区域上进行感兴趣区域池化操作，然后通过并行的两组全连接层计算目标种类的置信度和目标位置坐标。进一步地，所述步骤S5具体为：将防震锤检测图像库中所有xml标签文件合成一个csv格式的表格文件，将此csv文件按行编号以一个自定义的比例随机拆分成训练集csv文件与测试集csv文件；根据csv文件中的图片标签信息，将所有图片与对应标签合成一个可以用于高效读写的tfrecord格式文件，最终得到防震锤检测训练集的tfrecord文件和防震锤检测测试集的tfrecord文件。与现有技术相比，本专利技术有以下有益效果：本专利技术利用深度学习目标检测网络FasterR-CNN和距离约束有效提升了不同场景中的防震锤滑移故障诊断的准确率与检测速度，无需人工设计繁琐的防震锤图像特征提取器，而是将特征提取的任务交给深度卷积神经网络，提取出更加全面、更能描述检测目标的深度特征信息，再将其输入区域提议网络和FastR-CNN检测网络中进行预测推理，得到检测结果。最终，利用防震锤之间的空间关系，提出距离约束来判断滑移故障。其中，深度学习目标检测网络的检测结果不仅可以用在滑移故障诊断，还可以进行更多的状态诊断，如防震锤锈蚀、破损、污秽等。附图说明图1为本专利技术实施例的方法原理示意图。图2为本专利技术实施例的FasterR-CNN网络结构图。图3为本专利技术实施例的标签文件样例。图4为本专利技术实施例的测试结果的部分样例。图5为本专利技术实施例的部分诊断过程。图6为本专利技术实施例的模型测试的准确率-召回率曲线图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。如图1所示，本实施例提供了一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，输入图像首先经过FasterR-CNN深度学习目标检测网络，检测出图像中的防震锤区域，得到防震锤区域坐标后，计算出相邻防震锤之间的x轴间距，通过距离约束判定防震锤滑移故障。具体包括以下步骤：步骤S1：建立防震锤检测图像库。将所收集的包含多种场景下的防震锤的巡线图像归一化到1024*1024像素尺寸，不进行其他图像处理操作，加入防震锤检测图像库。步骤S2：数据增强。利用数据增强技术扩充数据集，具体做法是将数据库中的一张原图通过扭曲、旋转、镜像、裁剪、拉伸等数据增强操作，变换为一张新的图像。所有的操作以0.3的概率施加在原图上，即一张图片可能同时被施加多种数据增强操作。对生成的数据进行筛选，去除不合格的数据，如目标缺失、目标严重失真和背景严重失真。步骤S3：建立与防震锤检测图像库对应的图像标签库。图库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件,标签文件中包含了图片的以下信息：图片ID号，图片的像素本文档来自技高网...

【技术保护点】
1.一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于包括以下步骤：步骤S1：建立防震锤检测图像库；步骤S2：采用数据增强技术扩充步骤S1中的防震锤检测图像库；步骤S3：建立与所述防震锤检测图像库对应的图像标签库：对所述防震锤检测图像库中的每幅图片建立相应的符合标准PASCAL VOC格式的xml标签文件；步骤S4：建立深度学习模型：采用深度学习目标检测网络Faster R‑CNN作为建立的深度学习模型；步骤S5：生成数据集：将所有参与训练的图像以及与其对应的标签文件合成一个用于训练的、能够进行高效读取的文件；步骤S6：训练防震锤检测模型：利用步骤S3的深度学习模型通过反向传播算法在防震锤检测图像库上进行训练，得到防震锤检测模型；其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S7：固化模型用于快速检测：将步骤S5得到的防震锤检测模型中所含的训练变量剔除，只保留包括前向传播的神经元权重与偏置在内的常量，缩小防震锤检测模型的体积；步骤S8：将待检测的图片或者视频输入到固化后的防震锤检测模型中，用矩形边界框在原图像或者视频中，标注出检测到的防震锤区域，以及它们的置信度得分；步骤S9：利用步骤S8检测出的防震锤区域位置的坐标，计算出相邻防震锤之间的x轴间距，通过距离约束判断防震锤是否发生滑移故障。...

【技术特征摘要】
1.一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于包括以下步骤：步骤S1：建立防震锤检测图像库；步骤S2：采用数据增强技术扩充步骤S1中的防震锤检测图像库；步骤S3：建立与所述防震锤检测图像库对应的图像标签库：对所述防震锤检测图像库中的每幅图片建立相应的符合标准PASCALVOC格式的xml标签文件；步骤S4：建立深度学习模型：采用深度学习目标检测网络FasterR-CNN作为建立的深度学习模型；步骤S5：生成数据集：将所有参与训练的图像以及与其对应的标签文件合成一个用于训练的、能够进行高效读取的文件；步骤S6：训练防震锤检测模型：利用步骤S3的深度学习模型通过反向传播算法在防震锤检测图像库上进行训练，得到防震锤检测模型；其中，训练所用的初始化模型为在COCO数据集上训练所得的模型；步骤S7：固化模型用于快速检测：将步骤S5得到的防震锤检测模型中所含的训练变量剔除，只保留包括前向传播的神经元权重与偏置在内的常量，缩小防震锤检测模型的体积；步骤S8：将待检测的图片或者视频输入到固化后的防震锤检测模型中，用矩形边界框在原图像或者视频中，标注出检测到的防震锤区域，以及它们的置信度得分；步骤S9：利用步骤S8检测出的防震锤区域位置的坐标，计算出相邻防震锤之间的x轴间距，通过距离约束判断防震锤是否发生滑移故障。2.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法，其特征在于：步骤S1中的所述防震锤检测图像库的图像为完整航拍图像且归一化到1024*1024像素尺寸。3.根据权利要求1所述的一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方...

【专利技术属性】
技术研发人员：缪希仁，刘欣宇，江灏，陈静，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35