基于无人机双光融合绝缘子缺陷检测方法及系统技术方案

本发明专利技术公开了一种基于无人机双光融合绝缘子缺陷检测方法，包括：获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；对可见光图片进行绝缘子目标检测以确定绝缘子包括位置坐标、长宽以及倾斜角度的标记信息；将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；对可见光图片进行绝缘子缺陷检测；对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；根据预设程序判断所述绝缘子是否存在缺陷。实现绝缘子缺陷快速检测，提高巡检效率。提高巡检效率。提高巡检效率。

【技术实现步骤摘要】
基于无人机双光融合绝缘子缺陷检测方法及系统


[0001]本专利技术属于电力设备检测
，尤其涉及一种基于无人机双光融合绝缘子缺陷检测方法、系统、设备及存储介质。

技术介绍

[0002]现如今人类的生活并不能离开电能，而且随着经济的快速发展人类对电能的需求会越来越广泛，受到地形地貌等的影响，一些电能输送必须依靠架空输电线路，架空输电线路解决了电能远距离输送的问题。电气设备在户外运行一段时间之后，由于长期受到风吹日晒、天气恶劣、环境温度等因素的影响，输电线路部件易出现老化、破损等现象，影响着电网线路的正常运行。因此为保证整个供电系统的稳定运行，就要对输电线路针对性地进行定期检测，对于老化、破损部件要做到及时发现并更换。绝缘子串悬挂于杆塔之上，是用于连接输电线路的连接器件，被大量应用在户外输电线路上，并发挥着非常重要的作用。在线路与杆塔之间，绝缘子不仅作为电气绝缘器件进行绝缘，同时作为输电线路的机械支撑，使得电能能够进行隔空输送。如果绝缘子发生故障且不能被及时处理，引起闪络等事故的发生，则会导致整条线路发生故障，而且对经济发展造成一定的损失。
[0003]目前基于无人机对设备缺陷进行巡检无法在现场实时开展，需要由无人机将视频导入电脑，由后台人员逐帧识别。因此线路缺陷的识别效率低，耗时久，视频分析也要求人员具备丰富的巡检经验。

技术实现思路

[0004]为解决上述问题，本专利技术的目的是提供一种基于无人机双光融合绝缘子缺陷检测方法、系统、设备及存储介质，该方法能够自动获取绝缘子的图像并自动对其进行缺陷检测，提高检测效率和准确率。
[0005]为实现上述目的，本专利技术的技术方案为：一种基于无人机双光融合绝缘子缺陷检测方法，包括以下步骤：获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；对所述可见光图片进行绝缘子目标检测以确定绝缘子包括位置坐标、长宽以及倾斜角度的标记信息；将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；对可见光图片进行绝缘子缺陷检测；对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；根据预设程序判断所述绝缘子是否存在缺陷。
[0006]在本专利技术的一个实施例中，对所述可见光图片进行绝缘子目标检测以确定绝缘子的位置坐标、长宽包括：获取可见光图片，通过Mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用CSP结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的YOLOv5模型，能够对
绝缘子进行目标检测，确定绝缘子的位置坐标、方框大小及长宽。
[0007]在本专利技术的一个实施例中，对所述可见光图片进行绝缘子目标检测以确定绝缘子的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负 ，θ∈[
‑
180, 0)；将θ由回归问题转为分类问题，在YOLOv5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定绝缘子的倾斜角度。
[0008]在本专利技术的一个实施例中，所述将可见光图片中的绝缘子标记信息仿射至红外光图片中包括：通过仿射变换模型将点进行迁移，，其中，（x,y）、分别是可见光图片和红外光图片中对应点的坐标；选取复数个点对，使用最小二乘法确定最优的参数矩阵；M即为最优的变换矩阵，X：变换前点对组成的矩阵，Y：变换后点对组成的矩阵， ；基于获取的参数矩阵进行绝缘子标记信息的仿射变换。
[0009]在本专利技术的一个实施例中，所述对可见光图片进行绝缘子缺陷检测之前还包括：获取可见光视频并逐帧解析为可见光图片；通过YOLOv5对可见光图片进行绝缘子目标检测训练；将检测出的绝缘子分割出来，并在分割出来的图片中进行绝缘子缺陷检测的标注，使用YOLOv5对绝缘子数据进行缺陷检测；训练结束之后，将训练好的模型上传至云端服务器，用于对所述绝缘子进行目标检测和缺陷检测。
[0010]在本专利技术的一个实施例中，所述对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷包括：获取绝缘子各个像素的温度信息；对照 GB/T 11022 中高压开关设备和控制设备各种部件、材料及绝缘介质的温度和温升极限的有关规定,结合环境气候条件、负荷大小进行分析；获取绝缘子的像素位置并提取对应的温度值，找到其中的最高温，温度值从大到小排列，前三分之一的温度平均值作为对比温度值，根据预设规则判断是否发热。
[0011]在本专利技术的一个实施例中，所述根据预设程序判断所述绝缘子是否存在缺陷之后还包括：基于所述判断结果、无人机经纬度、高度，生成该绝缘子报告标记信息；将绝缘子报告标记信息映射到三维世界坐标系中，并在本次巡检结束之后生成巡检报告。
[0012]基于相同的构思，本专利技术还提供一种基于无人机双光融合绝缘子缺陷检测系统，包括：获取模块，用于获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；目标检测模块，用于对所述可见光图片进行绝缘子目标检测以确定包括绝缘子的位置坐标、长宽以及倾斜角度的标记信息；仿射模块，用于将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；缺陷检测模块，用于对可见光图片进行绝缘子缺陷检测；红外分析模块，用于对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；判断模块，用于根据预设程序判断所述绝缘子是否存在缺陷。
[0013]基于相同的构思，本专利技术还提供一种电子设备，包括：存储器，所述存储器用于存储处理程序；处理器，所述处理器执行所述处理程序时实现所述的基于无人机双光融合绝
缘子缺陷检测方法。
[0014]基于相同的构思，本专利技术还提供一种可读存储介质，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现所述的基于无人机双光融合绝缘子缺陷检测方法。
[0015]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：1、本专利技术基于能够获取可见光视频和红外光视频的无人机，通过双光融合对获取的视频进行自动检测分析，实现绝缘子缺陷的快速检测，避免了现有技术需要人工根据无人机传回的视频进行逐帧识别，并且要求识别人员具有丰富的巡检经验，提高了巡检效率。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机双光融合绝缘子缺陷检测方法，其特征在于，包括以下步骤：获取待检测的绝缘子视频并逐帧进行解析以获取图片；其中所述绝缘子视频包括可见光视频和红外光视频，经逐帧解析后分别获取可见光图片和红外光图片；对所述可见光图片进行绝缘子目标检测以确定绝缘子包括位置坐标、长宽以及倾斜角度的标记信息；将可见光图片中的绝缘子标记信息仿射至红外光图片中，以确定红外光图片中绝缘子的位置坐标、长宽以及倾斜角度；对可见光图片进行绝缘子缺陷检测；对红外光图片进行绝缘子红外热分析以获取绝缘子温度信息，并通过相对温差判断法来确定绝缘子是否过热而导致缺陷；根据预设程序判断所述绝缘子是否存在缺陷。2.根据权利要求1所述的基于无人机双光融合绝缘子缺陷检测方法，其特征在于，对所述可见光图片进行绝缘子目标检测以确定绝缘子的位置坐标、长宽包括：获取可见光图片，通过Mosaic数据增强、自适应锚框计算、自适应图片缩放生成相应的自适应锚框；采用Focus结构对图片进行切片操作，从高分辨率图像中，周期性的抽出像素点重构到低分辨率图像中；采用CSP结构将基础层的特征映射划分为两部分，然后通过跨阶段层次结构将它们合并；通过上述方式训练获取的YOLOv5模型，能够对绝缘子进行目标检测，确定绝缘子的位置坐标、方框大小及长宽。3.根据权利要求2所述的基于无人机双光融合绝缘子缺陷检测方法，其特征在于，对所述可见光图片进行绝缘子目标检测以确定绝缘子的倾斜角度包括：使用最长边表示法来表示目标方框，包扩x_c，y_c，longside，shortside，以及θ；其中，x_c与y_c表示旋转矩形框的中心坐标，longside表示最长的边；shortside是与longside对应的另一条边；θ表示最长边到x轴逆时针旋转的夹角，逆时针方向角度为负，θ∈[
‑
180,0)；将θ由回归问题转为分类问题，在YOLOv5原本的框架中，修改数据加载、预测部分、损失函数部分的代码，从而实现旋转目标的检测以及确定绝缘子的倾斜角度。4.根据权利要求1所述的基于无人机双光融合绝缘子缺陷检测方法，其特征在于，所述将可见光图片中的绝缘子标记信息仿射至红外光图片中包括：通过仿射变换模型将点进行迁移，，其中，（x,y）、分别是可见光图片和红外光图片中对应点的坐标；选取复数个点对，使用最小二乘法确定最优的参数矩阵；M即为最优的变换矩阵，X：变换前点对组成的矩阵，Y：变换后点对组成的矩阵，；基于获取的参数矩阵进行绝缘子标记信息的仿射变换。5.根据权利要求1所述的基于无人机双光融合绝缘子缺陷检测...

【专利技术属性】
技术研发人员：肖素枝，周鑫磊，郑炜，钱茂冬，王海滨，
申请(专利权)人：星逻智能科技苏州有限公司，
类型：发明
国别省市：