基于旋转RetinaNet的复合绝缘子过热缺陷检测方法技术

本发明专利技术公开了一种基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，包括：1)标注图片中的复合绝缘子，构建数据集；2)搭建并训练旋转RetinaNet网络；3)利用工具提取图片温度信息，转化为温度矩阵；4)利用RetinaNet网络检测图片，得到复合绝缘子的外接旋转矩形框位置，计算中轴线方程；5)自动修正偏移的中轴线；6)提取中轴线上各像素点温度值；7)对不同情况分别按照相应规定计算复合绝缘子上对比温度T1和最高温度T2；8)根据T2

【技术实现步骤摘要】
基于旋转RetinaNet的复合绝缘子过热缺陷检测方法


[0001]本专利技术涉及计算机视觉与电力设备自动缺陷检测的
，尤其是指一种基于旋转RetinaNet的复合绝缘子过热缺陷检测方法。

技术介绍

[0002]随着我国电力资源的大量开发利用，输电线路等级不断提升，对输电线路的绝缘等级要求也不断提高。复合绝缘子是架空输电线路的一种重要绝缘控件，由于其具有较好的防污闪特性因而在高压输电线路中得到普遍应用，其主要起到支撑导线和防止电流回地的作用。然而由于长期暴露在野外，受到恶劣环境的影响，容易导致缺陷。过热缺陷是其中一种重要缺陷，复合绝缘子过热若没有得到及时检修通常会进一步引起贯穿性击穿和复合绝缘子芯棒断裂事故，对输电系统的安全运行造成较大威胁。
[0003]传统的输电线复合绝缘子巡检通常是依靠巡检人员携带红外测温仪到实地进行复合绝缘子测温以及过热缺陷判断。然而这种人工巡检的方式效率较低，且由于复合绝缘子通常位于高处，造成巡检的安全隐患。近年来，随着无人机技术的不断发展，我国许多电力部门都引进了无人机用于高空输电线路巡检。目前常规的方法是通过无人机携带红外测温仪进行复合绝缘子红外图片的拍摄，再利用软件读取红外图片中的温度值，通过人工方式对图片中的复合绝缘子进行过热缺陷判断。由于无人机拍摄回的图片数据量巨大，这种方法通常需要耗费巨大的时间与精力。
[0004]随着深度学习技术的不断发展，有些研究将其引入到了输电线巡检领域，利用目标检测网络如YOLO、Faster R
‑
CNN或是实例分割网络如Mask R
‑
CNN自动检测图片中的电力设备，并进行对应的缺陷判断，大大降低了人力投入。但是由于无人机拍摄图片角度不一，而复合绝缘子属于长宽比较大的棒状物体，当图片中复合绝缘子处于倾斜状态时，传统的目标检测方法检测框中背景占比远大于目标物体占比，导致检测不准确，从而难以提取复合绝缘子温度。当复合绝缘子串间距离较近时，传统的目标检测或实例分割的非极大值抑制方法更是会将多串复合绝缘子误检为同一串复合绝缘子，从而导致漏检。
[0005]综上所述，目前虽然存在一些有关复合绝缘子自动过热缺陷检测的方法，但当面对无人机拍摄角度多变，图片中复合绝缘子串相距较近或是面对较为复杂的背景时，容易出现误检与漏检。因此亟需提出一种新的复合绝缘子过热缺陷检测算法以解决无人机航拍图片角度不一、图片背景复杂的问题。

技术实现思路

[0006]本专利技术的目的在于克服无人机航拍图片角度不一、图片背景复杂的问题，提出一种基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，能够适应不同无人机拍摄角度，具有一定鲁棒性的复合绝缘子自动过热缺陷检测，从而与无人机巡检配合，提高复合绝缘子电力巡检的便利性与安全性。
[0007]为实现上述目的，本专利技术所提供的技术方案为：基于旋转RetinaNet的复合绝缘子
过热缺陷检测方法，包括以下步骤：
[0008]1)选取无人机航拍图片中典型的复合绝缘子红外温度图片；利用标注工具初步标注图片中的复合绝缘子四个边缘顶点构成的四边形；计算四边形的最小外接旋转矩形的四个顶点坐标，从而将标注的标签文件和图片转化为DOTA格式的数据集；
[0009]2)将标注好的数据集送入旋转RetinaNet网络进行训练，该旋转RetinaNet网络以RetinaNet网络为基础结构，特征融合部分新增加自底向上的特征金字塔PANet与自顶向下的特征金字塔FPN形成双向特征融合网络，提高对不同尺寸复合绝缘子的检测能力；修改回归子网络，回归参数增加矩形框旋转角度θ分量，修改回归损失函数为balanced L1损失函数，权衡训练集Loss和验证集mAP，保存最佳网络参数；
[0010]3)获取红外图片中各点温度，利用工具从图片中高速读取温度信息，对其进行解码，转化为数据流，进而高速并行转化为矩阵；对像素点温度信息I进行等间距采样，与对应点实际温度值T组成多组(I，T)数据；对I与T的关系进行拟合；利用拟合得到的公式进行矩阵运算，从而得到每张图片中各像素点实际温度值；
[0011]4)利用训练好的旋转RetinaNet网络检测复合绝缘子红外温度图片，预测得到图片中与复合绝缘子外接的旋转矩形框的五个参数，利用公式将其由五参数表示法转化为四顶点表示法，得到复合绝缘子所在位置；提取复合绝缘子的旋转矩形框的中轴线作为复合绝缘子芯棒的检测线；
[0012]5)对提取的中轴线进行自动修正；判断中轴线是否偏移复合绝缘子芯棒，若其偏移芯棒，则在特定范围内自动搜寻最佳中轴线方程，使其更好地拟合芯棒位置；
[0013]6)读取修正后的中轴线上各个像素点的温度值和位置坐标；将其按照纵坐标大小排序，纵坐标大的像素点更靠近图片中高压端均压环；
[0014]7)对于图片中复合绝缘子未完全露出全长的情况，统计两片复合绝缘子片之间的距离d；计算中轴线上靠近高压端均压环的3d
‑
5d范围内的各个像素点温度平均值作为对比温度，计算中轴线上靠近高压端均压环的0
‑
5d范围内各像素点的最高温度；
[0015]对于图片中复合绝缘子完全露出全长的情况，计算中轴线上靠近高压端均压环的三分之一中轴线全长范围内的各个像素点温度平均值作为对比温度，计算该范围内各像素点的最高温度；
[0016]8)利用最高温度与对比温度的差值是否大于各个过热缺陷等级的阈值，判断复合绝缘子存在的过热缺陷等级，输出最终的过热缺陷检测结果。
[0017]进一步，在步骤1)中，利用labelme标注工具初步标注复合绝缘子四个边缘顶点构成的四边形后，求取四边形的最小外接旋转矩形的四个顶点坐标，并将其与物体类别一同写入txt文件，转化为DOTA格式。
[0018]进一步，在步骤2)中，搭建和训练旋转RetinaNet网络，包括以下步骤：
[0019]旋转RetinaNet网络以RetinaNet网络结构为基础，其骨干提取网络采用Resnet
‑
50；其特征融合部分，在原有的自顶向下特征金字塔FPN的基础上增加了自底向上特征金字塔PANet，形成双向特征融合网络，进一步增强网络检测多尺度物体的能力，提高网络对于无人机拍摄距离不同而导致的图片中复合绝缘子尺度不一情况的检测鲁棒性；其修改回归子网络，新增加回归参数θ，共需要回归(x，y，w，h，θ)五个参数，x代表旋转矩形框的中心点横坐标，y代表旋转矩形框的中心点纵坐标，w代表旋转矩形框的宽，h代表旋转矩形框的高，
θ代表旋转矩形框相对于水平矩形框的旋转角度；
[0020]旋转矩形框的旋转角度θ表示方法采用长边定义法，即由旋转矩形框的长边与水平横轴的夹角定义旋转矩形框的旋转角度，角度范围为[
‑
π/2，π/2)；以逆时针方向为负旋转角度，以顺时针方向为正旋转角度；
[0021]训练时利用下式将上述五参数表示法(x，y，w，h，θ)转化为四顶点表示法(P1，P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，其特征在于，包括以下步骤：1)选取无人机航拍图片中典型的复合绝缘子红外温度图片；利用标注工具初步标注图片中的复合绝缘子四个边缘顶点构成的四边形；计算四边形的最小外接旋转矩形的四个顶点坐标，从而将标注的标签文件和图片转化为DOTA格式的数据集；2)将标注好的数据集送入旋转RetinaNet网络进行训练，该旋转RetinaNet网络以RetinaNet网络为基础结构，特征融合部分新增加自底向上的特征金字塔PANet与自顶向下的特征金字塔FPN形成双向特征融合网络，提高对不同尺寸复合绝缘子的检测能力；修改回归子网络，回归参数增加矩形框旋转角度θ分量，修改回归损失函数为balanced L1损失函数，权衡训练集Loss和验证集mAP，保存最佳网络参数；3)获取红外图片中各点温度，利用工具从图片中高速读取温度信息，对其进行解码，转化为数据流，进而高速并行转化为矩阵；对像素点温度信息I进行等间距采样，与对应点实际温度值T组成多组(I，T)数据；对I与T的关系进行拟合；利用拟合得到的公式进行矩阵运算，从而得到每张图片中各像素点实际温度值；4)利用训练好的旋转RetinaNet网络检测复合绝缘子红外温度图片，预测得到图片中与复合绝缘子外接的旋转矩形框的五个参数，利用公式将其由五参数表示法转化为四顶点表示法，得到复合绝缘子所在位置；提取复合绝缘子的旋转矩形框的中轴线作为复合绝缘子芯棒的检测线；5)对提取的中轴线进行自动修正；判断中轴线是否偏移复合绝缘子芯棒，若其偏移芯棒，则在特定范围内自动搜寻最佳中轴线方程，使其更好地拟合芯棒位置；6)读取修正后的中轴线上各个像素点的温度值和位置坐标；将其按照纵坐标大小排序，纵坐标大的像素点更靠近图片中高压端均压环；7)对于图片中复合绝缘子未完全露出全长的情况，统计两片复合绝缘子片之间的距离d；计算中轴线上靠近高压端均压环的3d
‑
5d范围内的各个像素点温度平均值作为对比温度，计算中轴线上靠近高压端均压环的0
‑
5d范围内各像素点的最高温度；对于图片中复合绝缘子完全露出全长的情况，计算中轴线上靠近高压端均压环的三分之一中轴线全长范围内的各个像素点温度平均值作为对比温度，计算该范围内各像素点的最高温度；8)利用最高温度与对比温度的差值是否大于各个过热缺陷等级的阈值，判断复合绝缘子存在的过热缺陷等级，输出最终的过热缺陷检测结果。2.根据权利要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，其特征在于，在步骤1)中，利用labelme标注工具初步标注复合绝缘子四个边缘顶点构成的四边形后，求取四边形的最小外接旋转矩形的四个顶点坐标，并将其与物体类别一同写入txt文件，转化为DOTA格式。3.根据权利要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，其特征在于，在步骤2)中，搭建和训练旋转RetinaNet网络，包括以下步骤：旋转RetinaNet网络以RetinaNet网络结构为基础，其骨干提取网络采用Resnet
‑
50；其特征融合部分，在原有的自顶向下特征金字塔FPN基础上增加了自底向上特征金字塔PANet，形成双向特征融合网络，进一步增强网络检测多尺度物体的能力，提高网络对于无人机拍摄距离不同而导致的图片中复合绝缘子尺度不一情况的检测鲁棒性；修改其回归子
网络，新增加回归参数θ，共需要回归(x，y，w，h，θ)五个参数，x代表旋转矩形框的中心点横坐标，y代表旋转矩形框的中心点纵坐标，w代表旋转矩形框的宽，h代表旋转矩形框的高，θ代表旋转矩形框相对于水平矩形框的旋转角度；旋转矩形框的旋转角度θ表示方法采用长边定义法，即由旋转矩形框的长边与水平横轴的夹角定义旋转矩形框的旋转角度，角度范围为[
‑
π/2，π/2)；以逆时针方向为负旋转角度，以顺时针方向为正旋转角度；训练时利用下式将上述五参数表示法(x，y，w，h，θ)转化为四顶点表示法(P1，P2，P3，P4)，从而计算预测框与真实框之间的IoU；式中，P
j
，j＝1～4表示旋转矩形框的四个顶点坐标P1～P4；Ф
Pj
，j＝1～4表示角度计算系数Ф
P1
～Ф
P4
，其公式如下：回归时，利用下式计算真实框GroundTruth与锚框anchor的角度偏移量t
θ
、预测框与锚框anchor的角度偏移量t'
θ
，通过使t
θ
不断逼近t'
θ
，从而使预测框的旋转角度不断逼近真实框的旋转角度：式中，θ、θ
a
、θ'分别表示真实框、anchor、预测框的旋转角度；网络训练时为了提高检测精度，修改回归损失函数为如下式所示的balanced L1损失函数：式中，L
b
(u)为balanced L1损失，u为自变量，e、q、γ为设定的常量参数，其需要满足如下约束关系：e ln(q+1)＝γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)。4.根据权利要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法，其特征在于，在步骤3)中，提取红外温度图片的各像素点对应的温度值，包括以下步骤：利用PyExifTool高速提取图片中的温度信息，对其进行base64解码，并转化byte数据流，进而转化为温度信息矩阵；对温度信息矩阵中各像素点温度信息进行等间距采样，每张图片采集像素点的温度信息I，同时采集对应点的实际温度值T，组成多组(I，T)数据；
拟合I与T的关系，设T＝a0I3+a1I2+a2I+a3,误差函数ε如下式所示：式中，a0～a3代表对应系数，n＝1～N表示当前是第n组数据，N表示数据的总组数，I
n
表示第n组数据的温度信息，T
n
表示第n组数据的实际温度值；对应系数a
c
的迭代更新公式如下：式中，对应系数a
c
，c＝0～3表示a0～a3，a

【专利技术属性】
技术研发人员：田联房，林煜，杜启亮，
申请(专利权)人：华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：