一种基于实例分割的复合绝缘子过热缺陷检测方法技术

本发明专利技术公开了一种基于实例分割的复合绝缘子过热缺陷检测方法，包括步骤：1)数据集的构建与标注；2)利用数据增强算法对图像进行数据扩充；3)改进深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集并训练；4)利用红外摄像仪获取原始热红外图像，导入训练好的模型，分割得到初步ROI区域，并进行优化；5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵；6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，通过看温差有没有超过阈值来进行复合绝缘子是否存在过热缺陷的判断。通过本发明专利技术可以提高复合绝缘子过热缺陷检测的准确率。

【技术实现步骤摘要】
一种基于实例分割的复合绝缘子过热缺陷检测方法
本专利技术涉及图像模式识别与人工智能的
，尤其是指一种基于实例分割的复合绝缘子过热缺陷检测方法。
技术介绍
复合绝缘子是一种电压致热型电力设备，随着其内部绝缘出现缺陷及老化等，会出现局部放电现象从而引起局部温度的升高。也就是说，根据复合绝缘子是否出现发热现象便可实时快速地获知其运行状态，还可以根据发热程度判定故障的严重程度，帮助电力检修部门的工作人员确定合适的维修方案。随着电力设备故障诊断技术的不断研究与突破，借助红外热像仪的设备状态带电检测技术快速发展，并凭借着其安全、非接触、不停电、准确直观等优势，在国内各运行维护单位普及程度很高，成为了确保电力系统安全稳定的重要技术手段。以往我国输电线路的巡视一般采取人工巡视方式，这种方式不仅效率低下，还会对工作人员的人身安全带来威胁，近几年来，我国加大了无人机巡线技术的研发投入，目前国内大部分电力公司检修部门开始采用无人机巡检方式。自然而然地，红外摄像仪成为了搭载在电力巡检无人机上面的常规设备，电力公司因此收集了大量的复合绝缘子红外图。本文档来自技高网...

【技术保护点】
1.一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，包括以下步骤：/n1)收集电力巡检过程中拍摄的电力设备红外图，整理出其中含有复合绝缘子的原始热红外图构建原始训练数据集，运用图像标注工具人工标注复合绝缘子芯棒及伞盘部分；/n2)利用数据增强算法对所有原始训练数据集进行数据扩充，增大数据量，形成训练数据集；/n3)改进现有的深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；/n4)使用待检测的复合绝缘子原始热红外图输入保存好的深度神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，再使用图像...

【技术特征摘要】
1.一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备红外图，整理出其中含有复合绝缘子的原始热红外图构建原始训练数据集，运用图像标注工具人工标注复合绝缘子芯棒及伞盘部分；
2)利用数据增强算法对所有原始训练数据集进行数据扩充，增大数据量，形成训练数据集；
3)改进现有的深度神经网络实例分割模型，以匹配特定复合绝缘子场景下的数据集，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；
4)使用待检测的复合绝缘子原始热红外图输入保存好的深度神经网络实例分割模型中，得到分割出来的复合绝缘子所在的初步ROI区域，再使用图像处理方法对分割出来的区域做进一步优化处理，剔除误分割出来的背景像素，获得最终的ROI区域；
5)从原始热红外图像中获取含有图中每一像素点温度的温度分布矩阵；
6)根据最终的ROI区域的坐标从温度分布矩阵中提取相对应的温度信息，找到最高温及其位置，计算最高温与参考环境温度的温差，若温差低于设定的阈值，则判断复合绝缘子不存在过热缺陷；若温差大于设定的阈值，则判断复合绝缘子存在过热缺陷，并根据温差超过阈值的程度判定发热程度，有：一般过热缺陷、重大过热缺陷和紧急过热缺陷。


2.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤1)中，复合绝缘子发热只发生在芯棒区域，但是为了丰富标注区域的特征，提高检测和分割的精度，标注区域需扩展到伞盘部分。


3.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤2)中，利用数据增强算法对图像进行数据扩充，包括以下步骤：
2.1)随机图像旋转
对复合绝缘子的原始热红外图像进行随机旋转，旋转的角度在-20度到+20度之间随机选取；
2.2)随机图像裁剪
随机裁剪出整幅图像的五分之四；
2.3)随机翻转
对图像进行随机水平翻转；
2.4)图像大小归一化
使用双线性插值方法将图像转换为适合神经网络输入的标准大小。


4.根据权利要求1所述的一种基于实例分割的复合绝缘子过热缺陷检测方法，其特征在于，在步骤3)中，在MaskR-CNN深度学习网络原有框架基础上做进一步改进，包括以下步骤：
3.1)网络结构
输入图像为640×512×1；
整个网络结构分成5个主要部分：骨干网络backbone、neck、区域建议网络头部rpn_head、bbox_head、掩膜分支mask_head，各部分具体含义如下；
backbone的主要作用是提取特征，选择的是resnet50，resnet50共有5个阶段，第一阶段C1输出为320×256×64，第二个阶段C2输出为160×128×256，第三阶段C3输出为80×64×512，第四阶段C4输出为40×32×1024，第五阶段C5输出为20×16×2048；由于训练集图片的数量少，为了避免模型的过拟合，在网络结构中采用批量归一化层，并使用在ImageNet上的预训练模型进行初始化；
neck的主要作用是融合高低层特征，选择的是特征金字塔网络FPN，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，FPN输出5个不同尺度的特征图层；
rpn_head的主要作用是生成候选框，在FPN输出的每个不同尺度的特征图层，分别定义大小为8×8、16×16、32×32、64×64、128×128的锚框，用anchor表示，另外每个尺度层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；前景类候选框的定义为与groundtruth的IoU大于0.5的anchor；区域建议网络rpn结构分为两条线，一条通过softmax对anchor进行二分类即前景或者背景的两类，另一条对anchor的边界框偏移量回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；
得到候选框之后接着进行RoIAlign，将不同大小的框映射成固定的7×7特征矩阵，RoIAlign能保证候选框与提取出的特征之间的对齐性，从而提升像素级别的分割精度，RoIAlign得到的7×7个候选框特征输入到的bbox_head、mask_head中；
这里的bbox_head是三个级联的R-CNN，IoU阈值的设定分别是0.5、0.6、0.7，用一个R...

【专利技术属性】
技术研发人员：田联房，高熠，杜启亮，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44