红外图像中绝缘子串盘片分割定位及状态分析方法技术

本发明专利技术涉及计算机视觉/深度学习及时频分析技术，涉及电力巡检领域，具体涉及红外图像中绝缘子串盘片分割定位及状态分析方法。该方法包括以下几个步骤：S1.采集绝缘子串红外图像；S2.标注出绝缘子串外接轮廓；S3.划分为训练集与测试集；S4.构建绝缘子串语义分割网络；S5.采用梯度下降法训练神经网络，评估并采纳有效模型；S6.使用模型分割绝缘子串；S7.采用形态学处理和仿射变换矫正绝缘子串；S8.通过FFT算法对绝缘子串上/下峰区时频变换处理，提取盘片数量并计算间隔距离；S9.定位、提取温度信息并进行有效分析。本发明专利技术运用计算机视觉/深度学习技术，对绝缘子串实现精准的分割、定位，并提取温度数据，该方法实现了绝缘子串的外观及温度一次性分析输出。外观及温度一次性分析输出。外观及温度一次性分析输出。

【技术实现步骤摘要】
红外图像中绝缘子串盘片分割定位及状态分析方法


[0001]本专利技术涉及计算机视觉、深度学习及电力巡检领域，具体涉及一种基于多任务卷积神经网络，用于电力巡检过程中红外图像中绝缘子串盘片分割定位及状态分析方法。

技术介绍

[0002]为了解决我国人口的用电问题，国家电网公司累计建成了世界先进的“15交13直”特高压输电工程，跨省跨区输电能力超过2.3亿千瓦。
[0003]为了切实保障居民生活用电和工业生产用电的稳定，国家电网规定，对输电网络采取定期巡检的策略。按照国家电网的实际要求，需要对高压、超高压输电网络中每一基杆塔进行精细的巡检。在精细化巡检过程中，重中之重是对绝缘子串进行缺损检测。
[0004]绝缘子串是输电杆塔上的关键部件，也是输电线路巡检中的关键一环。顾名思义，绝缘子串对输电网络中的线路起到与杆塔绝缘的作用，以此保障输电安全。对绝缘子串的缺陷检测，主要关注在绝缘子串的倾斜角度，绝缘子串两端挂点状态以及绝缘子串本身盘片的完整性方面。近年来，基于红外技术的图像采集分析在电力精细化巡检，尤其是对绝缘子串的状态分析方面得到了极大的推广。基于红外热成像的技术背景下，不但能够拍摄到绝缘子串的完整轮廓，同时整个绝缘子串的温度分布信息也是一目了然。按照当前巡检要求，每完整巡检一次输电线路会产生1.5亿
‑
3亿张含有绝缘子串的红外图像，以往的后处理、分析流程往往需要人工实现，造成极大的资源浪费。
[0005]随着人工智能技术的发展，基于计算机视觉/深度学习技术来识别、分析照片中的感兴趣目标开始以惊人的速度得到发展，并替代了大量的人力重复劳动。基于海量的已有图片，通过基于深度学习的语义分割技术能够训练出精准的绝缘子串分割模型。进一步的，可以通过传统的图像处理形态学分析技术以及变换分析技术，对绝缘子串进行全方位，自动化、智能高效的分析。为了将计算机视觉/深度学习技术、图像处理以及变换分析技术引入到输电线路巡检领域，代替人完成海量图片的分析工作，同时为了提供效率和精度，一次性实现绝缘子串的识别、分割、定位与分析，本专利提出了一种红外图像中绝缘子串盘片分割定位及状态分析方法。

技术实现思路

[0006]本专利技术的目的是提供一种红外图像中绝缘子串盘片分割定位及状态分析方法，该方法的整体结构流程，如图9所示，其特征在于，包括以下几个步骤：
[0007]S1.图像采集，采用无人机搭载红外云台相机，一般距离绝缘子串5
‑
30米左右，采集绝缘子串的正视射影像，如图1中P0位置所示，避免俯视或仰视拍摄，分别如图1中P1位置和P2位置，以免造成盘片遮挡，间隔棒遮挡；
[0008]S2.对步骤S1中采集到的红外绝缘子串图像进行标注，标注采用labelme等软件，沿绝缘子串盘片和间隔棒的轮廓进行标注，标注效果参考图3；
[0009]S3.对步骤S1中采集到的数据按照90：10的比例进行划分，即将所有数据的90％作
为训练数据集，将所有数据的10％划分为测试数据集；
[0010]S4.构建基于深度学习语义分割网络的绝缘子串分割模型，模型采用DeepLabv3Plus语义分割网络，利用其独特的ASPP金字塔编码网络和多尺度融合的解码网络进行精确的绝缘子串模型训练；
[0011]S5.执行训练，利用标注数据输入到步骤S4中构建的训练网络中，训练不少于300个Epoch，获取绝缘子串语义分割模型；在训练过程中使用测试集，不断评估模型，直至评估结果满足精度要求；
[0012]S6.使用步骤S5中训练得到的语义分割模型推理红外绝缘子串图像，获取取值为0和1的二值图像，其中取值为1的区域为绝缘子串，取值为0的区域为背景区域；
[0013]S7.通过形态学处理中的连通域查找方法找到所有独立的、取值为1的连通域，通过膨胀、腐蚀操作，去除个别小、伪目标，通过寻找最小外接矩形，确定绝缘子串的走向，并抠取最小外接矩形区域的图像，通过仿射变换将绝缘子串矫正至“水平躺卧”状态；
[0014]S8.选取S7中处理得到的“水平躺卧”绝缘子串二值图像，该图像所含绝缘子串上下边沿呈强周期性，因此选取绝缘子串上下边沿为“上下峰区”，通过短时快速傅里叶变换(FFT)算法，计算绝缘子串盘片的数量，通过相位偏移法，获得绝缘子串盘片的精确位置，进而获取盘片间间隔棒位置；
[0015]其中，FFT是离散傅里叶变换(DFT)的一种快速计算方法，DFT公式如下：
[0016]N为变换长度，也即采样长度
[0017]S9.根据绝缘子串盘片位置，推算间隔棒区域，提取间隔棒区域的温度信息，结合步骤S7中获取的绝缘子串倾斜角度，S8中获取的盘片位置和破损情况，以及当期步骤获取的间隔棒温度信息，综合分析绝缘子串的状态。
[0018]进一步的，步骤S1所述的数据采集需要使用无人机作为移动飞行平台，在无人机上搭载红外云台相机，云台相机所拍摄画面分辨率不低于640*512，如图1所示，拍摄位置距离绝缘子串约5
‑
30米左右，且应居于绝缘子串中垂线上，参照图1中P0点，避免俯视和仰视位置，分别参照图1中P1点和P2点位置。
[0019]进一步的，步骤S2中对红外图像中的绝缘子串进行标注，具体的标注为多边形标注方法，严格沿绝缘子串轮廓进行标注，且在绝缘子串两端进行多边形轮廓的闭合，标注不包括绝缘子串两端挂点；标注过程中，绝缘子串轮廓所包含区域设置为类别1，其他背景设置为类别0；
[0020]进一步的，步骤S3中将采集到且标注好的数据按照一定的比例进行划分，具体划分为训练集和测试集，其中训练集用于训练阶段训练分割模型，测试集用于阶段性评估模型性能。鉴于语义分割的数据密集性，当前划分比例按照90:10的比例进行划分，其中90％为训练集，10％作为测试集使用，用来验证和评估；
[0021]进一步的，步骤S4中所述，采用DeepLabv3Plus作为语义分割网络，DeepLabv3Plus模型结构如图2所示，采用Focal loss作为评判标准，其公式如下：
[0022]FL(p
t
)＝
‑
(1
‑
p
t
)
γ
log(p
t
)
[0023]进一步的，步骤S5中所述，训练的轮数不能少于300个Epoch。具体的训练结果需要通过误差计算结合主观判断评估，如图4所示，评估通过的最小要求是能够分割出绝缘子串
边缘的的波浪形轮廓；
[0024]进一步的，步骤S6中所述，使用步骤S5训练得到并且评估满足要求的语义分割模型推理分割红外图像中的绝缘子串，并获取二值化的图像结果。如图4所示，其中黑色区域代表背景，白色区域代表绝缘子串；
[0025]进一步的，步骤S7中所述，在步骤S6种获取到如图4所示的分割结果以后，通过膨胀、腐蚀操作，去除多余的小干扰目标；通过最小外接矩形查找算法，找到绝缘子串的标准外接矩形和旋转外接矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.红外图像中绝缘子串盘片分割定位及状态分析方法，其特征在于，包含以下几个步骤：S1.图像采集，采用无人机搭载红外云台相机，一般距离绝缘子串5
‑
30米左右，采集绝缘子串的正视射影像，避免俯视或仰视拍摄，以免造成盘片遮挡，间隔棒遮挡；S2.对步骤S1中采集到的红外绝缘子串图像进行标注，标注采用labelme等软件，沿绝缘子串盘片和间隔棒的轮廓进行标注；S3.对步骤S1中采集到的数据按照90：10的比例进行划分，即将所有数据的90％作为训练数据集，将所有数据的10％划分为测试数据集；S4.构建基于深度学习语义分割网络的绝缘子串分割模型，模型采用DeepLabv3Plus语义分割网络，利用其独特的ASPP金字塔编码网络和多尺度融合的解码网络进行精确的绝缘子串模型训练；S5.执行训练，利用标注数据输入到步骤S4中构建的训练网络中，训练不少于300个Epoch，获取绝缘子串语义分割模型；在训练过程中使用测试集，不断评估模型，直至评估结果满足精度要求；S6.使用步骤S5中训练得到的语义分割模型推理红外绝缘子串图像，获取取值为0和1的二值图像，其中取值为1的区域为绝缘子串，取值为0的区域为背景区域；S7.通过形态学处理中的连通域查找方法找到所有独立的、取值为1连通域，通过膨胀、腐蚀操作，去除个别小、伪目标，通过寻找最小外接矩形，确定绝缘子串的走向，并抠取最小外接矩形区域的图像，通过仿射变换将绝缘子串矫正至“水平躺卧”状态；S8.选取S7中处理得到的“水平躺卧”绝缘子串二值图像，该图像所含绝缘子串上下边缘呈强周期性，因此选取绝缘子串上下边沿为“上下峰区”，通过短时快速傅里叶变换，即FFT算法，计算绝缘子串盘片的数量，通过相位偏移法，获得绝缘子串盘片的精确位置，进而获取盘片间间隔棒位置；其中，FFT是离散傅里叶变换(DFT)的一种快速计算方法，DFT公式如下：其中，FFT是离散傅里叶变换(DFT)的一种快速计算方法，DFT公式如下：N为变换长度，也即采样长度S9.根据绝缘子串盘片位置，推算间隔棒区域，提取间隔棒区域的温度信息，结合步骤S7中获取的绝缘子串倾斜角度，S8中获取的盘片位置和破损情况，以及当期步骤获取的间隔棒温度信息，综合分析绝缘子串的状态。2.根据权利要求1中所述红外图像中绝缘子串盘片分割定位及状态分析方法，其特征在于，步骤S1所述的数据采集需要使用无人机作为移动飞行平台，在无人机上搭载红外云台相机，云台相机所拍摄画面分辨率不低于640*512，拍摄位置距离绝缘子串约5
‑
30米左右，且应居于绝缘子串中垂线上，避免俯视和仰视，以免带来的下端部分绝缘子串盘片和上端部分绝缘子串盘片的遮挡，导致最终无法精确定位。3.根据权利要求1中所述红外图像中绝缘子串盘片分割定位及状态分析方法，其特征在于，步骤S2中对红外图像中的绝缘子串进行标注，具体的标注为多边形标注方法，严格沿绝缘子串轮廓进行标注，且在绝缘子串两端进行多边形轮廓的闭合，标注不包括绝缘子串两端挂点，标注过程中，绝缘子串轮廓所包含区域设置为类别1，其他背...

【专利技术属性】
技术研发人员：盛晓飞，赛吉尔呼，
申请(专利权)人：苏州智轻光电科技有限公司，
类型：发明
国别省市：