一种基于端到端关键点检测的玻璃绝缘子片定位方法技术

本发明专利技术公开了一种基于端到端关键点检测的玻璃绝缘子片定位方法，包括：1)电力巡检玻璃绝缘子实例分割数据集的构建与标注；2)利用数据增强算法进行数据扩充；3)训练得到实例分割模型并将玻璃绝缘子所在区域的最小外接多边形图像切割下来，作为下一步关键点检测的数据集；4)标注关键点检测数据集并做数据扩充；5)设计一个端到端的关键点检测模型，不断调优训练；6)将训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的玻璃绝缘子图片输入训练好的实例分割模型，将分割结果的区域切割下来输入到训练好的关键点检测模型，得到图中各玻璃绝缘子片所在位置关键点的坐标值。本发明专利技术可提高玻璃绝缘子片定位的速度和精确度。

【技术实现步骤摘要】
一种基于端到端关键点检测的玻璃绝缘子片定位方法
本专利技术涉及图像模式识别与计算机视觉的
，尤其是指一种基于端到端关键点检测的玻璃绝缘子片定位方法。
技术介绍
绝缘子在输电网中是非常重要且常见的部件，起着绝缘以及支撑等作用，一旦出现故障，就会造成输电线之间或者与杆塔发生接触，从而导致供电中断的事故，对社会经济和民生带来很大的影响。在当前输电线的绝缘子用量中，由于玻璃绝缘子自爆淘汰，无需测零且抗老化性能优异的良好特性，占据接近三分之一的比重，然而玻璃绝缘子在运维过程中仍然会出现一些棘手的问题，如自爆率过高等，因此正确地识别定位到玻璃绝缘子并统计玻璃绝缘子片数，找到自爆缺陷并及时采取补救措施，是电力运维中很重要的一部分工作。传统的玻璃绝缘子自爆检测方法为人工巡视方式，取决于人工判读，这种方式不仅效率低下，也需要大量的人力成本，且玻璃绝缘子所处的环境大多在高压环境下的变电站或是地理环境恶劣多样的野外输电线路中，人工巡视的方式会对工作人员的人身安全带来威胁。近几年来，在“智能电网”的大趋势下，无人机被广泛应用到电网的巡检运维当中，巡检效率大大提高，于是收集存储了大量的电力设备状态图像，如何合理有效地运用这些图片成为进一步智能化运维工作的重要一步。目前与玻璃绝缘子自爆检测的相关研究，大多采用的是传统的图像处理技术，以玻璃绝缘子在图像中呈现浅绿色以及椭圆形的轮廓的先验知识对玻璃绝缘子进行分割提取，这种前提的设定大大限制了其算法的普适性，无法应用于背景复杂的真实环境当中。另外也有研究采用的是深度学习方法，主要分为三个阶段，第一阶段是使用目标检测或者实例分割算法对整串玻璃绝缘子进行定位识别；第二阶段进一步定位每片绝缘子所在位置，对第一阶段得到的整串玻璃绝缘子所在的ROI区域做进一步的玻璃绝缘子单片实例分割；第三阶段采取启发式的方法计算玻璃绝缘子各片之间的距离以识别出存在的自爆缺陷。整个算法流程分为三个阶段是较为合理可行的，但在第二个阶段中为了能够对各种场景下的玻璃绝缘子做到精确的分割以得到各片绝缘子的位置信息而继续采取实例分割的算法，其模型复杂度过高，难以做到实时的要求，且对大量图像数据集中的每片玻璃绝缘子的轮廓进行标注需要大量的人力和时间。为了简化以上所述第二阶段的各片绝缘子定位算法，专利技术一种适应复杂背景且又能达到实时和精确度高的要求的玻璃绝缘子图片定位方法具有较高的实际应用价值。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于端到端关键点检测的玻璃绝缘子片定位方法，主要利用数据增强算法扩充玻璃绝缘子训练数据，再设计一种适合于玻璃绝缘子图像的端到端的关键点检测模型，并不断调参重复训练，提高玻璃绝缘子片的定位精度。为实现上述目的，本专利技术所提供的技术方案为：一种基于端到端关键点检测的玻璃绝缘子片定位方法，包括以下步骤：1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有玻璃绝缘子的图片，称为玻璃绝缘子图片，然后以玻璃绝缘子图片构建实例分割数据集，运用图像标注工具人工标注整串玻璃绝缘子所在区域；2)利用数据增强算法对所有原始数据集进行数据扩充，增大数据量；3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出整串玻璃绝缘子所在区域的实例分割模型，运用该实例分割模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；4)运用图像标注工具人工标注关键点检测数据集中每片玻璃绝缘子的外环玻璃边缘的中心点作为玻璃绝缘子片的关键点，使用数据增强算法进行数据扩充；5)针对关键点检测数据集，设计一种端到端的关键点检测模型，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的关键点检测模型；6)将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的玻璃绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部玻璃绝缘子区域，输入到训练好的关键点检测模型中，得到图中各玻璃绝缘子片所在位置关键点的坐标值，从而实现玻璃绝缘子片的准确定位。在步骤1)中，收集得到的玻璃绝缘子图片皆为宽8688、高5792的高清可见光图，由于直接对这样高清的图像进行训练会占据很多内存空间，所以在保证图片清晰度的情况下，将全部图片调整大小即插值为保证宽高比不变的宽1448、高965的图片再进行标注与训练；此外，为了步骤3)中切割出来的玻璃绝缘子所在区域尽可能地不包含背景，标注范围为整串玻璃绝缘子的最小外接多边形。在步骤2)中，利用数据增强算法对图像进行数据扩充，包括：a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；b、随机图像裁剪：随机裁剪出整幅图像的五分之四；c、随机水平翻转；d、随机对比度与色彩转变。在步骤3)中，采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度，该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜；运用该模型对实例分割数据集中的每张图片进行分割，便能够得到每张图片中每个玻璃绝缘子串所在区域的掩膜以及其最小外接矩对应的图像部分，假设为R，计算掩膜二值图的角度也就是图像中该玻璃绝缘子的朝向角度，并利用该角度对R进行旋转，使得R中的玻璃绝缘子处于水平方向，最后根据掩膜将玻璃绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据，这样处理的好处是切割下来的图像区域将最小程度地包含图像背景，且玻璃绝缘子都处在水平的方向，大大减小了关键点检测模型将要学习的场景复杂度。在步骤4)中，运用图像标注工具labelme人工标注关键点检测数据集中每片玻璃绝缘子的外环玻璃边缘的中心点作为玻璃绝缘子片的关键点，标注类型选择为point，且标注的顺序要严格地遵守为逐行从左到右，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应；为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括：a、随机水平或者垂直翻转；b、随机对比度与色彩转变。在步骤5)中，设计一种适合于玻璃绝缘子的端到端的关键点检测模型，具体情况如下：a、网络结构将输入图像大小调整插值到一个固定的宽高，但要保证输入到网络中的图像宽高都为16的倍数，设网络输入的图像规格为[b×3×h×w]，其中b为batchsize，3为图片的RGB三个通道数，h为图片的高，w为图片的宽；整个网络结构分成3个主要部分：特征提取骨干网络backbone、关键点坐标回归分支coord_head和概率热图预测分支heatmap_head，其中coord_head与heatmap_head为并行结构，各部分具体含义及详细结构如下；特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果好且被广泛应用的Hour本文档来自技高网...

【技术保护点】
1.一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，包括以下步骤：/n1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有玻璃绝缘子的图片，称为玻璃绝缘子图片，然后以玻璃绝缘子图片构建实例分割数据集，运用图像标注工具人工标注整串玻璃绝缘子所在区域；/n2)利用数据增强算法对所有原始数据集进行数据扩充，增大数据量；/n3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出整串玻璃绝缘子所在区域的实例分割模型，运用该实例分割模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；/n4)运用图像标注工具人工标注关键点检测数据集中每片玻璃绝缘子的外环玻璃边缘的中心点作为玻璃绝缘子片的关键点，使用数据增强算法进行数据扩充；/n5)针对关键点检测数据集，设计一种端到端的关键点检测模型，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；/n6)将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的玻璃绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部玻璃绝缘子区域，输入到训练好的关键点检测模型中，得到图中各玻璃绝缘子片所在位置关键点的坐标值，从而实现玻璃绝缘子片的准确定位。/n...

【技术特征摘要】
1.一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，包括以下步骤：
1)收集电力巡检过程中拍摄的电力设备可见光图，整理出其中主要含有玻璃绝缘子的图片，称为玻璃绝缘子图片，然后以玻璃绝缘子图片构建实例分割数据集，运用图像标注工具人工标注整串玻璃绝缘子所在区域；
2)利用数据增强算法对所有原始数据集进行数据扩充，增大数据量；
3)使用实例分割模型对实例分割数据集进行训练，得到能够精确分割出整串玻璃绝缘子所在区域的实例分割模型，运用该实例分割模型对实例分割数据集中的每张图片进行分割，并将分割得到的区域切割保存下来，汇总成为关键点检测数据集；
4)运用图像标注工具人工标注关键点检测数据集中每片玻璃绝缘子的外环玻璃边缘的中心点作为玻璃绝缘子片的关键点，使用数据增强算法进行数据扩充；
5)针对关键点检测数据集，设计一种端到端的关键点检测模型，设定不同的参数对模型进行调试训练，保存在验证集中表现最好的模型；
6)将以上训练好的实例分割模型和关键点检测模型串联起来工作：将待检测的玻璃绝缘子图片输入训练好的实例分割模型中，将分割结果的区域切割下来即局部玻璃绝缘子区域，输入到训练好的关键点检测模型中，得到图中各玻璃绝缘子片所在位置关键点的坐标值，从而实现玻璃绝缘子片的准确定位。


2.根据权利要求1所述的一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，在步骤1)中，收集得到的玻璃绝缘子图片皆为宽8688、高5792的高清可见光图，由于直接对这样高清的图像进行训练会占据很多内存空间，所以在保证图片清晰度的情况下，将全部图片调整大小即插值为保证宽高比不变的宽1448、高965的图片再进行标注与训练；此外，为了步骤3)中切割出来的玻璃绝缘子所在区域尽可能地不包含背景，标注范围为整串玻璃绝缘子的最小外接多边形。


3.根据权利要求1所述的一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，在步骤2)中，利用数据增强算法对图像进行数据扩充，包括：
a、随机图像旋转：旋转的角度在-20度到+20度之间随机选取；
b、随机图像裁剪：随机裁剪出整幅图像的五分之四；
c、随机水平翻转；
d、随机对比度与色彩转变。


4.根据权利要求1所述的一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，在步骤3)中，采用的实例分割模型为Yolact++，该模型是一阶段的实时实例分割模型Yolact的改进版，进一步提高了整体模型的运行速度以及分割精确度，该模型将实例分割分成两个并行的子任务：一是生成一组原型掩膜，二是预测每个掩膜的系数，最后再将原型掩膜和掩膜的系数进行线性组合来生成实例掩膜；运用该模型对实例分割数据集中的每张图片进行分割，便能够得到每张图片中每个玻璃绝缘子串所在区域的掩膜以及其最小外接矩对应的图像部分，假设为R，计算掩膜二值图的角度也就是图像中该玻璃绝缘子的朝向角度，并利用该角度对R进行旋转，使得R中的玻璃绝缘子处于水平方向，最后根据掩膜将玻璃绝缘子所在的最小外接矩区域切割出来作为关键点检测部分的图像数据，这样处理的好处是切割下来的图像区域将最小程度地包含图像背景，且玻璃绝缘子都处在水平的方向，减小了关键点检测模型将要学习的场景复杂度。


5.根据权利要求1所述的一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，在步骤4)中，运用图像标注工具labelme人工标注关键点检测数据集中每片玻璃绝缘子的外环玻璃边缘的中心点作为玻璃绝缘子片的关键点，标注类型选择为point，且标注的顺序要严格地遵守为逐行从左到右，以便于后续计算关键点坐标回归的时候与预测出来的坐标点相互对应；为了避免模型过拟合以及提高模型的泛化能力，使用数据增强算法进行数据扩充，包括：
a、随机水平或者垂直翻转；
b、随机对比度与色彩转变。


6.根据权利要求1所述的一种基于端到端关键点检测的玻璃绝缘子片定位方法，其特征在于，在步骤5)中，设计一种适合于玻璃绝缘子的端到端的关键点检测模型，具体情况如下：
a、网络结构
将输入图像大小调整插值到一个固定的宽高，但要保证输入到网络中的图像宽高都为16的倍数，设网络输入的图像规格为[b×3×h×w]，其中b为batchsize，3为图片的RGB三个通道数，h为图片的高，w为图片的宽；
整个网络结构分成3个主要部分：特征提取骨干网络backbone、关键点坐标回归分支coord_head和概率热图预测分支heatmap_head，其中coord_head与heatmap_head为并行结构，各部分具体含义及详细结构如下；
特征提取骨干网络backbone的作用是提取特征，参考的是在人体姿态估计中效果好且被广泛应用的HourglassNet，HourglassNet采用类似沙漏的下采样-上采样结构的基础模块Hourglass模块串接而...

【专利技术属性】
技术研发人员：田联房，高熠，杜启亮，高亭，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44