基于关键点检测的防振锤缺陷视觉检测方法、系统及介质技术方案

本发明专利技术公开了一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质，本发明专利技术基于关键点检测的防振锤缺陷视觉检测方法包括输入包含防振锤的输电线路图像，基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。本发明专利技术能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。

Visual inspection method, system and medium of vibration damper defect based on key point detection

The invention discloses a visual detection method, system and medium of damper defect based on key point detection. The visual detection method of damper defect based on key point detection includes inputting transmission line image including damper, detecting damper target based on transmission line image to get width and height of damper boundary frame, and detecting left vertex and right vertex of damper The existence state and coordinate values of the three key points of the vertex and the middle point of the clamp body. According to the existence state and coordinate values of the three key points of the left vertex, the right vertex and the middle point of the clamp body, judge whether the damper head is missing, the hammer head is loose and deformed, and complete the detection of the damper defects. The invention can accurately identify the damper on the transmission line and detect various types of damper defects under different scales and different light intensities, has the advantages of high accuracy and good generalization, and can be widely used in the inspection of transmission line.

【技术实现步骤摘要】
基于关键点检测的防振锤缺陷视觉检测方法、系统及介质
本专利技术涉及输电线路防振锤的故障检测技术，具体涉及一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质。
技术介绍
我国架空输电线路所处地理环境复杂，长期暴露在自然环境中，容易受到恶劣气候和外力的影响，线路故障频繁发生。为了保障电力系统的安全稳定运行，避免因输电线路各部件故障而带来的安全隐患，定期对输电线路巡检是十分有必要的。输电线路上的防振锤主要是为了减少输电导线因风力扯起振动而设计的。架空输电线路杆塔较高，档距较长，风力作用导致导线发生振动。导线振动对导线的悬挂点极为不利，由于多次长久的振动，导线因周期性的拗折而发生破损或断股，因此在输电线路上悬挂导线线夹附近的位置安装一定数量的防振锤，在导线发生振动时，防振锤也随着上下运动，产生一个与导线振动不同步甚至相反的作用力，吸收、减弱导线振动的能量，从而减少导线的振幅。而若线路上的防振锤出现锤头缺失、锤头松动和防振锤形变等缺陷，将导致防振锤结构上的不对称，容易出现防振锤偏离的情况，从而使防振锤失去有效的防振作用。而传统的人工巡检耗时耗力且不可靠，无人机或机器人巡检目前尚不能自动检测，因此，采用计算机视觉技术对输电线路图像进行识别与定位，进而实现防振锤缺陷的自动检测很有必要。目前对于输电线路防振锤缺陷的检测研究只停留在输电线路上防振锤的识别与定位，关于其缺陷的研究比较少。而防振锤的识别方法主要是以传统图像技术和传统的机器学习。文献“基于随机Hough变换的OPGW防振锤识别”将输电线路图像转换到霍夫空间，并通过约束导线的倾斜角识别输电导线，约束防振锤两侧锤头的圆弧所在圆的半径与圆心坐标，实现输电线路上的防振锤检测。文献“基于类Haar特征与级联AdaBoost算法的防振锤识别”将类Haar特征与级联Adaboost算法应用于输电线路防振锤的识别，由于机器学习具有一定泛化性，该方法虽然一定程度上解决了单一类型防振锤的识别问题，但存在如下缺陷：传统的图像技术由于需要人工设计特征算子，而防振锤种类多，其在输电线路上的背景较复杂，容易受到光照和异物遮挡的影响。人工设计的特征无法全面的表达防振锤的特征信息，这导致在识别防振锤时容易出现误检和漏检的情况。而传统的机器学习算法对采集的样本图像要求较高，提取的特征较为单一，无法学习到防振锤的高层特征，以至于不能达到较好的泛化性，不适用于实际的输电线路巡检作业中。同时这些方法没有对防振锤缺陷检测做出研究。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质，本专利技术能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于关键点检测的防振锤缺陷视觉检测方法，实施步骤包括：1)输入包含防振锤的输电线路图像；2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。优选地，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。优选地，步骤2)的详细步骤包括：2.1)将输电线路图像调整至第一目标尺寸；2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；2.3)从含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。优选地，步骤2.2)中的第一神经网络模型为基于YOLOV3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。优选地，步骤2.4)中的第二神经网络模型为基于Mobilenetv2算法的全卷积神经网络模型，所述全卷积神经网络模型采用RMSE损失函数。优选地，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：S1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；S2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集，并将输电线路图像数据集划分为训练集、验证集和测试集；S3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；S4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；S5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。优选地，步骤S1)采集输电线路图像时，包本文档来自技高网...

【技术保护点】
1.一种基于关键点检测的防振锤缺陷视觉检测方法，其特征在于实施步骤包括：/n1)输入包含防振锤的输电线路图像；/n2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；/n3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。/n

【技术特征摘要】
1.一种基于关键点检测的防振锤缺陷视觉检测方法，其特征在于实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。


2.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。


3.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。


4.根据权利要求3所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2.2)中的第一神经网络模型为基于YOLOV3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同...

【专利技术属性】
技术研发人员：张迪，樊绍胜，刘又维，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43