基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法技术

本发明专利技术公开了基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法，包括以下步骤：数据处理，采集挂点三角板数据，并将数据进行标注，随机将数据按照总数的80％、20％进行分组，通过统计得到的三角板的一个通用3D关键点模型；模型构建工作，构建三个卷积神经网络，分别用来检测三角板在视场中的位置、精确分割三角板，找到三角板轮廓、准确识别关键点，如三个处于拐角处的螺钉、螺帽；目标对齐，与上述3D通用关键点模型联合计算三角板姿态，并做对齐；缺陷识别，通过对边缘的线性估计，判断三角板的边缘腐蚀缺陷。本发明专利技术使得对缺陷的识别从宏观和微观两个角度都能得到识别和分析，实现了端到端的全方位分析，并能达到识别率高、误报低的效果。低的效果。低的效果。

【技术实现步骤摘要】
基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法


[0001]本专利技术涉及深度学习与图像识别
，具体为基于CNN的绝缘子串 挂点三角板的姿态估计与缺陷识别方法。

技术介绍

[0002]特高压输电技术近年来在中国得到了突飞猛进的发展，该技术解决了煤 炭在矿产地转化成电能之后的远距离传输问题。我国幅员辽阔，并且用电需 求大，用电区域广，因此在特高压输电线路的基础建设上投入巨大，并且像 高铁一样，建成了四通八达的输电网络，每基杆塔都需要进行例行巡视，以 确保居民、生产等方面的电力供应稳定；按照巡检一次来计算，总数据量约 1.5亿～3亿张照片。如此海量数据是无法通过人眼判图的方式来进行缺陷识 别的。
[0003]因此，使用人工智能技术，准确高效，能够真正取代人眼判图的缺陷识 别方法是具有重要价值的，输电线路图像缺陷识别技术主要对输电线路中绝 缘子以及导线进行缺陷识别，通过图像识别技术自动识别线路缺陷，避免了 人眼识别缺陷的偏差与失误，提升了巡检的效率。现有技术中，由于电力输 运系统中的器件挂载位置特别(远离地面)，器件分布离散，导致线路检修成 本较高，因此线路电路器件如绝缘子等的破损检测技术越来越重要。
[0004]目前图像缺陷识别检测技术是基于传统的特征提取方法，如hog(方向梯 度直方图)、lbp(局部二值模式)等特征识别方法，而通过传统的特征提取方 法的描述生成过程冗长，导致速度慢、实时性差、对噪点敏感以及检测准确 度和查全率低等特点，为此提出基于CNN的绝缘子串挂点三角板的姿态估计 与缺陷识别方法。
[0005][0006][0007]
技术实现思路

[0008]本专利技术的目的在于提供基于CNN的绝缘子串挂点三角板的姿态估计与缺 陷识别方法，以解决上述
技术介绍
中提出的问题。
[0009]为实现上述目的，本专利技术提供如下技术方案：
[0010]基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法，包括以下 步骤：
[0011]步骤S1，数据处理，采集挂点三角板数据，并将数据进行标注，随机将 数据按照总数的80％、20％进行分组，其中占80％的一组作为训练集，占20％ 的数据作为测试集；将所有数据集中，符合正视规则三角板图像划出，然后 通过统计得到的三角板的一个通用3D关键点模型；
[0012]步骤S2，模型构建工作，构建三个卷积神经网络，分别用来检测三角板 在视场中的位置、精确分割三角板，找到三角板轮廓、准确识别关键点，如 三个处于拐角处的螺钉、螺帽；构建特征提取与比对模型，训练符合情况的 螺钉的特征；
[0013]步骤S3，目标对齐，检测到三角板关键点以后，与上述3D通用关键点模 型联合计算三角板姿态，并做对齐；
[0014]步骤S4，缺陷识别，通过对边缘的线性估计，判断三角板的边缘腐蚀缺 陷；通过对三角板平面的棋盘式色彩分析，判断三角板的表面腐蚀；通过对 螺钉、螺帽的特征提取与比对，检测螺帽脱落，螺钉脱销等缺陷；
[0015]进一步的，所述步骤S1数据处理中，数据预处理，用于生成神经网络训 练过程中的正例和反例，比例分别为80％和20％。
[0016]根据第一级神经网络，主要用于检测三角板的位置，包括以下步骤：
[0017]1、图像输入前执行增强任务，主要增强方法包括色彩变换、图像扭曲；
[0018]2.采用图像金字塔技术，将图像进行抠取，缩放操作，已实现目标的多 尺度；
[0019]3.网络采用5级基于3*3卷积核的下采样卷积；
[0020]4.采用5级特征金字塔特征融合技术，将每一级下采样的卷积输出都与 相邻下采样特征相融合；
[0021]5.误差采用GIOU技术，具体为其中IOU为实际标注 框与网络预测框的交并比，Ac为两个框最小闭包区域面积；
[0022]“姿态估计维度”数据预处理，用于生成三角板的3D通用坐标；
[0023]在关键点定位的基础上，结合前述3D通用关键点，推算出当前关键点的 3D坐标；
[0024]通过推算出的关键点3D坐标，计算对应的仿射变换矩阵，实现三角板的 对齐操作；
[0025]进一步的，所述步骤S2模型构建工作中，构建了三种神经网络，其三个 神经网络采用级联式操作，后者的输入是前者的输出，具体的，三个神经网 络情况如下：
[0026]第一级神经网络采用深度卷积神经网络，采用图像金字塔和特征金字塔 相结合，采用边框回归的方式进行目标的精准定位。
[0027]第二级神经网络采用深度神经分割网络，在精准定位的基础上，采用端 到端的像素映射，实现对三角板的像素级标注，实现三角板的边缘检测；
[0028]第三级神经网络采用深度回归神经网络，通过对三角板关键点位置的回 归，达到检测三角板中关键点的目的；
[0029]进一步的，所述步骤S4缺陷识别中，第一级神经网络，采用边框回归的 方式进行目标的精准定位，包括以下步骤；
[0030]1.图像输入前执行增强任务，主要增强方法包括色彩变换、图像扭曲；
[0031]2.采用图像金字塔技术，将图像进行抠取，缩放操作，已实现目标的多 尺度；
[0032]3.网络采用5级基于3*3卷积核的下采样卷积；
[0033]4.采用5级特征金字塔特征融合技术，将每一级下采样的卷积输出都与 相邻下采样特征相融合；
[0034]5.误差采用GIOU技术，具体为其中IOU为实际标注 框与网络预测框的交并比，Ac为两个框最小闭包区域面积。
[0035]根据第二级神经网络，首先提取三角板轮廓，包括以下步骤：
[0036]1.网络采用五级基于3*3的下采样卷积；
[0037]2.网络采用五级基于3*3的上采样卷积；
[0038]3.采用特征融合技术，上采样过程中，每一级特征与下采样的所有级特 征相融合；
[0039]4.误差采用全像素的最小均方误差(MSE)，具体为：其中M为输入图像宽，N为输入图像的高，y
i
和y
’
i
分别为真实值和网络输出值。
[0040]再对于三角板整体的缺陷分析采用的是边缘检测结合线性分析的方法， 包括以下步骤：
[0041]1、通过贝塞尔曲线技术，精确地弥补了神经网络实现的三角板分割边缘 不平齐的问题，得到平滑，连续的三角板边缘；
[0042]2.Hough变换技术，最大限度的检测直线，曲率；
[0043]3.在此基础上，采用直线匹配，曲率匹配技术，得到三角板的边缘缺失、 三角板变形等缺陷。
[0044]根据第三级神经网络，通过对三角板关键点位置的回归，达到检测三角 板中关键点的目的；包括以下步骤：
[0045]1.采用MobileNet作为特征提取网络；
[0046]2.在MobileNet特征提取网络之后，采用一级基于3*3的卷积网络和三 级全连接网络，构造成一个(1,2*N)的输出矩阵，N为特征点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法，其特征在于，包括以下步骤：步骤S1，数据处理，采集挂点三角板数据，并将数据进行标注，随机将数据按照总数的80％、20％进行分组，其中占80％的一组作为训练集，占20％的数据作为测试集；将所有数据集中，符合正视规则三角板图像划出，然后通过统计得到的三角板的一个通用3D关键点模型；步骤S2，模型构建工作，构建三个卷积神经网络，分别用来检测三角板在视场中的位置、精确分割三角板，找到三角板轮廓、准确识别关键点，如三个处于拐角处的螺钉、螺帽；构建特征提取与比对模型，训练符合情况的螺钉的特征；步骤S3，目标对齐，检测到三角板关键点以后，与上述3D通用关键点模型联合计算三角板姿态，并做对齐；步骤S4，缺陷识别，通过对边缘的线性估计，判断三角板的边缘腐蚀缺陷；通过对三角板平面的棋盘式色彩分析，判断三角板的表面腐蚀；通过对螺钉、螺帽的特征提取与比对，检测螺帽脱落，螺钉脱销等缺陷。2.根据权利要求1所述的基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法，其特征在于：所述步骤S1数据处理中，数据预处理，用于生成神经网络训练过程中的正例和反例，比例分别为80％和20％。根据第一级神经网络，主要用于检测三角板的位置，包括以下步骤：1、图像输入前执行增强任务，主要增强方法包括色彩变换、图像扭曲；2.采用图像金字塔技术，将图像进行抠取，缩放操作，已实现目标的多尺度；3.网络采用5级基于3*3卷积核的下采样卷积；4.采用5级特征金字塔特征融合技术，将每一级下采样的卷积输出都与相邻下采样特征相融合；5.误差采用GIOU技术，具体为其中IOU为实际标注框与网络预测框的交并比，Ac为两个框最小闭包区域面积；“姿态估计维度”数据预处理，用于生成三角板的3D通用坐标；在关键点定位的基础上，结合前述3D通用关键点，推算出当前关键点的3D坐标；通过推算出的关键点3D坐标，计算对应的仿射变换矩阵，实现三角板的对齐操作。3.根据权利要求2所述的基于CNN的绝缘子串挂点三角板的姿态估计与缺陷识别方法，其特征在于：所述步骤S2模型构建工作中，构建了三种神经网络，其三个神经网络采用级联式操作，后者的输入是前者的输出，具体的，三个神经网络情况如下：第一级神经网络采用深度卷积神经网络，采用图像金字塔和特征金字塔相结合，采用边框回归的方式进行目标的精准定位。第二级神经网络采用深度神经分割网络，在精准定位的基础上，采用端到端的像素映射，实现对三角板的像素级标注，实现三角板的边缘检测；第三级神经网络采用深度回归神经网...

【专利技术属性】
技术研发人员：赛吉尔呼，盛晓飞，
申请(专利权)人：山东超景深信息科技有限公司，
类型：发明
国别省市：