一种输电线路销钉缺失自动检测神经网络集成方法技术

本发明专利技术提出一种输电线路销钉缺失自动检测神经网络集成方法，该方法将基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络集成；对上述五种网络进行单独训练并评价，生成不同的检测模型；然后，对上述五种网络输出的预测框进行投票；进而，对输出的预测框的类别置信度进行加权投票。所提方法能提高输电线路销钉区域检测精度，降低漏检和错检的数量。降低漏检和错检的数量。

【技术实现步骤摘要】
一种输电线路销钉缺失自动检测神经网络集成方法


[0001]本专利技术属于电力巡检输电线路销钉缺失检测领域，具体涉及一种输电线路销钉缺失自动检测神经网络集成方法。

技术介绍

[0002]在输电线路中，螺栓和销钉作为紧固件广泛应用于各部件之间的连接，使整个结构稳定，但由于长期暴露在自然环境中，容易发生螺栓破损和销钉丢失的情况，造成大面积输电线路故障隐患。销钉缺失属于危急缺陷，因此，需要定期对输电线路进行巡检，及时检查和维修线路设备，保证电网安全稳定运行。目前，主要靠经验丰富的审核人员对无人机携带回的大量巡检图片做检查，这种方式耗费大量的人力，并且容易造成误检漏检。
[0003]近年来，深度学习发展迅速，在目标检测领域取得了极大的突破，通过算法在图像中自动并且准确的定位缺陷目标成为了可能，因此深度学习被越来越多的应用于电力巡检中，将目标检测算法引入输电线路器件缺陷检测的工作有很多，有采用分类网络和基于区域建议的FasterRCNN网络连接的方法识别绝缘子自爆，通过改进基于区域建议的FasterRCNN网络检测绝缘子、防震锤器件和缺陷目标。这些方法只能适应于大中规模的电力元器件的检测，销钉是一种极小的元器件，人类肉眼都难以分辨。电力巡检中缺损元器件的数据一直都难以收集，常规的目标检测算法很难克服销钉检测中目标太小；并且，数据集过少造成的检测精度过低的难题。
[0004]因此，本专利技术提出一种输电线路销钉缺失自动检测神经网络集成方法，该方法通过集成五种目标检测网络的检测结果来输出最终的检测结果，能提高小目标的检测精度；由于集成五种网络的输出，最终的检测精度无论是针对小目标还是普通规模的目标都能得到高于单个网络的检测精度。

技术实现思路

[0005]本专利技术提出一种输电线路销钉缺失自动检测神经网络集成方法，该方法将5种目标检测网络进行集成，综合每个网络的输出结果进行销钉缺失的检测；5种目标检测网络为基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络；所述方法包含以下步骤：
[0006]步骤(1)：设计反映每个网络对于输电线路销钉缺失检测结果的数据指标和评价指标；对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络用无人机航拍得到的输电线路销钉数据集进行训练，用同样的测试数据集对每个经过训练的网络进行测试，得到输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；所述每个网络对于输电线路销钉缺失检测结果的数据指标有真正值TP、假正值FP和假负值FN；表达式如下：
[0007][0008][0009][0010]式中，T是阈值，值为0.5；IOU是交并比，用来衡量目标检测网络输出的预测框与真实边界框的重叠程度，实边界框的重叠程度，表示真实的标注的边界框集合中第i个真实的标注矩形框，表示检测出来的预测框集合中第j个检测出的预测框，i∈[1,n]，j∈[1,m]，n表示集合的元素数量，m表示集合的元素数量，表示边界框与边界框的交集，表示边界框与边界框的并集，|
·
|表示面积，是逻辑表达式，结果为1或0；
[0011]所述每个网络对于检测性能的评价指标包括精准率P、召回率R、重合度Q、检测质量评分S：
[0012][0013][0014][0015][0016]式中，w1表示精准率和召回率的权重因子，w2表示重合度的权重因子；w1，w2∈[0，1]，w1+w2＝1；
[0017]步骤(2)：采用两步集成方法对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络的输出结果进行集成，得到最终的输出；
[0018]待输电线路销钉缺失自动检测神经网络集成方法检测的目标种类有两种：正常的销钉以及缺失的销钉；首先，对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络输出的正常销钉的检测结果进行步骤(2.1)处理，再对这5种网络输出的销钉缺失的检测结果进行步骤(2.2)处理；
[0019]步骤(2.1)：采用投票法，少数服从多数的原则，如果至少有三个网络在图片的同一位置输出预测框，就这三个网络的输出预测框合并为一个预测框；
[0020](2.1.1)从五个网络中随机挑选三个网络，共有种选择，假设第一次挑选的组合为基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络；
[0021](2.1.2)计算基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络的输出预测框的交并比为：
[0022][0023]其中，A
i
表示基于回归的SSD网络输出的预测框集合A＝{A1,A2,...,A
n
}中的第i个检测出的预测框，B
j
表示基于回归的YOLO网络输出的预测框集合B＝{B1,B2,...,B
m
}中第j个检测出的预测框，C
k
表示基于区域建议的FasterRCNN网络输出的预测框集合C＝{C1，C2,...，C
t
}中第k个检测出的预测框；t为集合C中元素的个数；公式(8)需要进行n
×
m
×
t次计算；
[0024](2.1.3)当IOU(A
i
,B
j
,C
k
)≥T时，对基于回归的EfficientDet网络输出集合进行计算：
[0025][0026]其中A
i
、B
j
和C
k
为公式(8)中选取的特定预测框，D
s
为基于回归的EfficientDet网络的输出预测框集合D＝{D1，D2，...，D
p
}中第s个检测出的预测框；p为集合D中元素的个数；如果将D
s
从基于回归的EfficientDet网络输出的预测框集合D＝{D1，D2，...，D
p
}中删除，重新按照顺序排列下标后D变为D＝{D1，D2，...，D
p
‑1}；
[0027](2.1.4)对基于区域建议的级联网络的输出集合进行计算：
[0028][0029]其中A
i
、B
j
和C
k
为公式(8)中选取的特定预测框，E
o
为基于回归的EfficientDet网络的输出预测框集合E＝{E1,E2,...,E
q
}中第o个检测出的预测框；q为集合E中元素的个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输电线路销钉缺失自动检测神经网络集成方法，其特征在于，该方法将5种目标检测网络进行集成，综合每个网络的输出结果进行销钉缺失的检测；5种目标检测网络为基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络；所述方法包含以下步骤：步骤(1)：设计反映每个网络对于输电线路销钉缺失检测结果的数据指标和评价指标；对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络用无人机航拍得到的输电线路销钉数据集进行训练，用同样的测试数据集对每个经过训练的网络进行测试，得到输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；所述每个网络对于输电线路销钉缺失检测结果的数据指标有真正值TP、假正值FP和假负值FN；表达式如下：FN；表达式如下：FN；表达式如下：式中，T是阈值，值为0.5；IOU是交并比，用来衡量目标检测网络输出的预测框与真实边界框的重叠程度，界框的重叠程度，表示真实的标注的边界框集合中第i个真实的标注矩形框，表示检测出来的预测框集合中第j个检测出的预测框，i∈[1,n]，j∈[1,m]，n表示集合的元素数量，m表示集合的元素数量，表示边界框与边界框的交集，表示边界框与边界框的并集，|
·
|表示面积，是逻辑表达式，结果为1或0；所述每个网络对于检测性能的评价指标包括精准率P、召回率R、重合度Q、检测质量评分S：分S：分S：分S：
式中，w1表示精准率和召回率的权重因子，w2表示重合度的权重因子；w1，w2∈[0,1]，w1+w2＝1；步骤(2)：采用两步集成方法对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络的输出结果进行集成，得到最终的输出；待输电线路销钉缺失自动检测神经网络集成方法检测的目标种类有两种：正常的销钉以及缺失的销钉；首先，对基于回归的SSD网络、基于回归的YOLO网络、基于回归的EfficientDet网络、基于区域建议的FasterRCNN网络和基于区域建议的级联网络这5种网络输出的正常销钉的检测结果进行步骤(2.1)处理，再对这5种网络输出的销钉缺失的检测结果进行步骤(2.2)处理；步骤(2.1)：采用投票法，少数服从多数的原则，如果至少有三个网络在图片的同一位置输出预测框，就这三个网络的输出预测框合并为一个预测框；(2.1.1)从五个网络中随机挑选三个网络，共有种选择，假设第一次挑选的组合为基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络；(2.1.2)计算基于回归的SSD网络、基于回归的YOLO网络、基于区域建议的FasterRCNN网络的输出预测框的交并比为：其中，A
i
表示基于回归的SSD网络输出的预测框集合A＝{A1,A2,...,A
n
}中的第i个检测出的预测框，B
j
表示基于回归的YOLO网络输出的预测框集合B＝{B1,B2,...,B
m
}中第j个检测出的预测框，C
k
表示基于区域建议的FasterRCNN网络输出的预测框集合C＝{C1,C2,...,C
t
}中第k个检测出的预测框；t为集合C中元素的个数；公式(8)需要进行n
×

【专利技术属性】
技术研发人员：高放，张荣纬，殷林飞，邹锋，金岩，刘少敏，双丰，
申请(专利权)人：广西大学，
类型：发明
国别省市：