一种输电线路销钉缺陷检测方法、设备及介质技术

本发明专利技术涉及一种输电线路销钉缺陷检测方法，包括以下步骤：收集包含销钉的输电线路巡检影像并进行预处理，得到销钉图像数据集；构建小目标检测模型；利用所述销钉图像数据集对所述小目标检测模型进行训练，得到销钉检测模型；从所述销钉图像数据集中的图像里裁剪出包含销钉的目标框子图；对目标框子图进行预处理，并为图像中销钉的添加缺陷标签，得到销钉缺陷数据集；构建分类模型，利用所述销钉缺陷数据集对所述分类模型进行训练，得到销钉缺陷检测模型；输入待检测的图像，通过销钉检测模型检测图像中的销钉，并输出目标框；根据目标框进行剪裁，得到目标框子图，将目标框子图输入至销钉缺陷检测模型检测是否存在缺陷，并输出结果。出结果。出结果。

【技术实现步骤摘要】
一种输电线路销钉缺陷检测方法、设备及介质


[0001]本专利技术涉及一种输电线路销钉缺陷检测方法、设备及介质，属于小目标检测、输电线路巡检


技术介绍

[0002]对于传统的销钉检测，通过人工攀爬的方式是主要手段，费时又费力，但由于销钉具有在输电线路中分布十分广泛以及规格样式多变的特点，使其检查变得更加困难。随着无人机技术的发展，其体积较小和高安全性的特点使其在电力巡检中被大量运用，极大的提高了巡检效率。但是针对销钉数量多、尺寸小的情况，巡检人员通过只能通过放大、拉动的方式，对无人机巡检图像所示的销钉进行逐一检查，这可能会导致极高的工作量以及漏检率。而且航拍图像中缺销钉与正常销钉的视觉差异极小，缺陷特征的不规则性使得航拍图像中缺销钉的缺陷特征分类更具挑战性。
[0003]目前无人机输电线路巡检图像中对销钉缺陷的检测主要是采用深度学习算法。其中比较接近的是采用Faster
‑
RCNN算法对销钉进行缺陷检测，其主要包括3个部分：特征提取网络CNN，目标检测网络RCNN与区域建议网络(region proposal network，RPN)。首先，特征提取网络部分使用VGG16作为网络框架，对输入的图片提取浅层特征，输出得到的特征图作为区域建议网络RPN的输入；然后在RPN中对该特征图采用滑动窗口遍历卷积，将特征图映射为一个低维向量，分别送入分类层与回归定位层，输出可能包括目标物的建议框；目标检测网络RCNN结合CNN输出的特征图与RPN输出的区域建议框，首先利用非极大值抑制算法得到感兴趣区域(region of interest，ROI)，再通过ROI池化层，将ROI下采样至某一固定尺寸。通过全连接层得到ROI的低维特征向量，最后送入SoftMax分类器，进一步调整目标分类置信度和定位矩形框位置。该算法对于面积较大和特征较明显的目标物有较好的检测效果。对于销钉这类小目标检测精度低，漏检率和误检率较高。因此，如何针对销钉图像背景大体积小导致漏检率高、缺陷特征不明显导致误检率高的特点，在海量图像中准确的定位销钉并识别出销钉是否异常是一个急需解决的问题。

技术实现思路

[0004]为了解决上述现有技术中存在的问题，本专利技术提出了一种输电线路销钉缺陷检测方法，针对销钉体积小的特点建立有小目标检测模型和分类模型，利用小目标检测模型框出销钉位置并进行剪裁，再将剪裁后的目标框子图输入到分类模型进行销钉缺陷检测，改善输电线路巡检图像中销钉缺陷识别误检率高的问题。
[0005]本专利技术的技术方案如下：
[0006]一方面，本专利技术提供一种输电线路销钉缺陷检测方法，包括以下步骤：
[0007]制作销钉图像数据集；收集包含销钉的输电线路巡检影像并进行预处理，得到销钉图像数据集；
[0008]构建基于神经网络的小目标检测模型；利用所述销钉图像数据集对所述小目标检
测模型进行训练，得到销钉检测模型；
[0009]制作缺陷数据集，从所述销钉图像数据集中的图像里裁剪出包含销钉的目标框子图；对目标框子图进行预处理，并为图像中销钉的添加缺陷标签，得到销钉缺陷数据集；
[0010]构建基于神经网络的分类模型，利用所述销钉缺陷数据集对所述分类模型进行训练，得到销钉缺陷检测模型；
[0011]输入待检测的图像，通过销钉检测模型检测图像中的销钉，并输出检测到销钉的目标框的位置信息；根据目标框的位置信息对图像进行剪裁，得到目标框子图，将目标框子图输入至销钉缺陷检测模型检测是否存在缺陷，并输出结果。
[0012]作为优选实施方式，所述小目标检测模型包括两部分，其中：
[0013]第一部分包括一VGG16特征提取网络，所述VGG16特征提取网络嵌入有一FM聚焦模块；通过VGG16特征提取网络提取输入图像的特征矩阵；所述FM聚焦模块对特征矩阵先进行一个全局平均池化操作，得到1
×1×
Channel的特征矩阵，然后进行一个特征交互过程，先压缩通道数再重构回原来通道，最后经过sigmoid函数，生成channel间0～1的注意力权重再乘回原输入的特征矩阵；将图像分为多个尺寸的子模块后，分批次输出至第二部分；
[0014]第二部分包括ResNet101网络、RPN层以及FC分类层；所述ResNet101网络包括依次连接的RS1～RS4四个残差块，每一残差块均包括卷积、池化和ReLU激活函数操作，提取输入数据的特征矩阵；ResNet101网络提取的特征矩阵输出至RPN层，RPN层根据输入的特征矩阵输出感兴趣区域RoI至FC分类层；FC分类层包括全连接层、Softmax函数和位置回归函数，对所述感兴趣区域RoI的位置进行校正，输出目标框。
[0015]作为优选实施方式，在所述RS3模块中，嵌入有特征强化操作；所述特征强化操作采用双线性插值法提高特征的分辨率，具体为：
[0016]设F(w
i
,h
j
)为特征图上任意一点的特征值，则任意位置F(w
i
+u,h
j
+v)的计算公式为：
[0017][0018]且在ResNet101网络中，使用多尺度特征融合方法，将RS2模块输出的特征矩阵与RS3模块输出的增强后的特征矩阵进行融合，得到融合后的特征矩阵再输出至RPN层。
[0019]作为优选实施方式，所述RPN层在学习过程中，设定以下损失函数度量预测目标框与真实框之间的偏差：
[0020][0021]其中，i是建议框的索引数，d
i
是建议框i成为目标的预测概率，是真实框的标签，u
i
是表示预测目标框的四个参数化坐标的向量，是与u
i
相关联的真实框，N
reg
代表锚点位置的数量，N
cls
是对应于训练图像的常数，L
cls
和L
reg
由N
cls
和N
reg
归一化得到，λ代表一个平衡权重，L({d
i
},{u
i
})是分类回归后得到的最终损失。
[0022]作为优选实施方式，所述销钉缺陷检测模型检测采用EfficientNet
‑
B0网络，包括16个MBConv层、2个卷积层、1个全局平均池化层和1个FC分类层；
[0023]所述销钉缺陷检测模型采用迁移学习的方法训练网络。
[0024]另一方面，本专利技术还提供一种输电线路销钉缺陷检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任一实施例所述的检测方法。
[0025]再一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的检测方法。
[0026]本专利技术具有如下有益效果：
[0027]1、本专利技术一种输电线路销钉缺陷检测方法，针对销钉体积小的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输电线路销钉缺陷检测方法，其特征在于，包括以下步骤：制作销钉图像数据集；收集包含销钉的输电线路巡检影像并进行预处理，得到销钉图像数据集；构建基于神经网络的小目标检测模型；利用所述销钉图像数据集对所述小目标检测模型进行训练，得到销钉检测模型；制作缺陷数据集，从所述销钉图像数据集中的图像里裁剪出包含销钉的目标框子图；对目标框子图进行预处理，并为图像中销钉的添加缺陷标签，得到销钉缺陷数据集；构建基于神经网络的分类模型，利用所述销钉缺陷数据集对所述分类模型进行训练，得到销钉缺陷检测模型；输入待检测的图像，通过销钉检测模型检测图像中的销钉，并输出检测到销钉的目标框的位置信息；根据目标框的位置信息对图像进行剪裁，得到目标框子图，将目标框子图输入至销钉缺陷检测模型检测是否存在缺陷，并输出结果。2.根据权利要求1所述的一种输电线路销钉缺陷检测方法，其特征在于，所述小目标检测模型包括两部分，其中：第一部分包括一VGG16特征提取网络，所述VGG16特征提取网络嵌入有一FM聚焦模块；通过VGG16特征提取网络提取输入图像的特征矩阵；所述FM聚焦模块对特征矩阵先进行一个全局平均池化操作，得到1
×1×
Channel的特征矩阵，然后进行一个特征交互过程，先压缩通道数再重构回原来通道，最后经过sigmoid函数，生成channel间0～1的注意力权重再乘回原输入的特征矩阵；将图像分为多个尺寸的子模块后，分批次输出至第二部分；第二部分包括ResNet101网络、RPN层以及FC分类层；所述ResNet101网络包括依次连接的RS1～RS4四个残差块，每一残差块均包括卷积、池化和ReLU激活函数操作，提取输入数据的特征矩阵；ResNet101网络提取的特征矩阵输出至RPN层，RPN层根据输入的特征矩阵输出感兴趣区域RoI至FC分类层；FC分类层包括全连接层、Softmax函数和位置回归函数，对所述感兴趣区域RoI的位置进行校正，输出目标框。3.根据权利要求2所述的一种输电线路销钉缺陷检测方法，其特征在于，在所述RS3模块中，嵌入有特征强化操作；所述特征强化操作...

【专利技术属性】
技术研发人员：陈杰，朱兴红，孙嫱，沈滨，汤奕琛，赵凌杰，沈如榕，
申请(专利权)人：国网福建省电力有限公司，
类型：发明
国别省市：