一种基于动态感受野的输电线路销钉缺陷检测方法技术

本发明专利技术涉及一种基于动态感受野的输电线路销钉缺陷检测方法，与现有技术相比解决了输电线路销钉缺陷检测方法精度不高、鲁棒性较差的缺陷。本发明专利技术包括以下步骤：输电线路销钉缺陷样本的获取和预处理；输电线路销钉缺陷检测模型的构建；输电线路销钉缺陷检测模型的训练；待检测输电线路销钉图像的获得；输电线路销钉缺陷检测结果的获得。本发明专利技术在特征金字塔网络不同层融合过程中自适应的使用不同的感受野，充分融合了多通道的上下文信息，利用不同大小感受野和通道内信息；通过空间激活区域生成网络，增强感兴趣区域的信息获取，提高深层卷积网络的特征提取，保留更多的信息用于检测器最后的分类和回归，进一步提高销钉缺陷检测的精度和识别率。测的精度和识别率。测的精度和识别率。

【技术实现步骤摘要】
一种基于动态感受野的输电线路销钉缺陷检测方法


[0001]本专利技术涉及输电线路图像分析
，具体来说是一种基于动态感受野的输电线路销钉缺陷检测方法。

技术介绍

[0002]随着无人机航拍技术的快速发展，通过航拍获得的输电线路图像，可以提供更多更全面的观测视角，高效的捕获输电线路视觉状态的同时还具备极高的安全性。根据国家电网标准，输电线路巡检中的缺陷主要包括杆塔缺陷，绝缘子缺陷和金具类缺陷等。相比之下，销钉体积较小，数量众多，广泛存在于杆塔，连接金具之上。销钉一般安装在输电线路各个部件的连接处，起到稳固结构的作用，由于受力较大，容易产生销钉脱落，销钉松动等问题，这些都容易造成电力系统大规模停电，影响输电安全。
[0003]但是目前提出的销钉缺陷检测方法存在的问题：(1)输电线路销钉缺陷场景复杂，无人机拍摄时远近高低变化都会使得销钉缺陷的尺寸发生变化；(2)随着网络深度的增加，缺陷特征会丢失很多的信息，网络产生的感兴趣区域也会受到影响。
[0004]因此，如何融合上下文信息，更好的提取销钉缺陷特征已经成为急需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中输电线路销钉缺陷检测方法精度不高、鲁棒性较差的缺陷，提供一种基于动态感受野的输电线路销钉缺陷检测方法来解决上述问题。
[0006]为了实现上述目的，本专利技术的技术方案如下：
[0007]一种基于动态感受野的输电线路销钉缺陷检测方法，包括以下步骤：
[0008]输电线路销钉缺陷样本的获取和预处理：获取输电线路销钉缺陷样本，对缺陷样本进行数据清洗、数据增强的预处理；
[0009]输电线路销钉缺陷检测模型的构建：构建由嵌入动态感受野模块融合上下文和通道间信息的特征提取网络、嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电线路销钉缺陷检测模型；
[0010]输电线路销钉缺陷检测模型的训练：将预处理后的输电线路销钉缺陷样本送入输电线路销钉缺陷检测模型进行训练；
[0011]待检测输电线路销钉图像的获得：获得待检测输电线路销钉图像，并进行预处理；
[0012]输电线路销钉缺陷检测结果的获得：将预处理后的待检测输电线路销钉图像输入训练后的输电线路销钉缺陷检测模型，得到输电线路销钉缺陷检测结果。
[0013]所述输电线路销钉缺陷检测模型的构建包括以下步骤：
[0014]基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网络；
[0015]特征金字塔的设定：设定特征金字塔包括自下而上、自上而下和横向连接3个部
分；
[0016]设置动态感受野模块：设定动态感受野模块由两个分支组成，其为具有不同大小感受野并融合上下文和通道信息的大感受野分支、小感受野分支；
[0017]通过激活感兴趣区域的空间信息，构建空间激活的区域生成网络；
[0018]区域生成网络的设定：设定区域生成网络由两个分支组成，一个1*1*18卷积的分类分支使用softmax损失，一个1*1*36卷积的回归分支使用smooth
‑
L1损失，经过两个分支产生感兴趣区域；
[0019]设定空间激活模块由两个分支组成，其放置在每一个感兴趣区域之后，进一步激活这些区域的空间信息，具体为一个分支将所有通道的特征图对应点的像素值取平均得到一张特征图，通过平均处理更好的获取特征层的全局信息，另一个分支将所有通道的特征图对应点的像素值取最大值得到另一张特征图，通过取最大值更好的获取特征层的纹理信息，然后将这两个特征图拼接起来，再经过一个3*3的卷积层和一个sigmoid非线性函数激活，产生热力图反馈到对应的感兴趣区域；
[0020]f(x)＝σ{c[mean(x)+max(x)]}*x，
[0021]其中，c为3*3卷积,σ为sigmoid激活函数，x为输入的感兴趣区域，f(x)为激活之后的感兴趣区域，max(x)为取最大值函数，mean(x)为取平均值函数；
[0022]构建缺陷检测网络：缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测，包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smooth
‑
L1损失。
[0023]所述输电线路销钉缺陷检测模型的训练包括以下步骤：
[0024]设定输电线路销钉缺陷检测模型共训练24轮，把训练数据集图片H*W输入特征提取网络，其中，H为图片高度，W为图片宽度；
[0025]训练数据集图片H*W进入特征提取网络的自下而上部分：输入图片由5个卷积层组成，每一个卷积层由64通道的1*1卷积，64通道的3*3卷积和256通道的1*1卷积组成，分别产生C2特征层、C3特征层、C4特征层、C5四个特征层；
[0026]再进入特征提取网络的自上而下和横向连接部分：
[0027]具体为C5特征层先经过1*1卷积，得到M5特征层；M5先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层；M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层；M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层；M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；
[0028]将特征提取网络得到输出的P2特征层、P3特征层、P4特征层、P5特征层，输入嵌入空间激活模块的区域生成网络，分别在P2特征层、P3特征层、P4特征层、P5特征层四个特征层上产生感兴趣区域；
[0029]由嵌入空间激活模块的区域生成网络得到的感兴趣区域通过一个pooling层从P2特征层、P3特征层、P4特征层、P5特征层切出并输入到缺陷检测网络，缺陷检测网络全连接分支使用交叉熵损失，bounding box回归分支采用GIOU loss作为损失函数。
[0030]所述特征金字塔的设定包括以下步骤：
[0031]设定特征金字塔的自下而上部分经过5个卷积层，5个卷积层依次对应由步长2、4、
8、16、32的卷积进行特征提取，产生C2特征层、C3特征层、C4特征层、C5四个特征层；
[0032]设定特征金字塔的自上而下及横向连接部分，为C5特征层先经过1x1卷积，得到M5特征层；M5特征层先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层，M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层，M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层，M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；其中，在自上而下部分将M2特征层、M3特征层、M4特征层、M5不同层之间横向连接之后嵌入动态感受野模块。...

【技术保护点】

【技术特征摘要】
1.一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，包括以下步骤：11)输电线路销钉缺陷样本的获取和预处理：获取输电线路销钉缺陷样本，对缺陷样本进行数据清洗、数据增强的预处理；12)输电线路销钉缺陷检测模型的构建：构建由嵌入动态感受野模块融合上下文和通道间信息的特征提取网络、嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电线路销钉缺陷检测模型；13)输电线路销钉缺陷检测模型的训练：将预处理后的输电线路销钉缺陷样本送入输电线路销钉缺陷检测模型进行训练；14)待检测输电线路销钉图像的获得：获得待检测输电线路销钉图像，并进行预处理；15)输电线路销钉缺陷检测结果的获得：将预处理后的待检测输电线路销钉图像输入训练后的输电线路销钉缺陷检测模型，得到输电线路销钉缺陷检测结果。2.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述输电线路销钉缺陷检测模型的构建包括以下步骤：21)基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网络；211)特征金字塔的设定：设定特征金字塔包括自下而上、自上而下和横向连接3个部分；212)设置动态感受野模块：设定动态感受野模块由两个分支组成，其为具有不同大小感受野并融合上下文和通道信息的大感受野分支、小感受野分支；22)通过激活感兴趣区域的空间信息，构建空间激活的区域生成网络；221)区域生成网络的设定：设定区域生成网络由两个分支组成，一个1*1*18卷积的分类分支使用softmax损失，一个1*1*36卷积的回归分支使用smooth
‑
L1损失，经过两个分支产生感兴趣区域；222)设定空间激活模块由两个分支组成，其放置在每一个感兴趣区域之后，进一步激活这些区域的空间信息，具体为一个分支将所有通道的特征图对应点的像素值取平均得到一张特征图，通过平均处理更好的获取特征层的全局信息，另一个分支将所有通道的特征图对应点的像素值取最大值得到另一张特征图，通过取最大值更好的获取特征层的纹理信息，然后将这两个特征图拼接起来，再经过一个3*3的卷积层和一个sigmoid非线性函数激活，产生热力图反馈到对应的感兴趣区域；f(x)＝σ{c[mean(x)+max(x)]}*x，其中，c为3*3卷积,σ为sigmoid激活函数，x为输入的感兴趣区域，f(x)为激活之后的感兴趣区域，max(x)为取最大值函数，mean(x)为取平均值函数；23)构建缺陷检测网络：缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测，包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smooth
‑
L1损失。3.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述输电线路销钉缺陷检测模型的训练包括以下步骤：31)设定输电线路销钉缺陷检测模型共训练24轮，把训练数据集图片H*W输入特征提取网络，其中，H为图片高度，W为图片宽度；
311)训练数据集图片H*W进入特征提取网络的自下而上部分：输入图片由5个卷积层组成，每一个卷积层由64通道的1*1卷积，64通道的3*3卷积和256通道的1*1卷积组成，分别产生C2特征层、C3特征层、C4特征层、C5四个特征层；312)再进入特征提取网络的自上而下和横向连接部分：具体为C5特征层先经过1*1卷积，得到M5特征层；M5先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层；M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层；M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层；M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；32)将特征提取网络得到输出的P2特征层、P3特征层、P4特征层、P5特征层，输入嵌入空间激活模块的区域生成网络，分别在P2特征层、P3特征层、P4特征层、P5特征层四个特征层上产生感兴趣区域；33)由嵌入空间激活模块的区域生成网络得到的感兴趣区域通...

【专利技术属性】
技术研发人员：谢成军，张震宇，杜健铭，张洁，李瑞，陈红波，刘术娟，
申请(专利权)人：合肥中科融道智能科技有限公司，
类型：发明
国别省市：