一种基于可变形卷积的输电塔销钉缺陷检测方法技术

本发明专利技术涉及电气设备状态监测领域，特别涉及一种基于可变形卷积的输电塔销钉缺陷检测方法，其包含基于ResNet50与特征金字塔的目标初始检测网络、整流模块和基于可变形卷积的目标二次检测网络；引入ResNet50特征提取方式能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，且采用激活函数Sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测区域，降低目标的漏检情况；采用整流模块对目标初始检测区域进行图像矫正，并在四个卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。去除目标初始检测结果中的虚警。去除目标初始检测结果中的虚警。

【技术实现步骤摘要】
一种基于可变形卷积的输电塔销钉缺陷检测方法


[0001]本专利技术涉及电气设备状态监测领域，特别涉及一种基于可变形卷积的输电塔销钉缺陷检测方法。

技术介绍

[0002]基于深度学习的现有目标检测方法主要分为以下几类或几个典型阶段：1、RCNN系列，包括RCNN、Fast RCNN、Mask RCNN等，使用卷积神经网络提取候选区域的特征，并进行分类，属于目标检测的经典算法；2、YOLO系列，包括YOLO v1、YOLO v2、YOLO v3、YOLO v4、YOLO v5、YOLO X等，YOLO系列针对与目标形状匹配的目标框计算特征，将目标分类与目标定位统一起来，算法具有高效、灵活和泛化性能好的特点；3、SSD系列，采用多尺度特征图对多个先验框进行分析判断；4、特征提取优化，包括FPN、RestinaNet等，FPN对不同分辨率特征进行融合，RestinaNet解决特征提取中网络层数增加产生的梯度消失、爆炸和网络退化问题。
[0003]由于输电塔螺钉相对于输电塔而言，存在目标小、背景复杂的难点，同时螺钉上的销钉缺陷样本较少，导致现有目标检测方法在输电塔的销钉缺陷智能检测方面识别存在准确率低、漏检率高的问题。
[0004]对于销钉缺陷而言，自身的形态不会发生变化，变化的是销钉缺陷的颜色、背景、拍摄角度等,现有目标检测方法对于颜色变化的适应性较好，但受限于样本少，对于拍摄角度导致的形变缺乏一定的适应性,对一些形变目标的识别，难于智能识别。

技术实现思路

[0005]为了克服上述所述的不足，本专利技术的目的是提供一种基于可变形卷积的输电塔销钉缺陷检测方法，其引入ResNet50特征提取方式能获得目标更多的特征，同时引入特征金字塔能更好地适应目标大小变化，且采用激活函数Sigmoid，在测试图像时，降低阈值，使得更多的目标感兴趣区域作为目标初始检测结果，降低目标的漏检情况，并进一步针对矫正后的目标初始检测结果，即包含销钉缺陷的局部区域，在卷积层的基础上引入可变形卷积，使得目标二次检测网络能适应销钉缺陷在不同视角中的形变，准确识别形变的目标，去除目标初始检测结果中的虚警。
[0006]本专利技术解决其技术问题的技术方案是：一种基于可变形卷积的输电塔销钉缺陷检测方法，其中，包括如下步骤：步骤S1、建立基于ResNet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数Sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数Sigmoid的实际阈值为λ＇，且λ＇≤λ；步骤S2、所述目标初始检测网络得到的目标初始检测区域，即包含销钉缺陷的局
部区域，输入整流模块内进行矫正，再输出矫正后的图像；步骤S3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把该特征通过Add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。
[0007]作为本专利技术的一种改进，在步骤S3内，可变形卷积层由卷积块（卷积核大小为3
×
3）加上像素偏移量得到，所述像素偏移量的学习是利用插值方法通过反向传播进行学习。
[0008]作为本专利技术的进一步改进，在步骤S3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块。
[0009]作为本专利技术的更进一步改进，步骤S1包括如下步骤：步骤S11、基于ResNet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图C1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图C2、特征图C3、特征图C4和特征图C5；步骤S12、特征金字塔的构建：将特征图C2、特征图C3、特征图C4、特征图C5构成特征金字塔，从特征图C5开始，特征图C5经过1
×
1卷积得到特征图P5，将特征图P5通过最近邻距离方法进行两倍上采样得到特征图P5＇，特征图C4通过1
×
1卷积调整通道数得到特征图C4＇，分辨率相同的特征图P5＇和特征图C4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图P4；将特征图P4通过最近邻距离方法进行两倍上采样得到特征图P4＇，特征图C3通过1
×
1卷积调整通道数得到特征图C3＇，分辨率相同的特征图P4＇和特征图C3＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图P3；将特征图P3通过最近邻距离方法进行两倍上采样得到特征图P3＇，特征图C2通过1
×
1卷积调整通道数得到特征图C2＇，分辨率相同的特征图P3＇和特征图C2＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3
×
3的卷积处理，得到特征图P2；步骤S13、目标建议框分析：对特征图P5、特征图P4、特征图P3、特征图P2和最大池化层，分别设定以16
×
16、32
×
32、64
×
64、128
×
128、256
×
256为锚框大小，以图像中的每个点为中心设定相应的锚框，将每个锚框视为目标感兴趣区域；步骤S14、目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图P5、特征图P4、特征图P3、特征图P2中选择特征图，进行池化操作；步骤S15、目标区域调整及类别判断：将池化操作的结果输入全连接层，全连接层的输出经1
×
1卷积输入到目标预测框和激活函数Sigmoid中，目标预测框调整目标感兴趣区域大小后反馈到目标感兴趣区域的池化处理，通过不断迭代得到准确的目标区域，激活函数Sigmoid对输入的特征值进行判断，如果激活函数Sigmoid的输出大于基准阈值λ，则认为检测到目标。
[0010]作为本专利技术的更进一步改进，在步骤S2内，所述整流模块包括：
定位网络，用于回归仿射变换的六个参数，输入图像进行仿射变换得到输出图像；网格生成器，用于针对输出图像的每个坐标点，根据仿射变换的六个参数通过矩阵运算得到输入图像的坐标点；采样器，用于针对网格生成器得到的输入图像的坐标点，以其相邻像素值为采样信息采用双线性插值法得到坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，包括如下步骤：步骤S1、建立基于ResNet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数Sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数Sigmoid的实际阈值为λ＇，且λ＇≤λ；步骤S2、所述目标初始检测网络得到的目标初始检测区域，即包含销钉缺陷的局部区域，输入整流模块内进行矫正，再输出矫正后的图像；步骤S3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把特征通过Add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷。2.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤S3内，可变形卷积层由卷积块加上像素偏移量得到，所述像素偏移量的学习是利用插值方法通过反向传播进行学习。3.根据权利要求2所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤S3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块。4.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，步骤S1包括如下步骤：步骤S11、基于ResNet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图C1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图C2、特征图C3、特征图C4和特征图C5；步骤S12、特征金字塔的构建：将特征图C2、特征图C3、特征图C4、特征图C5构成特征金字塔，从特征图C5开始，特征图C5经过1
×
1卷积得到特征图P5，将特征图P5通过最近邻距离方法进行两倍上采样得到特征图P5＇，特征图C4通过1
×
1卷积调整通道数得到特征图C4＇，分辨率相同的特征图P5＇和特征图C4＇逐元素相...

【专利技术属性】
技术研发人员：王文彬，辛建波，胡蕾，范瑞祥，卢源文，
申请(专利权)人：国家电网有限公司江西师范大学，
类型：发明
国别省市：