一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法技术

本发明专利技术涉及一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，与现有技术相比解决了变电站设备缺陷模型特征提取难、识别困难、检测精度低、鲁棒性差的缺陷。本发明专利技术包括以下步骤：电力设备缺陷图像样本的获取；构建电力设备缺陷目标检测模型；电力设备缺陷目标检测模型的训练；获取待检测电力设备缺陷图像并进行预处理；电力设备图像缺陷检测。本发明专利技术特征提取能力更强，模型训练简单，同时识别精度更优的目标检测方法，实现了电力设备缺陷图像目标的精准检测。陷图像目标的精准检测。陷图像目标的精准检测。

【技术实现步骤摘要】
一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法


[0001]本专利技术涉及电力设备图像识别
，具体来说是一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法。

技术介绍

[0002]变电站作为电能运输及分配的场所，维护其设备平稳运行对于人类的生产生活而言及其重要。针对变电站长期处于恶劣、复杂的自然环境中，线路上的金具受气候、地形、外力作用等影响出现不同类型缺陷，目前电力设备的防锈图层可能会由于老化而失去保护作用，造成安全隐患，因此对锈蚀设备进行检测维修是至关重要的。使用基于深度学习的目标检测技术识别变电站设备锈蚀缺陷检测，相对于人工巡检方式，具有准确度高、快速安全、应用范围广等优点。
[0003]目前，虽然基于深度学习的目标检测技术被广泛应用于电力设备缺陷检测，但是当图像背景复杂且背景大前景小时，面对形状不规则且变化多样的锈蚀目标时会出现误检漏检以及检测准确率低等问题。通用目标检测算法对相似目标、形状不规则目标的分辨能力较弱，难以区分不同类别的目标。
[0004]因此，如何使得网络对锈蚀缺陷目标具有更强区分能力进一步提高模型的检测准确性成为急需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中变电站设备缺陷模型特征提取难、识别困难、检测精度低、鲁棒性差的缺陷，提供一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法来解决上述问题。
[0006]为了实现上述目的，本专利技术的技术方案如下：
[0007]一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，包括以下步骤：
[0008]电力设备缺陷图像样本的获取：获取不同场景不同类别的电力设备缺陷图像并进行预处理，形成电力设备缺陷图像数据集；
[0009]构建电力设备缺陷目标检测模型：基于SwinT与尺寸自适应卷积构建电力设备缺陷目标检测模型；
[0010]电力设备缺陷目标检测模型的训练：利用电力设备缺陷图像数据集对电力设备缺陷目标检测模型进行训练；
[0011]获取待检测电力设备缺陷图像并进行预处理；
[0012]电力设备图像缺陷检测：将待检测的电力设备缺陷图像输入训练后的电力设备缺陷目标检测模型，得到电力设备缺陷图像中的目标分类和定位结果，检测出锈蚀区域。
[0013]所述构建电力设备缺陷目标检测模型包括以下步骤：
[0014]设定电力设备缺陷目标检测模型包括特征提取网络、特征融合网络和检测头部网络；
[0015]设定特征提取网络基于Swin
‑
Transformer与尺寸自适应卷积模块构建，
[0016]其中，Swin
‑
Transformer由Patch Partition层、Linear Embedding层、Swin Transformer Block层和Patch Merging层构成，尺寸自适应卷积由卷积神经网络构成，在SwinT的3、4阶段插入尺寸自适应卷积模块进一步完成对不同尺度和形状物体的特征提取；其输入为增强的电力设备缺陷图像、输出为该电力设备缺陷图像的整体特征图；
[0017]Patch Partition层的输入为一个给定大小为H
×
W的图像，Patch Partition层进行分块降维操作、Linear Embedding层进行线性变换、Patch Merging层用于下采样；
[0018]尺寸自适应卷积模块首先使用普通卷积层学习offset偏移和调节权重参数，增强卷积对于缺陷形态特征的适应性，再将特征图和偏移值调节权重后输出，最后将四个阶段生成的不同尺度特征图输入到特征融合网络中；
[0019]设定特征融合网络：
[0020]设定特征融合网络基于FPN网络构建，其输入为特征提取网络输出的整体特征图，通过对输入的缺陷图像进行整体特征的融合，将高层特征进行上采样后与低层的高分辨率特征进行横向连接融合得到预测特征图，以便将高层语义中消失但在低层特征图中仍存在的小物体检测出来，输出为经过特征融合后的融合特征图；
[0021]设定检测头部网络：
[0022]设定检测头部网络基于TOOD网络构建，其输入为特征融合网络输出的融合特征图，通过对任务的分类与定位，确定是否为检测目标，并通过边界框回归算法确定被测目标边界坐标。
[0023]所述电力设备缺陷目标检测模型的训练包括以下步骤：
[0024]特征提取网络的训练：将电力设备缺陷图像数据集输入特征提取网络，利用特征提取网络训练电力设备缺陷图像的整体特征图；
[0025]特征融合网络的训练：将特征提取网络提取的整体特征图输入到特征融合网络自下而上的层级结构中，得到F1、F2、F3、F4特征图，其宽高分别为原图的1/4、1/8、1/16、1/32，维度为d；
[0026]在自上而下的过程中，通过尺度变化使得新的特征图和下层特征图保持一致的尺度；
[0027]在长、宽方向上采用上采样的方法将下层特征图的宽、高拉成一样大小；在深度方向上通过一个1
×
1的卷积把上层特征图的深度压缩到和下层特征图的深度相同，以此构建的新的特征图和原始的下层特征图具有了同样的尺度；再把新的特征图和原始的下层特征图中每个对应元素相加，实现上层特征和下层特征的融合；
[0028]检测头部网络的训练：
[0029]检测头部网络首先将融合后的特征图作为输入，使用N个连续的具有激活函数的conv层来计算任务交互特征F
kinter
：
[0030][0031]其中，F
fpn
为融合网络输出的特征图，conv
k
和δ分别表示第k个卷积层和relu激活函数；
[0032]得到任务交互特征后输入到TAP模块中，再将特征拉平通过全连接层和sigmoid激活函数后得到每个任务交互特征的权重，进行相乘操作得到分类或者定位任务的特征
[0033][0034]其中，ω
k
为层注意力的第k个元素，它是从任务交互特征中计算出来的，能够捕获层之间的依赖关系：
[0035][0036]其中，和为全连接层，σ为sigmoid激活函数，对F
inter
采用平均池化操作得到f
inter
；
[0037]最后得到分类或者定位的结果Z
task
：
[0038]Z
task
＝conv2(δ(conv1(F
task
)))
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0039]其中，F
task
为的连接特征，conv1为一个1
×
1卷积进行降维操作，接着使用sigmoid激活函数将Z
task
转化为密集分类分数或者对象边界框
[0040]所述特征提取网络的训练包括以下步骤：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，其特征在于，包括以下步骤：11)电力设备缺陷图像样本的获取：获取不同场景不同类别的电力设备缺陷图像并进行预处理，形成电力设备缺陷图像数据集；12)构建电力设备缺陷目标检测模型：基于SwinT与尺寸自适应卷积构建电力设备缺陷目标检测模型；13)电力设备缺陷目标检测模型的训练：利用电力设备缺陷图像数据集对电力设备缺陷目标检测模型进行训练；14)获取待检测电力设备缺陷图像并进行预处理；15)电力设备图像缺陷检测：将待检测的电力设备缺陷图像输入训练后的电力设备缺陷目标检测模型，得到电力设备缺陷图像中的目标分类和定位结果，检测出锈蚀区域。2.根据权利要求1所述的一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，其特征在于，所述构建电力设备缺陷目标检测模型包括以下步骤：21)设定电力设备缺陷目标检测模型包括特征提取网络、特征融合网络和检测头部网络；22)设定特征提取网络基于Swin
‑
Transformer与尺寸自适应卷积模块构建，其中，Swin
‑
Transformer由Patch Partition层、Linear Embedding层、Swin Transformer Block层和PatchMerging层构成，尺寸自适应卷积由卷积神经网络构成，在SwinT的3、4阶段插入尺寸自适应卷积模块进一步完成对不同尺度和形状物体的特征提取；其输入为增强的电力设备缺陷图像、输出为该电力设备缺陷图像的整体特征图；Patch Partition层的输入为一个给定大小为H
×
W的图像，Patch Partition层进行分块降维操作、Linear Embedding层进行线性变换、Patch Merging层用于下采样；尺寸自适应卷积模块首先使用普通卷积层学习offset偏移和调节权重参数，增强卷积对于缺陷形态特征的适应性，再将特征图和偏移值调节权重后输出，最后将四个阶段生成的不同尺度特征图输入到特征融合网络中；23)设定特征融合网络：设定特征融合网络基于FPN网络构建，其输入为特征提取网络输出的整体特征图，通过对输入的缺陷图像进行整体特征的融合，将高层特征进行上采样后与低层的高分辨率特征进行横向连接融合得到预测特征图，以便将高层语义中消失但在低层特征图中仍存在的小物体检测出来，输出为经过特征融合后的融合特征图；24)设定检测头部网络：设定检测头部网络基于TOOD网络构建，其输入为特征融合网络输出的融合特征图，通过对任务的分类与定位，确定是否为检测目标，并通过边界框回归算法确定被测目标边界坐标。3.根据权利要求1所述的一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，其特征在于，所述电力设备缺陷目标检测模型的训练包括以下步骤：31)特征提取网络的训练：将电力设备缺陷图像数据集输入特征提取网络，利用特征提取网络训练电力设备缺陷图像的整体特征图；32)特征融合网络的训练：将特征提取网络提取的整体特征图输入到特征融合网络自
下而上的层级结构中，得到F1、F2、F3、F4特征图，其宽高分别为原图的1/4、1/8、1/16、1/32，维度为d；在自上而下的过程中，通过尺度变化使得新的特征图和下层特征图保持一致的尺度；在长、宽方向上采用上采样的方法将下层特征图的宽、高拉成一样大小；在深度方向上通过一个1
×
1的卷积把上层特征图的深度压缩到和下层特征图的深度相同，以此构建的新的特征图和原始的下层特征图具有了同样的尺度；再把新的特征图和原始的下层特征图中每个对应元素相加，实现上层特征和下层特征的融合；33)检测头部网络的训练：检测头部网络首先将融合后的特征图作为输入，使用N个连续的具有激活函数的conv层来计算任务交互特征F
kinter
：其中，F
fpn
为融合网络输出的特征图，conv
k
和δ分别表示第k个卷积层和relu激活函数；得到任务交互特征后输入到TAP模块中，再将特征拉平通过全连接层和sigmoid激活函数后得到每个任务交互特征的权重，进行相乘操作得到分类或者定位任务的特征数后得到每个任务交互特征的权重，进行相乘操作得到分类或者定位任务的特征其中，ω
k
为层注意力的第k个元素，它是从任务交互特征中计算出来的，能够捕获层之间的依赖关系：其中，和为全连接层，σ为sigmoid激活函数，对F
inter
采用平均池化操作得到f
inter
；最后得到分类或者定位的结果Z
task
：其中，F
task
为的连接特征，conv1为一个1
×
1卷积进行降维操作，接着使用sigmoid激活函数将Z
task
转化为密集分类分数或者对象边界框4.根据权利要求3所述的一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，其特征在于，所述特征提取网络的训练包括以下步骤：41)通过Patch Partition层进行分块降维操作，将输入的变电站设备图像分成一个个patch，输入的图像大小为H
×
W
×
C，其中，H、W分别表示为图像得高、宽，C为图像的通道数，每个patch的大小(P,P)＝HW/N,将划分好的patch由Linear Embedding层进行线性投影，输入到Swin Transformer Block模块中进行多头自注意力计算生成大小为特征图F1；42)将上述大小为特征图F1输入到Patch Merging层进行下采样操作后再
由Swin Transformer Block模块中进行多头自注意力计算生成大小为特征图F2；43)上述大小为特征图F2输入到Patch Merging层进行下采样操作以及多头自注意力计算后生成大小为特征图F3；44)尺寸自适应卷积模块的训练：441)将特征图F3输入尺寸自适应卷积模块，首先经过普通卷积，卷积填充为same，即输入输出尺寸不变，对应的特征输出大小为偏移量记作offset，表示原始特征图中每个像素索引的偏移量；其中，采样位置集合G通过ΔL
n
，ΔL
n
＝1，2，...，N，实现采样位置偏移以此来增大感受野的范围，N为网格中的像素个数，2C3表示具有x和y两个方向上的偏移，1C3通道表示调节权重值Δm，经过Sigmoid函数后范围在0到1之间；442)将输入特征图F3中的像素的索引值...

【专利技术属性】
技术研发人员：张洁，李慧，李瑞，杜健铭，陈红波，张辉，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：