基于增强不同层次特征表示的电力设备图像缺陷检测方法技术

本发明专利技术涉及基于增强不同层次特征表示的电力设备图像缺陷检测方法，与现有技术相比解决了缺陷区域对于图像占比区别较大导致电力设备图像缺陷检测率低的缺陷。本发明专利技术包括以下步骤：训练数据的获取；电力设备图像缺陷检测网络的构建；电力设备图像缺陷检测网络的训练；待检测电力设备图像的获取；电力设备图像缺陷检测结果的获得。本发明专利技术充分考虑电力设备图像中增强不同层次特征表示，利用定位特征增强分类特征，利用分类特征增强定位特征，可以自动结合高层次利于分类的特征和低层次利于定位的特征，利用不同层次特征之间的相关性进行特征增强，提高电力设备图像缺陷检测率、准确率。确率。确率。

【技术实现步骤摘要】
基于增强不同层次特征表示的电力设备图像缺陷检测方法


[0001]本专利技术涉及电力设备信息化
，具体来说是基于增强不同层次特征表示的电力设备图像缺陷检测方法。

技术介绍

[0002]在变电站缺陷图像的检测应用中，实际变电站内图像面临着多种环境因素影响，造成检测精度低。为了解决这种问题，一个较为有效的思路是收集大量的不同状态下变电站内缺陷图像数据，再经过基于深度学习检测模型训练，来提升目标检测精度，以满足实际应用程度。
[0003]但是在收集的过程中就会出现同一场景下的缺陷出现远景和近景的情况，如图2a和图2b所示，表计破损缺陷在大图中占比较小、但在近图中占比较大；再如图3a和图3b所示，鸟巢缺陷在在大图中占比较小、但在近图中占比较大。这类电力设备图像造成的缺陷在图像中占比区别过大，占比大的更需要分类信息用于检测，占比小的更需要定位信息。
[0004]因此，如何基于此进行有效区分以提高电力设备缺陷图像检测率已经成为急需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中缺陷区域对于图像占比区别较大导致电力设备图像缺陷检测率低的缺陷，提供一种基于增强不同层次特征表示的电力设备图像缺陷检测方法来解决上述问题。
[0006]为了实现上述目的，本专利技术的技术方案如下：
[0007]一种基于增强不同层次特征表示的电力设备图像缺陷检测方法，包括以下步骤：
[0008]训练数据的获取：获取已标注缺陷的电力设备图像并进行预处理，组成训练数据集；
[0009]电力设备图像缺陷检测网络的构建：构建由不同层次特征表示网络、不同层次特征增强表示网络和缺陷检测网络组成的电力设备图像缺陷检测网络；
[0010]电力设备图像缺陷检测网络的训练：将训练数据集输入电力设备图像缺陷检测网络进行训练；
[0011]待检测电力设备图像的获取：获取待检测的电力设备图像，并进行预处理；
[0012]电力设备图像缺陷检测结果的获得：将预处理后的待检测电力设备图像输入训练后的电力设备图像缺陷检测网络，在电力设备图像中检测定位出缺陷结果。
[0013]所述电力设备图像缺陷检测网络的构建包括以下步骤：
[0014]基于浅层卷积神经网络和深层卷积神经网络构建不同层次特征表示网络，其均包括卷积操作、池化操作、激活操作和批量归一化操作；
[0015]设定浅层卷积神经网络和深层卷积神经网络的卷积均采用预设的初始卷积核对作用域相加再求和得到卷积结果；池化操作均采用预设的池化核在特征图上一步步滑动操
作，使用作用域内最大的值得到池化值或者求平均得到池化值；
[0016]基于特征金字塔网络构建不同层次特征增强表示网络，采用侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上；
[0017]设定在特征金字塔网络中包括两个部分：自底向上的不同层次特征表示网络和自上而下相邻层插值相加训练过程；设定在各层级特征的基础上进行特征增强；
[0018]构建缺陷检测网络：缺陷检测网络包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smoothL1损失，根据增强后的各层级特征做最终检测。
[0019]所述电力设备图像缺陷检测网络的训练包括以下步骤：
[0020]将训练数据集中的图片X:W*H输入电力设备图像缺陷检测网络的不同层次特征表示网络，W表示图片的宽度，H表示图片的高度；
[0021]设定不同层次特征表示网络的第一单元：步长为2，卷积核大小为7*7，通道数为64，每个卷积后加批量归一化BN以及非线性激活函数Relu，输出记为s1：W/2*H/2*256；
[0022]设定不同层次特征表示网络的第二单元：步长为2，卷积核大小为3*3，池化采用最大池化操作，然后堆叠了3个卷积块，每个卷积块分别包含64个通道的1*1卷积核、64个通道的3*3卷积、256个通道的1*1卷积，输出是卷积块的输入和输出之和记为s2：W/4*H/4*256；
[0023]设定不同层次特征表示网络的第三单元：堆叠4个卷积块，每个卷积块分别包含128个通道的1*1卷积核、128个通道的3*3卷积、512个通道的1*1卷积，输出是卷积块的输入和输出之和记为s3：W/8*H/8*256；
[0024]设定不同层次特征表示网络的第四单元：堆叠23个卷积块，每个卷积块分别包含256个通道的1*1卷积核、256个通道的3*3卷积、1024个通道的1*1卷积，输出是卷积块的输入和输出之和记为s4：W/16*H/16*256；
[0025]设定不同层次特征表示网络的第五单元：堆叠3个卷积块，每个卷积块分别包含512个通道的1*1卷积核、512个通道的3*3卷积、2048个通道的1*1卷积，输出是卷积块的输入和输出之和记为s5：W/32*H/32*256；
[0026]通过不同层次特征表示网络得到s1、s2、s3、s4、s5共5个层级的特征图，将5个层级的特征图输入不同层次特征增强表示网络，将具有不同通道的特征图分别通过1*1*256的卷积进行通道归一化后，将特征图由高层级逐层经过上采样和低层级相加得到当前层级的特征图，再通过3*3卷积去混叠效应得到特征金字塔网络的输出，对低层级特征融入语义信息，其中，不同层次特征表示增强网络训练如下：
[0027]针对特征图s1：w1*h1*256，其中w1＝W/2表示特征图s1的宽度，h1＝H/2表示特征图s1的高度，在通道层面做全局平均处理，即s1的所有通道直接相加做平均；特征图s2、特征图s3、特征图s4、特征图s5均做全局平均处理，其处理式如下：
[0028][0029]其中，num表示每一层特征图的通道数量，此处为256，si
average
表示si中256个通道的特征图si
channel
,channel∈[1,256],i∈[1,5],求平均的结果；
[0030]针对每一层的通道特征图平均值实施2倍上采样自顶向下相加得到si
a
,i∈[1,5]表示第一步增强不同层次特别表示：
[0031][0032]将si
a
,i＝1,2,3,4,5尺寸归一化到s3
a
大小得到运算中间符si
b
,i＝1,2,3,4,5，然后针对各层的特征增强后的通道特征图平均值进行第二步特征增强，
[0033][0034][0035]即第二步特征增强后的不同特征层次表示其中sj
c
*si
c
是矩阵进行softmax归一化操作后的中间运算符元素，这样sj
d
是第二次增强后的特征，即按照特征与特征之间关系重组融合后的增强特征，不仅仅低层包含了高层特征，高层也包含了低层特征，让语义信息和位置信息按照特征之间的关系充分融合；
[0036]针对sj
d
这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强不同层次特征表示的电力设备图像缺陷检测方法，其特征在于，包括以下步骤：11)训练数据的获取：获取已标注缺陷的电力设备图像并进行预处理，组成训练数据集；12)电力设备图像缺陷检测网络的构建：构建由不同层次特征表示网络、不同层次特征增强表示网络和缺陷检测网络组成的电力设备图像缺陷检测网络；13)电力设备图像缺陷检测网络的训练：将训练数据集输入电力设备图像缺陷检测网络进行训练；14)待检测电力设备图像的获取：获取待检测的电力设备图像，并进行预处理；15)电力设备图像缺陷检测结果的获得：将预处理后的待检测电力设备图像输入训练后的电力设备图像缺陷检测网络，在电力设备图像中检测定位出缺陷结果。2.根据权利要求1所述的基于增强不同层次特征表示的电力设备图像缺陷检测方法，其特征在于，所述电力设备图像缺陷检测网络的构建包括以下步骤：21)基于浅层卷积神经网络和深层卷积神经网络构建不同层次特征表示网络，其均包括卷积操作、池化操作、激活操作和批量归一化操作；设定浅层卷积神经网络和深层卷积神经网络的卷积均采用预设的初始卷积核对作用域相加再求和得到卷积结果；池化操作均采用预设的池化核在特征图上一步步滑动操作，使用作用域内最大的值得到池化值或者求平均得到池化值；22)基于特征金字塔网络构建不同层次特征增强表示网络，采用侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上；设定在特征金字塔网络中包括两个部分：自底向上的不同层次特征表示网络和自上而下相邻层插值相加训练过程；设定在各层级特征的基础上进行特征增强；23)构建缺陷检测网络：缺陷检测网络包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smoothL1损失，根据增强后的各层级特征做最终检测。3.根据权利要求1所述的基于增强不同层次特征表示的电力设备图像缺陷检测方法，其特征在于，所述电力设备图像缺陷检测网络的训练包括以下步骤：31)将训练数据集中的图片X:W*H输入电力设备图像缺陷检测网络的不同层次特征表示网络，W表示图片的宽度，H表示图片的高度；311)设定不同层次特征表示网络的第一单元：步长为2，卷积核大小为7*7，通道数为64，每个卷积后加批量归一化BN以及非线性激活函数Relu，输出记为s1：W/2*H/2*256；312)设定不同层次特征表示网络的第二单元：步长为2，卷积核大小为3*3，池化采用最大池化操作，然后堆叠了3个卷积块，每个卷积块分别包含64个通道的1*1卷积核、64个通道的3*3卷积、256个通道的1*1卷积，输出是卷积块的输入和输出之和记为s2：W/4*H/4*256；313)设定不同层次特征表示网络的第三单元：堆叠4个卷积块，每个卷积块分别包含128个通道的1*1卷积核、128个通道的3*3卷积、512个通道的1*1卷积，输出是卷积块的输入和输出之和记为s3：W/8*H/8*256；314)设定不同层次特征表示网络的第四单元：堆叠23个卷积块，每个卷积块分别包含256个通道的1*1卷积核、256个通道的3*3卷积、1024个通道的1*1卷积，输出是卷积块的输
入和输出之和记为s4：W/16*H/16*256；315)设定不同层次特征表示网络的第五单元：堆叠3个卷积块，每个卷积块分别包含512个通道的1*1卷积核、512个通道的3*3卷积、2048个通道的1*1卷积，输出是卷积块的输入和输出之和记为s5：W/32*H/32*256；32)通过不同层次特征表示网络得到s1、s2、s3、s4、s5共5个层级的特征图，将5个层级的特征图输入不同层次特征增强表示网络，将具有不同通道的特征图分别通过1*1*256的卷积进行通道归一化后，将特征图由高层级逐层经过上采样和低层级相加得到当前层级的特征图，再通过3*3卷积去混叠效应得到特征金字塔网络的输出，对低层级特征融入语义信息，其中，不同层次特征表示增强网络训练如下：321)针对特征图s1：w1*h1*256，其中w1＝W/2表示特征图s1的宽度，h1＝H/2表示特征图s1的高度，在通道层面做全局平均处理，即s1的所有通道直接相加做平均；特征图s2、特征图s3、特征图s4、特...

【专利技术属性】
技术研发人员：徐中满，刘术娟，
申请(专利权)人：合肥中科融道智能科技有限公司，
类型：发明
国别省市：