一种于瓷绝缘子红外图像的框监督实例分割方法技术

本发明专利技术提供了一种用于瓷绝缘子红外图像的框监督实例分割方法，其包括如下步骤：构建瓷绝缘子红外图像特征提取网络；构建瓷绝缘子红外图像特征融合网络；构建瓷绝缘子红外图像目标信息共享结构，获取每个目标的掩模网络参数；构建瓷绝缘子红外图像掩模分支；嵌入双重自注意力模块；引入矩形框标注技术，对瓷绝缘子红外图像的瓷绝缘子进行矩形框注释；设计检测网络总损失函数；设计分割网络损失函数；构建瓷绝缘子红外图像分割网络，对瓷绝缘子红外图像进行分割。本发明专利技术以采用矩形框的标注形式，克服了现有技术中绝缘子红外成像形状不规则、样本标注麻烦繁琐、运行速度慢的问题。运行速度慢的问题。运行速度慢的问题。

【技术实现步骤摘要】
一种于瓷绝缘子红外图像的框监督实例分割方法


[0001]本专利技术涉及图像处理
，具体而言，涉及一种于瓷绝缘子红外图像的框监督实例分割方法。

技术介绍

[0002]瓷绝缘子作为输电线路的重要设备之一，在电气绝缘和机械支撑方面起着至关重要的作用。由于受环境和气候的影响，瓷绝缘子容易老化失效，严重威胁电网运行安全。
[0003]利用红外热成像技术，结合先进的图像处理技术，对瓷绝缘子进行故障诊断是目前较为常用的检修手段。
[0004]但是，现有的瓷绝缘子红外图像处理方法存在样本标注繁琐、运行速度慢的缺点，对故障的排斥和瓷绝缘子的维护造成了极大的影响。

技术实现思路

[0005]基于此，为了解决现有瓷绝缘子红外图像标注繁琐、运行速度慢的问题，本专利技术提供了一种于瓷绝缘子红外图像的框监督实例分割方法，其具体技术方案如下：
[0006]一种用于瓷绝缘子红外图像的框监督实例分割方法，其包括如下步骤：
[0007]S1，构建瓷绝缘子红外图像特征提取网络，提取瓷绝缘子红外图像的图像特征；
[0008]S2，构建瓷绝缘子红外图像特征融合网络，对提取到的瓷绝缘子红外图像的图像特征进行融合；
[0009]S3，构建瓷绝缘子红外图像目标信息共享结构，获取每个目标的掩模网络参数；
[0010]S4，构建瓷绝缘子红外图像掩模分支；
[0011]S5，嵌入双重自注意力模块；
[0012]S6，引入矩形框标注技术，对瓷绝缘子红外图像的瓷绝缘子进行矩形框注释；
[0013]S7，设计检测网络总损失函数L
overall
＝L
detect
+λL
mask
，其中，L
detect
和L
mask
分别代表绝缘子目标检测损失函数和掩模损失函数，λ为常数；
[0014]S8，设计分割网络损失函数L
mask
＝L
proj
+L
pairwise
，其中，L
proj
以及L
pairwise
分别为映射损失项和成对亲和损失项；
[0015]S9，构建瓷绝缘子红外图像分割网络，对瓷绝缘子红外图像进行分割。
[0016]本专利技术所述的用于瓷绝缘子红外图像的框监督实例分割方法以采用矩形框的标注形式，克服了现有技术中绝缘子红外成像形状不规则、样本标注麻烦繁琐、运行速度慢的问题，其不但保证了输出图像具有高分辨率，还提高了绝缘子分割的完整性，为输电线路绝缘子故障分析与维护提供了有效的途径。
[0017]进一步地，在步骤S3中，构建瓷绝缘子红外图像目标信息共享结构的具体方法包括如下步骤：
[0018]S30，在特征金字塔的每个特征中，引出一个信息共享结构共享头；
[0019]S31，通过共享头的控制器生成卷积过滤器，得到每个目标的掩模网络参数；
[0020]S32，对于瓷绝缘子红外图像，动态生成不同的绝缘体掩模信息，并将绝缘体的特征输入到每个掩模滤波器中，由实例感知滤波器激发绝缘子的像素，生成绝缘体掩模预测并区分每个绝缘体实例。
[0021]进一步地，在步骤S4中，构建瓷绝缘子红外图像掩模分支的具体方法包括如下步骤：
[0022]S40，在掩模分支中，引入全卷积神经网络；
[0023]S41，在全卷积神经网络中，利用卷积层取代全连接层并将最后一层卷积通道调整为8；
[0024]S42，在检测网络的P4、P5通过双线性插值操作后，与P3作为掩模分支的输入；
[0025]S43，在每个特征层中使用动态掩模进行实例感知预测；
[0026]S44，对于特定红外图像，动态生成不同的绝缘子掩模，并将绝缘子的特征输入到每个掩模滤波器中；
[0027]S45，当绝缘子掩模信息输入滤波器时，实例感知滤波器对实例的像素进行激励，生成绝缘子实例掩模预测并对每个绝缘子实例进行区分。
[0028]进一步地，在步骤S6中，引入矩形框标注技术，对瓷绝缘子红外图像的瓷绝缘子进行矩形框注释的具体方法包括如下步骤：
[0029]S60，利用映射损失函数以及成对亲和损失函数之和，代替交叉熵损失；
[0030]S61，对红外图像中的瓷绝缘子进行矩形框注释，得到像素级的绝缘子掩模。
[0031]进一步地，在步骤S7中，绝缘子目标检测损失函数
[0032][0033]其中，p
x,y
、t
x,y
分别表示位置(x,y)的分类得分和回归预测，N
pos
表示正样本的数量，表示位置(x,y)的类别，若为负样本或者背景，若为负样本或者背景，表示该位置的回归目标，为指示函数，当时取值为1，否则为0，l
cls
、l
reg
分别表示局部损失函数和IOU损失。
[0034]进一步地，
[0035]其中，L(.,.)表示dice loss，m'为网络预测的掩模，b为ground
‑
truth 掩模，Proj
x
(.)表示x轴方向上的投影运算，Proj
y
(.)表示y轴方向上的投影运算，max
x
(.)表示x轴方向上的最大值运算，max
y
(.)表示y轴方向上的最大值运算，l'
x
、l'
y
分别为m'在x轴和y轴上的投影，l
x
、l
y
分别表示b 在x轴和y轴上的投影。
[0036]进一步地，
[0037]其中，E
in
表示至少包含一个像素的边缘集合，N表示E
in
所拥有的边缘数量，1{S
e
≥
τ}为指示函数，当S
e
≥τ时，取值为1，否则，取值为0，S
e
边 e的颜色相似度，P(y
e
＝1)＝f
i,j
·
f
k,l
+(1
‑
f
i,j
)
·
(1
‑
f
k,l
)，f
i,j
、f
k,l
分别表示像素(i,j)、(k,l)成为前景的概率。
[0038]进一步地，在步骤S1中，瓷绝缘子红外图像特征提取网络为残差神经网络。
[0039]进一步地，在步骤S5中，双重自注意力模块包括单维度滤机制和动态映射机制。
[0040]进一步地，在步骤S2中，瓷绝缘子红外图像特征融合网络为特征金字塔网络。
附图说明
[0041]从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于瓷绝缘子红外图像的框监督实例分割方法，其特征在于，所述方法包括如下步骤：S1，构建瓷绝缘子红外图像特征提取网络，提取瓷绝缘子红外图像的图像特征；S2，构建瓷绝缘子红外图像特征融合网络，对提取到的瓷绝缘子红外图像的图像特征进行融合；S3，构建瓷绝缘子红外图像目标信息共享结构，获取每个目标的掩模网络参数；S4，构建瓷绝缘子红外图像掩模分支；S5，嵌入双重自注意力模块；S6，引入矩形框标注技术，对瓷绝缘子红外图像的瓷绝缘子进行矩形框注释；S7，设计检测网络总损失函数L
overall
＝L
detect
+λL
mask
，其中，L
detect
和L
mask
分别代表绝缘子目标检测损失函数和掩模损失函数，λ为常数；S8，设计分割网络损失函数L
mask
＝L
proj
+L
pairwise
，其中，L
proj
以及L
pairwise
分别为映射损失项和成对亲和损失项；S9，构建瓷绝缘子红外图像分割网络，对瓷绝缘子红外图像进行分割。2.如权利要求1所述的一种用于瓷绝缘子红外图像的框监督实例分割方法，其特征在于，在步骤S3中，构建瓷绝缘子红外图像目标信息共享结构的具体方法包括如下步骤：S30，在特征金字塔的每个特征中，引出一个信息共享结构共享头；S31，通过共享头的控制器生成卷积过滤器，得到每个目标的掩模网络参数；S32，对于瓷绝缘子红外图像，动态生成不同的绝缘体掩模信息，并将绝缘体的特征输入到每个掩模滤波器中，由实例感知滤波器激发绝缘子的像素，生成绝缘体掩模预测并区分每个绝缘体实例。3.如权利要求1所述的一种用于瓷绝缘子红外图像的框监督实例分割方法，其特征在于，在步骤S4中，构建瓷绝缘子红外图像掩模分支的具体方法包括如下步骤：S40，在掩模分支中，引入全卷积神经网络；S41，在全卷积神经网络中，利用卷积层取代全连接层并将最后一层卷积通道调整为8；S42，在检测网络的P4、P5通过双线性插值操作后，与P3作为掩模分支的输入；S43，在每个特征层中使用动态掩模进行实例感知预测；S44，对于特定红外图像，动态生成不同的绝缘子掩模，并将绝缘子的特征输入到每个掩模滤波器中；S45，当绝缘子掩模信息输入滤波器时，实例感知滤波器对实例的像素进行激励，生成绝缘子实例掩模预测并对每个绝缘子实例进行区分。4.如权利要求1所述的一种用于瓷绝缘子红外图像的框监督实例分割方法，其特征在于，在步骤S6中，引入矩形框标注技术，对瓷绝缘子红外图像的瓷绝缘子进行矩形框注释的具体方法包括如下步骤：S60，利用映射损失函数以及成对亲和损失函数之和，代替交叉熵损失；S61，对红外图像中的瓷绝缘子进行矩形框注释，得到像素级的绝缘子掩模。5.如权利要求1...

【专利技术属性】
技术研发人员：周妮娜，周锦辉，刘国特，文湧华，许淋强，宋宇昕，陈思军，
申请(专利权)人：广东双电科技有限公司，
类型：发明
国别省市：