一种融合图论推理的输电线路螺栓缺销钉检测方法技术

本发明专利技术提出一种融合图论推理的输电线路螺栓缺销钉检测方法，所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；所述图像语义算法以Faster R

【技术实现步骤摘要】
一种融合图论推理的输电线路螺栓缺销钉检测方法


[0001]本专利技术涉及机器学习、图像处理和无人机输电线路巡检
，尤其是一种融合图论推理的输电线路螺栓缺销钉检测方法。

技术介绍

[0002]现有技术的技术方案为：基于经典的目标检测算法框架(如Faster R
‑
CNN)，采用多尺度策略、数据增强、提高特征分辨率等方法加强算法对小目标的识别能力。再通过生成对抗网络生成新的缺陷样本来训练缺陷检测模型，实现对缺销钉的螺栓进行缺陷检测。
[0003]但现有的缺陷检测一般是对航拍图像使用目标检测算法找到目标，再对其进行缺陷检测，或者直接使用目标检测算法对部件进行缺陷检测。已有的目标检测算法检测输电线路上体积较大的部件如绝缘子、均压环、防震锤的精度较高，能够满足智能检测的要求。但是螺栓这种小目标一般在航拍图像中很难被目标检测算法检测出来。并且目前的算法大多是对各部件进行独立检测，而忽略了杆塔上部件之间的连接关系，较少地运用了输电线路巡检相关的业务知识。同时螺栓缺销钉缺陷的样本不足的问题导致对于需要大量样本的深度学习算法来说会极大程度的影响其缺陷检测的精度。因此本申请提案要解决的技术问题是提高小目标检测精度，和解决螺栓缺销钉的缺陷样本不足的问题。

技术实现思路

[0004]本专利技术提出一种融合图论推理的输电线路螺栓缺销钉检测方法，能提高小目标检测精度，和解决螺栓缺销钉的缺陷样本不足的问题。
[0005]本专利技术采用以下技术方案。
[0006]一种融合图论推理的输电线路螺栓缺销钉检测方法，所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；
[0007]所述图像语义算法以Faster R
‑
CNN框架为基础来加入GRM模块并构建GR
‑
RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，该模块包括但不仅限于用在Faster R
‑
CNN上，还可用于其他的目标检测算法；在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。
[0008]所述检测方法包括以下流程：
[0009]流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练，训练好的模型输出能够表达图像包含的空间结构的语义特征；
[0010]流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型，进行识别检测以判定图像中是否有螺栓；
[0011]流程三、当判定图像中有螺栓后，再以缺陷检测算法检测图像中的螺栓是否缺销钉。
[0012]所述流程一、流程二采用的方法具体包括以下步骤；
[0013]步骤S1、制作电力巡检输电线路部件的图像数据集；
[0014]步骤S2、提取结构语义特征，以GRM模块(Graph Reasonning Module)作为特征提取网络的结构语义表达模型，模型的输入为图像的视觉特征，模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据；图数据的节点为各部件图像特征和图像标签，边为连接关系，以公式表述为
[0015]P(S＝(V，E，O，R)|I)
ꢀꢀ
公式一；
[0016]其中I表示图像，V是I中各部件的图像特征对应的节点，表示节点之间的关系，即图数据中的边，O表示各部件的标签，R表示各连接关系的标签；GRM模块包括ORP Object Region Proposal目标候选区域)、RsPN(Relationship Proposal Network关系候选网络)和Graph Labeling(图数据标记)，其用公式表达为：
[0017]P(S|I)＝P(V|I)P(E|V，I)P(R，O|V，E，I)
ꢀꢀ
公式二；
[0018]将结构语义表达模型嵌入Faster
‑
RCNN形成GR
‑
RCNN算法(Graph Reasonning Region Convolutional Neural Networks)，所述GR
‑
RCNN算法包括一阶段算法和二阶段算法，通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果；
[0019]步骤S3、ORP中使用Faster R
‑
CNN框架从输入图像中提取一组n个object proposal，每个object proposal对应一个目标节点，包含空间区域经过池化的特征向量关于类C＝{1，...，k}中的初始预测的标签分布将所有proposals的向量集合分别表示为矩阵R
o
∈R
n
×4，X
o
∈R
n
×
d
，P
o
∈R
n
×
|C|
；
[0020]步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性；通过修剪没有关联的边，对结构语义模型进行稀疏操作，以保留有效的边，抑制毫无关联的边产生的噪声；
[0021]初始化类分布P
o
，总共有n*(n
‑
1)对不同方向的关系对计算其相关性其中f(x，y)是可以输出相关性分数的多层感知器，以非对称核函数的公式表述为
[0022][0023]其中φ(x)，ψ(y)分别为关系中主体与客体的投影函数，由两个相同结构的多层感知器构成，计算出分数矩阵S＝{s
ij
}
n
×
n
；最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0，1]；
[0024]步骤S5、将处理后的分数矩阵S按降序进行排序，并选择前K对，然后使用NMS(Non Maximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对；
[0025]计算两个关系对{u，v}和{p，q}之间重叠程度的公式为：
[0026][0027]其中字符I表示交集，U表示并集。将重叠度高的关系对去除之后，剩下m个关系对均为有效的关系E；最终可以得到图数据G＝(V，E)，即为经过稀疏操作后的图数据；
[0028]步骤S6、构建一个AGCN(Attention
‑
based Graph Convolutional Network)来学
习图数据的结构特征和上下文信息，AGCN由两层GCN网络和一个注意力模块组成，网络的逐层传播为：对于图数据中的目标节点i，通过训练后的隐藏权重矩阵W对相邻节点{z
i
∈R
d
}进行线性变换，并集合一个权重α，最后经过激活函数ReLU；整个逐层传播过程用公式表示为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；所述图像语义算法以Faster R
‑
CNN框架为基础来加入GRM模块并构建GR
‑
RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。2.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述检测方法包括以下流程：流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练，训练好的模型输出能够表达图像包含的空间结构的语义特征；流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型，进行识别检测以判定图像中是否有螺栓；流程三、当判定图像中有螺栓后，再以缺陷检测算法检测图像中的螺栓是否缺销钉。3.根据权利要求2所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述流程一、流程二采用的方法具体包括以下步骤；步骤S1、制作电力巡检输电线路部件的图像数据集；步骤S2、提取结构语义特征，以GRM模块作为特征提取网络的结构语义表达模型，模型的输入为图像的视觉特征，模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据；图数据的节点为各部件图像特征和图像标签，边为连接关系，以公式表述为P(S＝(V，E，O，R)|I)
ꢀꢀꢀꢀꢀꢀ
公式一；其中I表示图像，V是I中各部件的图像特征对应的节点，表示节点之间的关系，即图数据中的边，O表示各部件的标签,R表示各连接关系的标签；GRM模块包括目标候选区域ORP、关系候选网络RsPN和图数据标记Graph Labeling，其用公式表达为：P(S|I)＝P(V|I)P(E|V，I)P(R，O|V，E，I)
ꢀꢀ
公式二；将结构语义表达模型嵌入Faster
‑
RCNN形成GR
‑
RCNN算法(Graph Reasonning Region Convolutional Neural Networks)，所述GR
‑
RCNN算法包括一阶段算法和二阶段算法，通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果；步骤S3、ORP中使用Faster R
‑
CNN框架从输入图像中提取一组n个object proposal，每个object proposal对应一个目标节点，包含空间区域经过池化的特征向量关于类C＝{1，...，k}中的初始预测的标签分布将所有proposals的向量集合分别表示为矩阵R
o
∈R
n
×4，X
o
∈R
n
×
d
,P
o
∈R
n
×
|C|
；步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性；通过修剪没有关联的边，对结构语义模型进行稀疏操作，以保留有效的边，抑制毫无关联的边产生的噪声；初始化类分布P
o
，总共有n*(n
‑
1)对不同方向的关系对计算其相关性
其中f(x,y)是可以输出相关性分数的多层感知器，以非对称核函数的公式表述为其中φ(x)，ψ(y)分别为关系中主体与客体的投影函数，由两个相同结构的多层感知器构成，计算出分数矩阵S＝{s
ij
)
n
×
n
；最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0,1]；步骤S5、将处理后的分数矩阵S按降序进行排序，并选择前K对，然后使用NMS(Non Maximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对；计算两个关系对{u,v}和{p,q}之间重叠程度的公式为：其中字符I表示交集，U表示并集。将重叠度高的关系对去除之后，剩下m个关系对均为有效的关系E；最终可以得到图数据G＝(V,E)，即为经过稀疏操作后的图数据；步骤S6、构建一个AGCN来学习图数据的结构特征和上下文信息，AGCN由两层GCN网络和一个注意力模块组成，网络的逐层传播为：对于图数据中的目标节点i，通过训练后的隐藏权重矩阵W对相邻节点{z
i
∈R
d
}进行线性变换，并集合一个权重α，最后经过激活函数ReLU；整个逐层传播过程用公式表示为：或者等价于一个矩阵表示：其中α
i
∈[0，1]
n
；步骤S7、GCN中的图数据的连接...

【专利技术属性】
技术研发人员：陈静，黄浩阳，江灏，缪希仁，
申请(专利权)人：福州大学，
类型：发明
国别省市：