一种知识引导的输电线路航拍图像目标检测方法及系统技术方案

本发明专利技术公开了一种知识引导的输电线路航拍图像目标检测方法及系统，涉及目标检测技术领域，旨在解决目前金具检测模型在检测金具时仅注重于金具的单一区域，导致检测精度难以有效提升的问题，其方法包括：以候选区域的相对几何特征为输入节点，通过MLP学习候选区域在空间布局上的信息作为区域之间的边，构建空间知识图，生成空间特征；以候选区域为节点，以区域的空间特征初始化节点，从典型金具数据集中获得金具的先验知识作为区域节点的边，构建先验知识图；利用门控图神经网络模型在先验知识图中传播节点信息，生成节点特征；根据节点特征来预测区域标签；还包括相应的系统，本发明专利技术利用金具间的知识与深度学习框架相结合，提高金具检测精度。金具检测精度。金具检测精度。

【技术实现步骤摘要】
一种知识引导的输电线路航拍图像目标检测方法及系统


[0001]本专利技术涉及目标检测
，具体涉及一种知识引导的输电线路航拍图像目标检测方法及系统。

技术介绍

[0002]通过对经典的深度学习模型的调参优化，虽然可以将金具检测模型的准确率提升到较高的程度，但是由于航拍输电线路图像存在分辨率低、无人机拍摄时无法避免的震动导致拍摄模糊、远距离拍摄导致的目标小、数量多、存在遮挡等原因，以及现有的金具检测模型在检测金具时只注重于单一区域，将提取的候选区域视觉特征放入分类器来识别目标，因此单纯利用现有金具检测模型很难将精度提升到很高。
[0003]在中国专利文献上公开的“输电线路金具目标检测和缺陷识别方法及终端”，其公开号为CN111881937A，公开了一种输电线路金具目标检测和缺陷识别方法及终端；但是该专利较为笼统的提出采用深度学习的方式进行目标检测和缺陷识别，仍属于单纯利用现有金具检测模型进行检测的范畴，精度难以提升。

技术实现思路

[0004]本专利技术解决了目前金具检测模型在检测金具时仅注重于金具的单一区域，导致检测精度难以有效提升的问题，根据金具在输电线路组装时在空间布局和先验知识上表现出的相互关联的规则性，提出一种知识引导的输电线路航拍图像目标检测方法及系统，利用金具间的知识与深度学习框架相结合，从而提高金具检测精度。
[0005]为了实现上述目的，本专利技术采用以下技术方案：一种知识引导的输电线路航拍图像目标检测方法；包括以下步骤：S1，输入图像并通过区域选择生成若干个候选区域；S2，以候选区域的相对几何特征为输入节点，通过MLP学习候选区域在空间布局上的信息作为区域之间的边，构建空间知识图，生成空间特征；S3，以候选区域为节点，以区域的空间特征初始化节点，从典型金具数据集中获得金具的先验知识作为区域节点的边，构建先验知识图；利用门控图神经网络模型在先验知识图中传播节点信息，生成节点特征；根据节点特征来预测区域标签。
[0006]本专利技术中，将候选区域构建成图，构建了金具空间布局和先验知识两个模块，让模型能学习到输电线路上的金具知识；首先通过将候选区域的边界框作为输入，学习区域在空间上的差异性作为区域节点的边，构建出空间知识图，得到空间特征；随后从候选区域的空间特征出发，构建先验知识图。利用门控图神经网络模型在先验知识图中传播节点信息，将先验知识和空间特征相结合；本专利技术的方法极大提高了金具检测精度。
[0007]作为优选，所述步骤S2包括以下步骤：S21，给定区域i和区域j，提取候选区域的相对几何特征b
i
和b
j
，利用MLP学习得到区域i和区域j的边值：
其中，α表示两个区域之间的差异情况；S22，遍历全部区域生成空间区域图；通过堆叠的K个MLP获得K个空间区域图，将K个空间区域图的边值累加取平均，并加入单位矩阵引入自环效果：其中，e
ij
为边值平均值，I为单位矩阵；S23，采用矩阵相乘的方式将空间区域图G
s
中的边与区域特征F连接，获得空间特征F
s
：F
s
＝ε
F
W
s
其中，ε∈R
N
×
N
，R
N
×
N
为空间区域图的边集，e
ij
∈ε；W
s
为可训练参数，其为空间区域图G
s
中边值权重的K个MLP权重。
[0008]本专利技术中，金具作为输电线路上的组成部件，其根据各自的功能组装拼接，所以其在空间上紧密相连。金具的几何位置表明金具之间存在一些复杂的位置信息，如在均压环的下方位置往往存在着起到连接和支撑作用的各类线夹和U型挂环，而在线夹的两侧的导线上存在着具有平衡等作用的防震锤；这些隐形的知识也是在金具检测时会常常忽略的；步骤S2中，主要将得到的N个区域通过堆叠K个MLP方式将生成区域构建成K个空间区域图图Gs(V
′
,E
′
)，通过空间区域图Gs的边E
′
将区域特征F与区域空间位置V
′
结合；本专利技术中生成的空间区域图Gs针对目标在图像中的空间布局。
[0009]作为优选，所述构建先验知识图的步骤具体为：A31，以候选区域为节点，以区域的空间特征初始化节点；由典型金具数据集的训练集中统计类别的共现次数，根据共现次数求出条件概率：P
xy
为条件概率，m
xy
为训练集中标签x与标签y共同出现的次数，N
x
为训练集中标签出现x的次数；A32，根据条件概率构建出邻接矩阵A，并对邻接矩阵A进行二值化处理，得到二值化邻接矩阵A
′
：其中，τ是为滤除噪声设定阈值；A33，引入超参数q进行二次加权，得到最终的邻接矩阵A
″
，邻接矩阵A
″
作为先验知识图的边：A34，将N个区域进行处理以得到节点数为N*C的先验知识图。
[0010]本专利技术中，考虑到输电线路上金具之间存在的依存关系，从金具的先验知识出发，
构建先验知识图，图作为一种非欧式数据，具有两大要素点：节点以及连接节点的边，同时图作为数据的表达形式，其结构表达出明显的连接关系，因此可以使用图来表达处理许多具有相互联系的数据。
[0011]作为优选，所述步骤A34具体包括：将候选区域第i个区域复制C次，有b
i
＝{b
i1
,b
i2
,
…
,b
iC
}，其中C为类别数，b
iC
表示第i个区域与第C个类别的关联程度；同理将第j个区域复制C
′
次后，区域b
iC
与区域b
jC
′
的边为邻接矩阵A
″
中的a
CC
′
，并更新b
i
和b
j
之间的节点连接图，最终得到先验知识图。
[0012]本专利技术中，由于邻接矩阵表达是先验知识为金具的类别，同时得到的候选区域只是前景与背景，因此考虑到候选区域可能属于任何一类别的概率是相同的，将候选区域复制C次。
[0013]作为优选，所述节点特征的生成步骤包括：B31，在门控图神经网络中，对于图中每个节点任何时刻T均存在着一个隐藏状态在T＝0时，将区域空间特征F
s
作为节点的初始状态B32，在每个时间T，每个节点通过图G
p
聚合相邻节点的信息，然后更新节点的隐藏状态，并得到最终的隐藏状态将初始状态与最终隐藏状态一起输入到输出网络计算节点的输出特征：其中，O
o
(
·
)为全连接层；B33，每个区域可以得到C个输出特征，结合C个输出特征预测区域标签的得分用于预测区域标签；其中，φ
o
(.)为全连接层，argma本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识引导的输电线路航拍图像目标检测方法，其特征在于，包括以下步骤：S1，输入图像并通过区域选择生成若干个候选区域；S2，以候选区域的相对几何特征为输入节点，通过MLP学习候选区域在空间布局上的信息作为区域之间的边，构建空间知识图，生成空间特征；S3，以候选区域为节点，以区域的空间特征初始化节点，从典型金具数据集中获得金具的先验知识作为区域节点的边，构建先验知识图；利用门控图神经网络模型在先验知识图中传播节点信息，生成节点特征；根据节点特征来预测区域标签。2.根据权利要求1所述的一种知识引导的输电线路航拍图像目标检测方法，其特征在于，所述步骤S2包括以下步骤：S21，给定区域i和区域j，提取候选区域的相对几何特征b
i
和b
j
，利用MLP学习得到区域i和区域j的边值：其中，α表示两个区域之间的差异情况；S22，遍历全部区域生成空间区域图；通过堆叠的K个MLP获得K个空间区域图，将K个空间区域图的边值累加取平均，并加入单位矩阵引入自环效果：其中，e
ij
为边值平均值，I为单位矩阵；S23，采用矩阵相乘的方式将空间区域图G
s
中的边与区域特征F连接，获得空间特征F
s
：F
s
＝εFW
s
其中，ε∈R
N
×
N
，R
N
×
N
为空间区域图的边集，e
ij
∈ε；W
s
为可训练参数，其为空间区域图G
s
中边值权重的K个MLP权重。3.根据权利要求1或2所述的一种知识引导的输电线路航拍图像目标检测方法，其特征在于，所述构建先验知识图的步骤具体为：A31，以候选区域为节点，以区域的空间特征初始化节点；由典型金具数据集的训练集中统计类别的共现次数，根据共现次数求出条件概率：P
xy
为条件概率，m
xy
为训练集中标签x与标签y共同出现的次数，N
x
为训练集中标签出现x的次数；A32，根据条件概率构建出邻接矩阵A，并对邻接矩阵A进行二值化处理，得到二值化邻接矩阵A
′
：其中，τ是为滤除噪声设定阈值；A33，引入超参数q进行二次加权，得到最终的邻接矩阵A
′
，邻接矩阵A
′
作为先验知识图的边：
A34，将N个区域进行处理以得到节点数为N*C的先验知识图。4.根据权利要求3所述的一种知识引导的输电线路航拍图像目标检测方法，其特征在于，所述...

【专利技术属性】
技术研发人员：杨迁，诸加荣，韩泽凯，吕家辉，季奕驰，
申请(专利权)人：浙江图盛输变电工程有限公司温州科技分公司，
类型：发明
国别省市：