一种开合构件的开合状态识别方法技术

本申请公开一种开合构件的开合状态识别方法

【技术实现步骤摘要】
一种开合构件的开合状态识别方法、装置及存储介质


[0001]本专利技术属于图像识别
，具体的，涉及一种开合构件的开合状态识别方法
、
装置及存储介质
。

技术介绍

[0002]变电站传统的单一巡检方式为人工巡检，存在劳动强度大
、
巡检效率低
、
巡检不到位
、
雨雪恶劣条件下巡检视觉辨别困难等问题
。
对于刀闸类电力开关，目前也可以采用巡视点位相机
、
巡检机器人进行巡检，或者是基于电子压力传感器的识别
。
[0003]其中，基于电子压力传感器的识别，通过在刀闸动作开合的位置设置压力传感器来感知刀闸的开合状态，虽然一定程度上可以解决状态识别的问题，但是每个刀闸都需额外添加和维护传感设备，在室外环境中易损耗，增加了部署和维护成本
。
[0004]因此，出于成本考虑，应用巡视点位相机
、
巡检机器人进行巡检具有更大的应用前景
。
巡视点位相机
、
巡检机器人是基于图像的识别，通过识别拍摄图像中刀闸状态，例如在文章
《
基于点云特征提取的电力刀闸三维状态识别方法
》(
电力科学与技术学报，第
37
卷第3期，
2022
年5月
)
中采用基于
3D
点云的识别方法，但这种方法不适用于单张平面图像的输入，需要添加深度相机设备或者估算深度信息，设备成本依然较高，估算深度信息也会引入估算误差，导致识别准确率下降
。
[0005]因此，目前还有从拍摄的二维图像中分割出刀闸的动作臂
、
关节点
、
触点的外形轮廓，然后再根据外形轮廓判断其开合状态的方法
。
但这涉及到图像分割算法，计算量大，且分割精度也会影响后续的开合判断
。
因此也有通过简化的识别方法来判断的，例如在文章
《The Automatic Identification Method of Switch State》(International Journal of Simulation
：
Systems Science and Technology
，第
17
卷，第
211
‑
214
页，
2016
年
)
采用基于直线检测的识别方法，检测刀闸动作臂上存在的直线图形，当刀闸处于开或者合状态时，动作臂以及动作臂上的直线位于图片中不同区域，据此判断刀闸状态
。
该方法不具通用性，对于具有曲线型外轮廓的刀闸无法判定刀闸状态，因此不能适用多种刀闸种类，另外如果图片背景中含其他直线元素较多的设备，比如电线，会对识别结果造成大的干扰
。
[0006]还有利用包含动作臂的检测框
、
绝缘子的检测框来识别的，例如在文章
《
基于改进深度学习的刀闸状态识别方法研究
》(
电力与仪表，第
55
卷第5期，
2018
年3月
10
日
)
中，采用检测包含刀闸动作臂的检测框，包含绝缘子的检测框在图像中的连通性的识别方法
。
该方法同样不具通用性，由于检测连通性，连接区域中如果拍摄到其他设备，将影响连通性的判断，从而影响识别结果
。

技术实现思路

[0007]为解决以上问题，本申请提供一种开合构件的开合状态识别方法，包括：
[0008]采集并标注在开状态以及合状态下的开合构件的动作臂
、
关节点以及触点图像数据，并利用标注后的图像数据作为训练数据来训练目标检测模型，直至目标检测模型的损
失函数输出小于设定阈值，获得训练后目标检测模型，
[0009]其中，在标注时，对于双臂运动开合构件，合状态下的两个动作臂共用一个动作臂检测框；对于中心旋转开合构件，合状态下固定触点与移动触点接触合并称为闭合触点，共用一个触点检测框；对于伸缩运动开合构件，合状态下固定触点与移动触点合并称为闭合触点，共用一个触点检测框；
[0010]利用训练后目标检测模型识别待识别图像，输出开合状态下动作臂
、
关节点和触点的目标检测框；
[0011]利用动作臂
、
关节点和触点的几何关系构造几何判定规则，并利用所述几何判定规则来判定开合构件的开合状态
。
[0012]可选的，目标检测模型的损失函数如下：
[0013]loss
＝
loss
d
+
γ
·
loss
GHM
[0014]其中，
loss
d
为目标检测模型的原有损失函数，
γ
是权重参数，
loss
GHM
是
GHM
损失函数
。
[0015]可选的，所述几何判定规则包括适用于双臂运动开合构件的第一判定规则：
[0016][0017]其中，
jcd
i
表示第
i
个触点检测框，
1≤i≤2
；
[0018]jgd
i
表示第
i
个关节点检测框；
[0019]e
i
＝
(jgd
i
，
jcd
i
)
表示从
jgd
i
的中心点指向
jcd
i
中心点的向量；
[0020]dist(jcd1，
jcd2)
表示
jcd1与
jcd2之间的欧式距离，
dist(jgd1，
jgd2)
表示
jgd1与
jgd2之间的欧式距离，满足
0<T7<T8<1
；
[0021]T1、T2、T7、T8为设定阈值
。
[0022]可选的，所述几何判定规则包括适用于双臂运动开合构件的第二判定规则，
[0023]第二判定规则：
[0024][0025]其中，
jh
表示处于合状态的动作臂检测框，
jf
表示处于开状态的动作臂检测框
。
[0026]可选的，所述中间区域
M
是将动作臂检测框的所有顶点构成一组样本点，对所述样本点通过主成分分析计算出主成分方向对于每个顶点，将顶点坐标与相加减来实现向中心区域收缩，
L
是顶点距离动作臂检测框中心的投影距离，
γ
∈(0
，...

【技术保护点】

【技术特征摘要】
1.
一种开合构件的开合状态识别方法，其特征在于，包括：采集并标注在开状态以及合状态下的开合构件的动作臂
、
关节点以及触点图像数据，并利用标注后的图像数据作为训练数据来训练目标检测模型，直至目标检测模型的损失函数输出小于设定阈值，获得训练后目标检测模型，其中，在标注时，对于双臂运动开合构件，合状态下的两个动作臂共用一个动作臂检测框；对于中心旋转开合构件，合状态下固定触点与移动触点接触合并称为闭合触点，共用一个触点检测框；对于伸缩运动开合构件，合状态下固定触点与移动触点合并称为闭合触点，共用一个触点检测框；利用训练后目标检测模型识别待识别图像，输出开合状态下动作臂
、
关节点和触点的目标检测框；利用动作臂
、
关节点和触点的几何关系构造几何判定规则，并利用所述几何判定规则来判定开合构件的开合状态
。2.
根据权利要求1所述的开合构件的开合状态识别方法，其特征在于，目标检测模型的损失函数如下：
loss
＝
loss
d
+
γ
·
loss
GHM
其中，
loss
d
为目标检测模型的原有损失函数，
γ
是权重参数，
loss
GHM
是
GHM
损失函数
。3.
根据权利要求1所述的开合构件的开合状态识别方法，其特征在于，所述几何判定规则包括适用于双臂运动开合构件的第一判定规则：其中，
jcd
i
表示第
i
个触点检测框，
1≤i≤2
；
jgd
i
表示第
i
个关节点检测框；
e
i
＝
(jgd
i
，
jcd
i
)
表示从
jgd
i
的中心点指向
jcd
i
中心点的向量；
dist(jcd1，
jcd2)
表示
jcd1与
jcd2之间的欧式距离，
dist(jgd1，
jgd2)
表示
jgd1与
jgd2之间的欧式距离，满足
0<T7<T8<1
；
T1、T2、T7、T8为设定阈值
。4.
根据权利要求3所述的开合构件的开合状态识别方法，其特征在于，所述几何判定规则包括适用于双臂运动开合构件的第二判定规则，第二判定规则：其中，
jh
表示处于合状态的动作臂检测框，
jf
表示处于开状态的动作臂检测框
。5.
根据权利要求4所述的开合构件的开合状态识别方法，其特征在于，
所述中间区域
M
是将动作臂检测框的所有顶点构成一组样本点，对所述样本点通过主成分分析计算出主成分方向对于每个顶点，将顶点坐标与相加减来实现向中心区域收缩，
L
是顶点距离动作臂检测框中心的投影距离，
γ
∈(0,1)
是收缩比例，收缩后的所有顶点即标定出中间区域
M。6.
根据权利要求5所述的开合构件的开合状态识别方法，其特征在于，所述几何判定规则包括适用于双臂运动开合构件的第三判定规则：其中，预置框是在事先拍摄的图像中包含开合构件左右关节点和连接区域在内的多边形框
。7.
根据权利要求1所述的开合构件的开合状态识别方法，其特征在于，所述几何判定规则包括适用于中心旋转开合构件的第四判定规则：其中，
xhcd
表示闭合触点检测框，
xfcdg
表示固定触点检测框，
xfcdy
表示移动触点检测框，其中以触点检测框的中心点是否在动作臂检测框中来判断触点检测框是否在动作臂检测框中
。8.
根据权利要求7所述的开合构件的开合状态识别方法，其特征在于，如果动作臂检测框中同一触点类型的触点个数超过两个，则通过枚举该触点类型的触点检测框中心点与关节点检测框中心点应满足共线的必要条件来排除多余触点
。9.
根据权利要求8所述的开合构件的开合状态识别方法，其特征在于，所述几何判定规则包括适用于中心旋转开合构件的第五判定规则，第五判定规则：其中，
xh
...

【专利技术属性】
技术研发人员：王心安，万斌，
申请(专利权)人：北京泽宇高科智能科技有限公司，
类型：发明
国别省市：