一种基于关键点的旋钮式开关状态识别方法技术

本发明专利技术公开了一种基于关键点的旋钮式开关状态识别方法，利用深度学习目标检测算法，定位所述旋钮式开关在采集的原始图像中的区域，并基于所述区域与原始图像进行图像分割得到目标旋钮式开关图像；利用

【技术实现步骤摘要】
一种基于关键点的旋钮式开关状态识别方法


[0001]本专利技术涉及机房巡检领域，尤其涉及一种基于关键点的旋钮式开关状态识别方法
。

技术介绍

[0002]随着中国电网高速发展，电网规模结构也发生了翻天覆地的改变，对于电网仪表状态的监测作业也得到井喷式发展
。
其中旋钮式开关是机房
(
配电室
)
中常见的以旋转手柄来控制主触点通断的一种开关，是机房低压配电系统中非常重要的一种电器，能完成接触和分断电路
、
电源转换
、
调整选择等关键操作
。
[0003]对旋钮式开关的巡检是无人值守机房巡检中的重点
。
传统方法采用人工对指针式仪表的状态进行采集和记录，然而这种方式不但消耗大量人力
、
物力
、
财力，同时也容易因工作量大导致工作效率降低，易产生误记
、
误读，降低数据采集准确率，造成无法挽回的后果
。
另外部分旋钮式开关工作在高温
、
高压
、
高辐射
、
甚至有毒等恶劣的环境中，对数据采集员的生命安全是一种严重威胁
。
因此实现旋钮式开关状态自动识别具有重要意义和巨大的价值
。
[0004]旋钮式开关并非智能设备，在现有技术下，无法通过物联网监测等手段来实时检测
、
无法实时识别机房中旋钮式开关的档位状态，给远程维护带来很大不便，不利于偏远机房无人值守工作的推进
。
[0005]但是随着数字图像处理技术，特别是人工智能
(AI)
的爆炸性发展和深度学习算法取得了重大突破，吸引了学者们使用图像处理技术和深度学习方法来解决旋钮式开关状态识别过程中遇到的问题
。
[0006]在一篇相关论文中
(
史梦安，陆振宇
《
基于
YOLO
‑
tiny
‑
RFB
模型的电站旋钮式开关状态识别
》[J].
计算机应用，
2020,40(12):3679
‑
3686)
，作者使用
YOLO
‑
tiny
对旋钮式开关的位置进行检测，然后将检测到的旋钮式开关送入
MobileNetV2
进行分类，以
n
个类别代表旋钮式开关的
n
个状态
。
使用该方法解决旋钮式开关状态识别有三个缺陷：
①
类别的数量必须根据旋钮式开关状态数量预先定义，一旦要增加旋钮式开关状态，就必须重新训练模型
。
②
长尾问题，即对于数据量少的状态类别，模型不能很好地分类
。
③
缺乏可解释性，即算法直接输出经过分类的旋钮式开关的状态，没有中间输出，我们无法得知算法决策的细节，也无法对决策过程进行干预
。
因此，分类方法并不是最适合旋钮式开关状态识别的方法
。
[0007]在一篇相关专利中
(
赵海红等
.《
旋钮式开关档位的识别方法
、
装置
、
电子设备及存储介质
》.202111160540.2[P].2021.09.30)
，作者使用语义分割的方法，获得旋钮式开关手柄区域的掩码
。
作者针对他们应用场景的旋钮式开关的明显指示特征，设计了一系列后处理流程，得到旋钮式开关手柄朝向的连线，从而判断旋钮式开关的状态
。
这种方法的缺陷在于，它的后处理流程是针对某一类旋钮式开关的明显指示特征而设计的，当遇到新类别的旋钮式开关时，必须针对新的的明显指示特征设计一套新的后处理流程，这给工程实际应用带来了不便
。
此外，语义分割的标注非常耗时，这导致标注数据集的人工成本非常高
。
[0008]总而言之，近年来一些研究者基于深度学习方法，如使用分类
、
分割等算法来检测旋钮式开关的状态，很大程度上解决了传统算法遗留的问题，如背景复杂，仪表定位困难，照明不均匀等
。
但它们也存在一些缺陷如长尾问题，后处理复杂，标注太耗时等
。

技术实现思路

[0009]本专利技术的目的在于提供一种基于关键点的旋钮式开关状态识别方法，解决了现有技术中指出的上述技术问题
。
[0010]本专利技术提出了一种基于关键点的旋钮式开关状态识别方法，包括如下操作步骤：
[0011]巡检机器人通过摄像头采集仪表，获得含有旋钮式开关在采集的原始图像；
[0012]利用深度学习目标检测算法，定位所述旋钮式开关在采集的原始图像中的区域，并基于所述区域与原始图像进行图像分割得到目标旋钮式开关图像；
[0013]利用
CenterNet
模型，预测旋钮式开关在所述目标旋钮式开关图像的关键点的概率，并得到输出关键点概率热力图；
[0014]通过输出关键点概率热力图确定识别当前旋钮式开关的目标关键点，基于所述目标关键点实现关键点坐标提取，最终实施计算目标旋钮式开关图像中的当前旋钮式开关的指向状态
。
[0015]优选的，作为一种可实施方案；利用深度学习目标检测算法，定位所述旋钮式开关在采集的原始图像中的区域，并基于所述区域与原始图像进行图像分割得到目标旋钮式开关图像，包括如下操作步骤：
[0016]通过巡检机器人获取大量原始仪表图像数据；
[0017]对原始仪表图像数据进行人工标注仪表矩形框；
[0018]在标注矩形框处理后将原始仪表图像数据划分为训练集和测试集；
[0019]构建
NanoDet
检测模型，并通过训练集和测试集对其进行训练，得到训练后的仪表检测
NanoDet
模型；
[0020]将巡检机器人采集到的待检测图像输入训练后的仪表检测
NanoDet
模型之后，进行仪表检测输出仪表检测结果；所述仪表检测结果包括有四点坐标确定的剪切仪表图像；即剪切仪表图像为所述目标旋钮式开关图像
。
[0021]优选的，作为一种可实施方案；利用
CenterNet
模型，预测旋钮式开关在所述目标旋钮式开关图像的关键点的概率，并得到输出关键点概率热力图，包括如下操作步骤：
[0022]对所述目标旋钮式开关图像进行缩放和填充处理，变为预设标准的图像；
[0023]将其统一后的图像输入
CenterNet
模型进行关键点检测，得到多个关键点，收集检测到的大量关键点得到输出关键点概率热力图
。
[0024]优选的，作为一种可实施方案；通过输出关键点概率热力图确定识别当前旋钮式开关的目标关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于关键点的旋钮式开关状态识别方法，其特征在于，包括如下操作步骤：巡检机器人通过摄像头采集仪表，获得含有旋钮式开关在采集的原始图像；利用深度学习目标检测算法，定位所述旋钮式开关在采集的原始图像中的区域，并基于所述区域与原始图像进行图像分割得到目标旋钮式开关图像；利用
CenterNet
模型，预测旋钮式开关在所述目标旋钮式开关图像的关键点的概率，并得到输出关键点概率热力图；通过输出关键点概率热力图确定识别当前旋钮式开关的目标关键点，基于所述目标关键点实现关键点坐标提取，最终实施计算目标旋钮式开关图像中的当前旋钮式开关的指向状态
。2.
根据权利要求1所述的一种基于关键点的旋钮式开关状态识别方法，其特征在于，利用深度学习目标检测算法，定位所述旋钮式开关在采集的原始图像中的区域，并基于所述区域与原始图像进行图像分割得到目标旋钮式开关图像，包括如下操作步骤：通过巡检机器人获取大量原始仪表图像数据；对原始仪表图像数据进行人工标注仪表矩形框；在标注矩形框处理后将原始仪表图像数据划分为训练集和测试集；构建
NanoDet
检测模型，并通过训练集和测试集对其进行训练，得到训练后的仪表检测
NanoDet
模型；将巡检机器人采集到的待检测图像输入训练后的仪表检测
NanoDet
模型之后，进行仪表检测输出仪表检测结果；所述仪表检测结果包括有四点坐标确定的剪切仪表图像；即剪切仪表图像为所述目标旋钮式开关图像
。3.
根据权利要求2所述的一种基于关键点的旋钮式开关状态识别方法，其特征在于，利用
CenterNet
模型，预测旋钮式开关在所述目标旋钮式开关图像的关键点的概率，并得到输出关键点概率热力图，包括如下操作步骤：对所述目标旋钮式开关图像进行缩放和填充处理，变为预设标准的图像；将其统一后的图像输入
CenterNet
模型进行关键点检测，得到多个关键点，收集检测到的大量关键点得到输出关键点概率热力图
。4.
根据权利要求3所述的一种基于关键点的旋钮式开关状态识别方法，其特征在于，通过输出关键点概率热力图确定识别当前旋钮式开关的目标关键点，基于所述目标关键点实现关键点坐标提取，最终实施计算目标旋钮式开关图像中的当前旋钮式开关的指向状态，包括如下操作步骤：如果当前旋钮式开关为固定安装方向的旋钮式开关，其当前旋钮式开关的目标关键点为两种，包括旋柄中点和旋柄端点；在得到关键点概率热力图的基础上，对于每一种关键点，分别在其对应的热力图上找到概率值最高的坐标，作为该关键点的坐标；其中，上述固定安装方向的旋钮式开关是通过输出关键点概率热力图提取旋柄中点和旋柄端点的坐标；然后基于旋柄中点和旋柄端点的坐标连线确定“旋钮延伸直线”，根据“旋钮延伸直线”确定当前旋钮式开关的指向信息；基于当前旋钮式开关的指向信息进而判断旋钮式开关的指向状态
。5.
根据权利要求4所述的一种基于关键点的旋钮式开关状态识别方法，其特征在于，基
于当前旋钮式开关的指向信息进而判断旋钮式开关的指向状态，包括如下操作步骤：基于所述“旋钮延伸直线”，在得到关键点坐标的基础上，计算预测角度其中
x1,y1,x2,y2,,,,
计算预测角度与预设角度列表中的多个
angle_i

【专利技术属性】
技术研发人员：宁浩鉴，何翔，吴芳芳，徐光彩，杨超，张淋淇，张麟，郭彦明，
申请(专利权)人：武汉绿土图景科技有限公司，
类型：发明
国别省市：