一种基于计算机视觉的电力压板开关巡检方法技术

本发明专利技术公开了一种基于计算机视觉的电力压板开关巡检方法，包括：采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；依据校验反馈结果完成对电力压板开关的巡检。无需手动录入开关数量信息，直接一站式拍摄加检测，即可准确得到结果；除了检测开关还有其标签种类，还对标签上的文字进行了OCR检测，可以直接获得文本内容，不必手动输入，减少了工人的工作量。减少了工人的工作量。减少了工人的工作量。

【技术实现步骤摘要】
一种基于计算机视觉的电力压板开关巡检方法


[0001]本专利技术涉及电力压板开关巡检的
，尤其涉及一种基于计算机视觉的电力压板开关巡检方法。

技术介绍

[0002]目前业界内已经存在许多文献、方案解决电力系统巡检的问题，如文献[1]中设计了电力巡检机器人，但巡检机器人运用了多种复杂的传感器，涉及多个控制系统定位模块，不仅设备成本高，而且其运用的计算机视觉算法对变电站应用场景的局限性较大；文献[2]中将无人机应用到电力巡检中，其缺陷除了成本大以外，还会受到电磁环境等情况的影响，其普适性不高且实现难度较大；除此之外，如文献[3]中主要针对变电站的指示灯、空气开关等继电保护装置的状态进行研究，并没有将其各种装置对应的标签内容识别检测出来。
[0003][1]吴昊,陈山,冯驰,罗涛,操昊鹏.电力巡检机器人终端视觉巡检技术[J].电力设备管理,2020(09):196
‑
199.
[0004][2]王瑞群,欧阳权,段朝伟,王志胜.基于强化学习的无人机全自主电力巡检[J].机械与电子,2021,39(12):34
‑
38+43.
[0005][3]潘成成.变电站继电保护装置的图像识别方法研究[D].广西大学,2020.

技术实现思路

[0006]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0007]鉴于上述现有存在的问题，提出了本专利技术。
[0008]因此，本专利技术解决的技术问题是：标签较小且繁多，对电力巡检这一特定场景下的文本检测与识别效果很不理想的问题。
[0009]为解决上述技术问题，本专利技术提供如下技术方案：采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；依据校验反馈结果完成对电力压板开关的巡检。
[0010]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述YOLOv3算法包括，
[0011]利用MobileNetv1神经网络对所述单帧图像进行特征提取；
[0012]将所述单帧图像划分为多个区域，并预测所述单帧图像的边界框和每个区域的概率值。
[0013]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述开关底部标签的文本信息的获取包括，
[0014]利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；
[0015]使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特征序列的标签分布；
[0016]使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终的识别结果。
[0017]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述压板开关与其对应的标签、贴纸关联输出包括，
[0018]将所述文本信息划分为标签、开关和贴纸，并将所述文本信息存放在三个数组中；
[0019]每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性。
[0020]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述压板开关与其对应的标签、贴纸关联输出还包括，
[0021]判断是否出现漏检的情况，并获取所有开关的位置信息。
[0022]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：若未出现漏检，则遍历每一个所述开关数组，并设置第一个开关；
[0023]以所述第一个开关为基准，遍历所有的开关目标，若第一个开关在y轴上的中值是在这个目标的上边界和下边界的值之间，则这个目标是和第一个开关是同一排的开关，并根据这个目标的x坐标进行排序，活动的第一排开关的全部相对位置信息。
[0024]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：还包括，
[0025]遍历所有的标签数组，计算每一个标签和开关底部中心的距离，将标签和距离这个标签最近的开关相关联，以此类推，把标签的信息并入开关数组；
[0026]遍历所有的贴纸数组，计算每一个贴纸和开关上部中心的距离，将贴纸和距离这个贴纸最近的开关相关联，以此类推，把贴纸的信息并入开关数组；
[0027]遍历开关时跳过已经有坐标的开关，获取到所有开关的位置信息。
[0028]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：若出现漏检，则利用捡漏算法查找漏检情况；
[0029]若左边和右边相邻的开关间距大于一个开关搞的1.65倍，则认为中间存在漏检情况，要插入一个值为“null”的开关，表示未能成功检测，并提醒用户人工检查并手动添加信息，若不存在漏检的情况，则需要调整好规范角度重新拍摄。
[0030]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述校验算法包括，
[0031]对巡检前后拍摄的单帧图像进行检测识别，并返回巡检前后每个开关、标签与贴纸的信息json识别结果，比较两个json文件中开关总数是否相同。
[0032]作为本专利技术所述的基于计算机视觉的电力压板开关巡检方法的一种优选方案，其中：所述校验算法还包括，
[0033]若开关总数相同，比较在两个json文件中行列坐标相同的开关的种类是否相同，判断巡检前后开关状态是否变化；检测完成后输出巡检前后开关状态、标签贴纸信息以及开关状态是否变化，实现开关检测自动校检；
[0034]若开关总数不同，则需巡检人员重新拍摄巡检后的图片，重新进行检测或人工校验。
[0035]本专利技术的有益效果：无需手动录入开关数量信息，直接一站式拍摄加检测，即可准确得到结果；除了检测开关还有其标签种类，还对标签上的文字进行了OCR检测，可以直接获得文本内容，不必手动输入，减少了工人的工作量。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0037]图1为本专利技术一个实施例提供的一种基于计算机视觉的电力压板开关巡检方法的基本流程示意图；
具体实施方式
[0038]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的电力压板开关巡检方法，其特征在于，包括：采集单帧图像，并获取所述单帧图像上多个压板开关的位置、开关状态、贴纸种类以及开关底部标签的种类；获取开关底部标签的文本信息，并构建YOLOv3算法将压板开关与其对应的标签、贴纸关联输出；采用校验算法判断巡检前后开关状态、标签贴纸信息是否变化；依据校验反馈结果完成对电力压板开关的巡检。2.如权利要求1所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述YOLOv3算法包括，利用MobileNetv1神经网络对所述单帧图像进行特征提取；将所述单帧图像划分为多个区域，并预测所述单帧图像的边界框和每个区域的概率值。3.如权利要求2所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述开关底部标签的文本信息的获取包括，利用MobileNetV3 Small网络作为backbone实现对单帧图像特征序列的提取；使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特征序列的标签分布；使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终的识别结果。4.如权利要求1～3任一所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述压板开关与其对应的标签、贴纸关联输出包括，将所述文本信息划分为标签、开关和贴纸，并将所述文本信息存放在三个数组中；每个数组中都包含位置、种类信息，此外开关数组中还包括标签、贴纸、贴纸位置这三个属性。5.如权利要求4所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：所述压板开关与其对应的标签、贴纸关联输出还包括，判断是否出现漏检的情况，并获取所有开关的位置信息。6.如权利要求5所述的基于计算机视觉的电力压板开关巡检方法，其特征在于：若未出现漏检，则遍历每一个所述开关数组，并设置第一个开关；以所述第一个...

【专利技术属性】
技术研发人员：帅辉明，高誌怡，王梦彦，刘晨曦，陈琳琳，朱娴，刘飞宇，
申请(专利权)人：南京理工大学紫金学院，
类型：发明
国别省市：