基于AR和深度学习的电力设备遥信功能调试方法及系统技术方案

本发明专利技术公开了一种基于AR和深度学习的电力设备遥信功能调试方法及系统。本发明专利技术将增强现实技术有机融入到遥信功能调试工作中，借助AR智能眼镜和可发光定制化导线，结合基于深度学习YOLOv3算法的图像识别技术，实现融合信号触发识别、远程画面调阅、电子成像及语音提示等功能的遥信功能单人调试技术。本发明专利技术结合深度学习技术，具有较好的识别结果，AR摄像头从不同角度，不同的距离对目标进行识别都能够取得较好的识别效果，而且能够做到实时性，准确率高，能够满足工业检测的应用需求。

【技术实现步骤摘要】
基于AR和深度学习的电力设备遥信功能调试方法及系统
本专利技术属于电力工程调试领域，具体地说是一种基于AR和深度学习的电力设备遥信功能调试方法及系统。
技术介绍
随着自动化技术的快速发展，为满足一体化监视和控制的要求，监控系统采集的各类量测信号越来越多。为保证监控系统采集信息的正确性，需开展大量的遥信核对验证工作。作为控制系统调试中的重要工作之一，遥信核对验证工作按现有调试工具和手段存在诸多不便，急需引进新技术和新工具以提升调试效率。近年来，随着图像识别技术和计算机技术的不断变革，增强现实（AugmentedReality，简称AR）技术得到了快速发展。这种技术于1990年被提出，是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。借助于便携式可移动的终端载体，移动增强现实继承了三维注册、实时交互和虚实融合的特点，实现轻巧且便于携带的增强现实体验。类似于AR智能眼镜的智能穿戴设备以其“解放双手、高效交互、辅助决策”的新兴应用辅助理念，不仅得到消费级市场的热捧，在行业应用领域也崭露头角，不断有新颖实用的应用出现，使各行各业人员的工作效率得到提升。当前已有国内研究机构着手开展AR技术在电力系统领域的应用研究，并且取得了一定的研究成果。如国网湖北省电力有限公司检修公司针对电力设备巡检环境复杂、效率低、巡检数据统计不完善等问题，提出了一种将AR智能眼镜技术应用于电力设备巡检的方法。利用AR技术，将标准操作范围图像或视频与巡检对象进行无缝贴合，使巡检人员在复杂精密设备中迅速找到指定对象，有效完成智能巡检。此外，AR技术在电力行业中更多地应用于电力规划与设计、电力营销、培训、传媒等方面，已有一定研究基础但是应用范围并不宽泛。
技术实现思路
本专利技术的目的是提供一种基于AR和深度学习的电力设备遥信功能调试方法，其将增强现实技术有机融入到遥信功能调试工作中，借助AR智能眼镜和可发光定制化导线，结合基于深度学习YOLOv3算法的图像识别技术，实现融合信号触发识别、远程画面调阅、电子成像及语音提示等功能的遥信功能单人调试技术。为此，本专利技术采用如下的技术方案：基于AR和深度学习的电力设备遥信功能调试方法，其包括：1）屏柜端子排识别和标记借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；2）操作员短接动作识别和记录将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；3）监控后台画面调阅支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；4）智能判读AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。作为上述电力设备遥信功能调试方法的补充，为提升对端子排信息识别的准确率，具体方法为：先通过AR设备实时获取现实世界的图像，捕捉到的图像再实时送至GPU进行处理，通过预先训练好的深度学习模型，对获得的图像进行识别检测。作为上述电力设备遥信功能调试方法的补充，为识别图像中插线孔位的定位，需要得到已插线孔位旁的序号，得到序号之后，再与后台数据库中的正确插线序号进行对比，自动检查并发现设备出现的异常，将检测出的结果通过语音提示“插线正确/插线错误”或通过AR设备叠加图像显示提示信息。作为上述电力设备遥信功能调试方法的补充，所述的深度学习模型选择YOLOv3算法作为算法核心，算法准备需采集大量待识别图像，让摄像头从不同角度、不同距离拍摄样本，拍完视频之后，再将电笔插入到其他孔位中，再继续拍摄，最终拍摄完所有的视频，电笔应将所有的孔位都插过。作为上述电力设备遥信功能调试方法的补充，拍摄完所有视频之后，接着在视频中按一定间隔时间提取出图片，这样便将视频文件转化为图片文件；再将提取出的图片用LabelImg工具进行标记，再对其他剩余图片做相同的操作，生成xml文件后，将其置于YOLOv3算法中进行训练，训练结束后会得到冷冻的模型文件，里面包含众多的权重系数，至此，导出的模型文件将会被用于之后的图像检测。本专利技术提出一种基于AR应用的遥信功能单人调试技术，结合深度学习技术，具有较好的识别结果，AR摄像头从不同角度，不同的距离对目标进行识别都能够取得较好的识别效果，而且能够做到实时性，准确率高，能够满足工业检测的应用需求。相对于传统借助对讲机口头确认设备信息和状态，本专利技术借助AR设备，实现了单人调试设备这一技术。本专利技术的另一目的是提供一种基于AR和深度学习的电力设备遥信功能调试系统，其包括：1）屏柜端子排识别和标记模块借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；2）操作员短接动作识别和记录模块将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；3）监控后台画面调阅模块支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；4）智能判读模块AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。根据大样本测试结果的分析，本专利技术系统很少有误识别的情况存在，识别准确率可以达到98.3%。同时，整体系统优化较好，在客户端和服务器进行协同测试时，CPU占用率为67%，资源占用率较低，系统帧速为30帧，基本为满帧速运行，相对流畅。由此可见，相较于传统的采用opencv通过判断颜色状态、直线检测等方式来判断图片状态的方法，本专利技术系统能够更好地克服光照、拍摄距离、角度等不利因素，识别准确率更高，应用场景更加广泛。附图说明图1为本专利技术待调试电力设备屏柜端子排示意图；图2为本专利技术识本文档来自技高网...

【技术保护点】
1.基于AR和深度学习的电力设备遥信功能调试方法，其特征在于，包括：1）屏柜端子排识别和标记借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；2）操作员短接动作识别和记录将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；3）监控后台画面调阅支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；4）智能判读AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。...

【技术特征摘要】
1.基于AR和深度学习的电力设备遥信功能调试方法，其特征在于，包括：1）屏柜端子排识别和标记借助穿戴在操作人员眼前的AR眼镜获取所视范围内的图像，通过基于YOLOv3算法的深度学习模型实现图像精准识别，精准辨识屏柜名、端子排名、端子号信息；在识别出端子排信息后，在AR眼镜中通过用高亮线条标出、成像对应信息描述方式前置指引操作员进行下一步操作；2）操作员短接动作识别和记录将定制化的操作导线用于操作员对端子进行短接触发的动作，用以触发实际遥信信号；考虑在定制化操作导线中串入发光源，通过光源变化来判断操作员短接端子的动作是否到位；定制化导线预期实现北斗或GPS对时和守时，用于与站内监控后台的统一对时；AR眼镜通过定制化导线是否点亮来获取操作员的短接动作，利用视频分析记录下具体触发时间、触发的端子号和对应的信号描述；3）监控后台画面调阅支持监控后台画面及数据库的远程调阅，在监控后台主机中增加通信模块，实现与单兵装备之间的通信，使得整个信息流实现闭环；4）智能判读AR眼镜获取操作人员短接动作的时间、端子号、对应的信号描述，以文本文件的形式记录下所识别出的操作行为；同时监控后台将受到操作人员触发形成的告警或动作历史记录，也以文本文件形式导出；对两个文本文件按触发时间的唯一性进行关联，通过字符串匹配算法实现遥信信号校核工作的离线开展。2.根据权利要求1所述的电力设备遥信功能调试方法，其特征在于，为提升对端子排信息识别的准确率，具体方法为：先通过AR设备实时获取现实世界的图像，捕捉到的图像再实时送至GPU进行处理，通过预先训练好的深度学习模型，对获得的图像进行识别检测。3.根据权利要求2所述的电力设备遥信功能调试方法，其特征在于，为识别图像中插线孔位的定位，需要得到已插线孔位旁的序号，得到序号之后，再与后台数据库中的正确插线序号进行对比，自动检查并发现设备出现的异常，将检测出的结果通过语音提示“插线正确/插线错误”或通过AR设备叠加图像显示提示信息。4.根据权利要求1所述的电力设备遥信功能调试方法，其特征在于，所述的深度学习模型...

【专利技术属性】
技术研发人员：罗华峰，陆承宇，王松，吴建洪，黄军浩，阮黎翔，汪冬辉，方芳，杨涛，贺军，孙文文，吴栋萁，丁峰，
申请(专利权)人：杭州意能电力技术有限公司，国家电网有限公司，国网浙江省电力有限公司电力科学研究院，
类型：发明
国别省市：浙江,33