基于知识图谱和多元图像的电力设备缺陷识别方法及系统技术方案

本公开提供了基于知识图谱和多元图像的电力设备缺陷识别方法及系统，涉及电力设备图像识别技术领域，方法包括获取电力设备的多张巡检图像；对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；制定第一缺陷图像标签和第二属性文本标签；将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。本公开提高电力设备巡检效率。本公开提高电力设备巡检效率。本公开提高电力设备巡检效率。

【技术实现步骤摘要】
基于知识图谱和多元图像的电力设备缺陷识别方法及系统


[0001]本公开涉及电力设备图像识别
，具体涉及基于知识图谱和多元图像的电力设备缺陷识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]电力设备具有数量多、面积广、长期暴露野外等特点，运行过程中易受外界环境等多方面因素影响。外界环境因素包括风偏、鸟害、覆冰、雷击、山火等，其他因素还有设备老化、质量、设计、验收、运维等，单一因素或多个综合因素都可导致设备故障缺陷，进而造成大面积停电，严重影响设备运行。
[0004]为了保证电力设备的可靠运行，需要及时发现电力设备缺陷，并采取有效措施加以控制和解决。目前，电力系统的检测应用往往采用智能检测设备，节省了电力设备的运行与维护成本，现有的视频监控系统仅能实现录制与传输显示，仍然需要人工处理图像信息。面对海量的图像信息，需要一种自动分析解决的方案，来对电力设备的缺陷进实现有效的识别判断。
[0005]当前对电力设备结构的研究集中在对电力设备显著的部件，如导线及绝缘子等方面的研究，没有考虑到电力设备的整体结构特性，没有建立识别电力设备这类复杂人造对象的约束机制。识别电力设备结构的关键是识别其各部分连接之处，这些区域是容易发生缺陷与故障的主要位置（如电力设备相连部件等）。
[0006]为了准确完整识别出电力设备目标，许多研究学者开展了基于改进Freeman链码、Radon变换、线段聚类、卡尔曼滤波器等经典图像处理算法的电力设备分割算法研究，但传统图像分割方法只在简单背景下有一定效果，而在复杂背景中分割效果的稳定性不高。此外，对于电力设备缺陷检测，目前学者们主要对图像中缺陷特征和边缘统计特征进行分析，实现电力设备缺陷检测，但电力设备缺陷结构特性呈现复杂多样，现有方法极易出现错检、漏检，难以实现对电力设备本体缺陷状态的准确识别，将图像进行分析，判断出所存在的缺陷以及所属的电力设备本体是主要解决的问题。
[0007]虽然当前的电力文本知识图谱拥有不错的性能，但是单纯依赖语义信息会缺乏图像内容的指导，导致其对多源异构的电力数据挖掘表现不佳，缺乏将视觉特征与语义特征进行结合来充分挖掘图像中的视觉信息和语句中的文本信息，无法实现对电力设备的多模态数据缺陷的识别。

技术实现思路

[0008]本公开为了解决上述问题，提出了基于知识图谱和多元图像的电力设备缺陷识别方法及系统，利用无人机设备采集小目标电力设备图像，结合电力设备实时采集的图像转化为电力设备缺陷数据，融合电力设备多目标的图像，构建知识图谱，实现电力设备缺陷的
识别。
[0009]根据一些实施例，本公开采用如下技术方案：基于知识图谱和多元图像的电力设备缺陷识别方法，包括：获取电力设备的多张巡检图像并进行预处理；对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
[0010]根据一些实施例，本公开采用如下技术方案：基于知识图谱和多元图像的电力设备缺陷识别系统，包括：数据获取模块，获取电力设备的多张巡检图像并进行预处理；识别分类模块，用于对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；知识图谱构建模块，用于将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
[0011]与现有技术相比，本公开的有益效果为：本公开通过将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，构建的知识图谱可以实现多种实体与多模态知识的有序化存储，拥有灵活的查询方式，可以根据实体节点属性、关系属性、设备图像等进行查询，获取更丰富的知识信息，并且可以快速准确地给出可视化结果，展示电力知识间的组织结构联系，改善了电力设备知识不集中，关联性弱的现状。通过返回的缺陷电力设备的文本属性与缺陷图像多模态结果，巡检员可以从各种不同角度来看待同一段知识，获得丰富细节特征的知识，有助于对设备状态的研判，提高电力巡检效率。
[0012]本公开通过收集无人机巡检作业的电力设备巡检图像数据，基于4T的巡检影像资料，建立无人机巡检图像库。可以对电力设备常见的杆塔、导线、地线、绝缘子和金具等种类的小目标缺陷进行识别。
附图说明
[0013]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0014]图1为本公开实施例的方法流程图；图2为本公开实施例的知识图谱导线示例包含关系示意图。
具体实施方式
[0015]下面结合附图与实施例对本公开作进一步说明。
[0016]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0017]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0018]实施例1本公开的一种实施例中提供了一种基于知识图谱和多元图像的电力设备缺陷识别方法，包括：步骤一：获取电力设备的多张巡检图像并进行预处理；步骤二：对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，包括：获取电力设备的多张巡检图像并进行预处理；对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。2.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，所述电力设备包括塔杆、导线、地线、绝缘子、金具、变压器、开关、散热器、储油柜、油箱。3.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，利用文本识别模型进行电力设备文字属性识别，利用改进的YOLOv5电力设备图像识别模型进行电力设备缺陷识别，所述电力设备文字属性包括电力设备铭牌以及每个电力设备对应管控区域编号。4.如权利要求3所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，利用文本识别模型进行电力设备文字属性识别之前，获取电力设备属性库以及字体库，生成电力设备文本数据集；当提取缺陷电力设备文字区域的文本信息后，将获取的文本区域的文本信息与电力设备文本数据集进行匹配对比，确定当前缺陷电力设备的属性，并制定第二属性文本标签，所述标签包括当前缺陷电力设备的铭牌信息以及管控区域编号。5.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，基于所述缺陷电力设备的巡检图像提取图像的文本区域具体包括：将所述缺陷电力设备图像进行双边滤波处理，获取边缘保存图像，通过颜色空间转换算法，将所述边缘保存图像转换至HSV颜色空间；其中，所述颜色空间转换算法用于将RGB色彩模式与所述HSV颜色空间进行转换；通过限制对比度自适应直方图均衡CLAHE算法，将转换至所述HSV颜色空间的所述边缘保存图像的亮度分量，进行对比度处理，得到预处理图像；将所述预处理图像转换RGB色彩模式，将RGB色彩模式的图像输入所述文本识别模型，确定缺陷电力图像的文本区域。6.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，将提取的文本区域输入文本识别模型，确定文本区域中的文本信...

【专利技术属性】
技术研发人员：李勇，孔德强，丁亮，张红梅，王冉，张芷有，赵旭，
申请(专利权)人：国网山东省电力公司济宁供电公司，
类型：发明
国别省市：