【技术实现步骤摘要】
本专利技术涉及智能检测，尤其涉及一种基于多模态融合的变电站设备故障检测方法及系统。
技术介绍
1、随着电力系统的高速发展，变电站在电力输配过程中扮演着至关重要的角色。为了保障电力设备的正常运行和安全生产，准确且实时的变电站设备故障检测和诊断成为行业的关键需求。
2、传统的变电站故障检测往往采用人工巡检的方式，人为检测变电站中变压器、断路器、隔离开关、互感器、避雷器、补偿装置和母线等变电设备是否发生故障，人工巡检是一种用于检查变电站设备状况并发现隐患和故障的经典方法。然而，随着电力系统规模的扩大和设备类型的增加，人工巡检所需的时间和劳动力不断增长，同时其主观性和局限性也愈发突显，人工巡检通常无法适应大规模、高频率的需求。
3、随着人工智能的发展，基于巡检机器人和计算机视觉的自动电力设备故障检测算法逐步代替人工巡检的方式，得到广泛的应用。现有的人工智能变电站设备故障检测方法能够适应大规模的故障检测场景，提升故障检测效率，但是，其往往仅基于变电站设备图像和红外成像提取变电站设备整体的状态特征，根据整体状态特征判断变电站是否故障，然而当变电站设备如电机等存在潜在故障时，其图像表现可能与正常状态下相同，整体状态特征并不会发生改变，现有方法无法检测出该潜在故障，难以保证故障检测的精确性。另外，不同设备拍摄的设备图像或同一设备不同角度拍摄的设备图像，所得到的图像差异较大，仅通过图像进行故障判断，也无法保证基于所采集图像的检测结果的准确性。
技术实现思路
1、为解决上述现有
2、第一方面，本公开提供了一种基于多模态融合的变电站设备故障检测方法。
3、一种基于多模态融合的变电站设备故障检测方法，包括：
4、获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
5、对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
6、对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于vgg架构的卷积神经网络模型中，输出故障检测结果。
7、第二方面，本公开提供了一种基于多模态融合的变电站设备故障检测系统。
8、一种基于多模态融合的变电站设备故障检测系统，包括：
9、数据获取模块，用于获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
10、数据预处理模块，用于对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
11、故障检测模块，用于对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于vgg架构的卷积神经网络模型中，输出故障检测结果。
12、第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
13、第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
14、以上一个或多个技术方案存在以下有益效果：
15、1、本专利技术提供了一种基于多模态融合的变电站设备故障检测方法及系统，通过可见光摄像头、热红外摄像头以及声音传感器采集变电站设备的表计图像、热红外图像以及关键位置声音数据，提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征并融合多模态特征，再结合深度学习方法，实现变电站设备的故障精准检测，而且通过图像特征与声音特征共同进行故障检测，能够实现变电站设备潜在故障的准确检测。相较于传统的仅基于变电站设备图像和红外成像的状态特征进行变电站故障诊断的方案，本专利技术综合考虑设备表计特征、最大温度区域特征和音频频率特征这多种模态特征进行故障诊断，能够实现更准确的故障诊断。
16、2、本专利技术中限定了图像及声音数据所提取的具体特征，即提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，相较于传统的提取可见光图像的整体图像特征，本专利技术提取设备可见光图像中表计读数的特征，表计读数是设备的显著特征，通过提取表计读数特征，既能使图像特征统一，也能正确反映设备情况，不会受到外界因素影响，保证最终故障检测的准确性；相较于传统的提取温度图像的整体温度特征，本专利技术直接提取最大温度区域特征，能够在设备出现故障时最快发现，而且当设备故障时，伴随着温度上升，最大温度能够尽可能多的判断设备是否故障，提高故障检测的效率与准确性。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合的变电站设备故障检测方法，其特征是，包括：
2.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对获取的可见光图像进行预处理，生成可见光表计图像，包括：
3.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对热红外图像进行预处理，提取热红外图像温度最大区域，包括：
4.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对设备关键位置音频帧数据进行特征提取，提取设备关键位置音频频率特征，包括：
5.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，多模态特征融合，包括：
6.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，采用交叉熵损失函数构建基于VGG架构的卷积神经网络模型的损失函数，根据损失值和精确率进行不断迭代优化训练，直至满足预设条件，完成基于VGG架构的卷积神经网络模型的训练。
7.一种基于多模态融合的变电站设备故障检测系统，其特征是，包括：
8.如权利要求7所述的基于多模
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种基于多模态融合的变电站设备故障检测方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种基于多模态融合的变电站设备故障检测方法的步骤。
...【技术特征摘要】
1.一种基于多模态融合的变电站设备故障检测方法，其特征是，包括：
2.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对获取的可见光图像进行预处理，生成可见光表计图像，包括：
3.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对热红外图像进行预处理，提取热红外图像温度最大区域，包括：
4.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对设备关键位置音频帧数据进行特征提取，提取设备关键位置音频频率特征，包括：
5.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，多模态特征融合，包括：
6.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，采用交叉熵损失函数构建基于vgg架构的卷积神经网络模型的...
【专利技术属性】
技术研发人员：李振玲，万月忠，曹维达，刘福涛，李晓磊，张伟，王付奎，徐彪，温洪彬，姜秋波，李云龙，
申请(专利权)人：国网山东省电力公司聊城供电公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。