一种基于双模态数据融合的变电站设备故障检测方法技术

本发明专利技术公开了一种基于双模态数据融合的变电站设备故障检测方法，拍摄作业点的电力设备场景的可见光与温度图双模态图像；基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，使用多模态目标检测与实例分割模型对双模态数据中的电力设备进行自动识别，对实例分割后的电力设备图像，使用基于温度图的规则判定电力设备是否出现故障。本发明专利技术中双模态数据融合的变电站设备故障检测方法同时利用电力场景的可见光与温度图双模态，综合利用可见光的成像高清晰度与温度图的温度特性这一互补信息完成更为准确的实例分割，从而更为精确地识别出场景中的电力设备并基于此完成基于温度分析地故障检测。

【技术实现步骤摘要】
一种基于双模态数据融合的变电站设备故障检测方法
本专利技术涉及变电设备故障巡检
，具体为一种基于双模态数据融合的变电站设备故障检测方法。
技术介绍
传统的电力设备故障检测往往采用人工的形式，需要消耗大量的人力和物力。随着人工智能的发展，基于巡检机器人和计算机视觉的自动电力设备故障检测算法开始发展。之前常用的自动故障检测方法通常采用单模态的检测方法，即基于红外光模态完成对电力设备的目标检测，再基于红外光检测的结果完成基于温度的故障检测。由于红外光成像相对模糊，分辨率较低，因此难以保障红外光目标检测的准确率，从而影响故障检测的性能。为此我们提出一种基于双模态数据融合的变电站设备故障检测方法用于解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于双模态数据融合的变电站设备故障检测方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于双模态数据融合的变电站设备故障检测方法，包括以下步骤：S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到本文档来自技高网...

【技术保护点】
1.一种基于双模态数据融合的变电站设备故障检测方法，其特征在于，包括以下步骤：/nS1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；/nS2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；/nS3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；/nS4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：/nS4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；/nS4...

【技术特征摘要】
1.一种基于双模态数据融合的变电站设备故障检测方法，其特征在于，包括以下步骤：
S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；
S2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；
S3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；
S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：
S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；
S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；
S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双...

【专利技术属性】
技术研发人员：颜楠楠，朱皇儒，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：上海;31