通用电力设备识别大模型方法及系统技术方案

本发明专利技术提出了一种通用电力设备识别大模型方法及系统，以无人机巡检系统采集的倾斜影像为研究对象

【技术实现步骤摘要】
通用电力设备识别大模型方法及系统


[0001]本专利技术属于无人机电力巡检中的巡检影像电力设备自动识别应用，提出了一种通用的电力设备识别大模型
。

技术介绍

[0002]随着输电线路里程连年大规模增加，对保障输电线路安全稳定运行提出了重大考验
。
随着无人机
、
计算机视觉
、
嵌入式技术井喷式发展，电力巡检作业模式正逐步由传统人工方式向无人机精细巡视转变
。
无人机在巡检过程中，机上搭载的传感器吊舱沿电力走廊采集倾斜影像，通过机上或后台部署的目标检测算法定位和识别电力设备，诊断隐患故障
。“无人机
+
视觉识别系统”的新型电力巡检方式因其成本低
、
效率高，正逐渐成为主流的巡检作业模式
。
[0003]在计算机视觉领域，
SAM
技术实现了零样本的高性能检测效果，在通用场景中取得优异的分割性能
。
在电力巡检领域，由于无人机影像的复杂性及目标尺寸差异性大，现有的检测算法通用性低
、
参数量有限
、
泛化能力差，难以实现电力设备通用大模型，在实际输电线路中性能仍缺乏鲁棒性
。
基于此，在无人机电力巡检领域，采用
SAM
技术可有效提升检测性能
。
但
SAM
是一种类别无关的实例分割方法，严重依赖于先验的手动提示，包括点
、
框和粗略掩模，这些限制使
SAM
不适用于电力巡检影像的全自动解译
。

技术实现思路

[0004]针对电力场景中现有算法通用性差，识别种类少的问题，本专利技术以电力场景中巡检数据处理为研究对象，设计应用场景广
、
识别类别全的通用电力设备识别大模型方法及系统
。
[0005]本专利技术所设计的通用电力设备识别大模型方法，其特殊之处在于，包括以下步骤：步骤1，采集获取电力巡检影像数据，构建输电线路数据集；步骤2，训练单阶段目标检测器，从数据集图像中检测到目标边界框作为显式提示；步骤3，利用大模型中图像编码器处理步骤1中的影像数据，再经大模型的提示器生成包含语义类别信息的隐式提示；融合步骤2和3中两种形式的提示，将融合后的语义类别信息传入大模型中，获得通用电力识别结果；其中，融合方式为，将单阶段检测器生成的显式提示与大模型中间层生成的隐式提示特征对齐，通过计算显式提示与隐式提示特征图的映射关系，融合两种提示的位置信息与类别信息
。
[0006]一种优选方式为，步骤1具体实现如下：步骤
1.1
，首先将采集到的各种场景的巡检影像筛选及清洗；步骤
1.2
，使用
labelImg
标注巡检影像，其中输电线路场景包括城市
、
大棚
、
农田
、
灌木丛
、
荒地
、
湖泊等，电力设备及外部侵入物种类覆盖输电杆塔
、
绝缘子
、
均压环
、
防震锤
、
间隔棒
、
绝缘子爆片
、
飘挂物；步骤
1.3
，将处理后的倾斜影像输入到单阶段目标检测器
。
[0007]进一步地，所述单阶段目标检测器采用
YOLOv8。
[0008]一种优选方式为，步骤2的具体过程如下：步骤
2.1
，原始影像经过尺度变化和填充；步骤
2.2
，将步骤
2.1
处理后的影像经数据增强及预处理后，输入到单阶段检测器骨干网中；步骤
2.3
，对骨干网提取到的特征进行多尺度特征融合；步骤
2.4
，融合后的特征输入到单阶段目标检测器，获取图像中包含的目标类别和粗略检测框
。
[0009]进一步地，步骤
2.2
中数据增强及预处理包括：水平及竖直翻转
、
对比度调整
、
旋转
、
马赛克增强，自适应锚框计算和自适应灰度填充
。
[0010]一种优选方式为，步骤3采用
SAM
大模型，具体过程如下：步骤
3.1
，输入原始图像，经过预训练的
VIT
骨干网络后，生成中间特征图；步骤
3.2
，将上步通过
ViT
骨干网络获取的中间特征，输入到轻量级的特征聚合模块，得到融合后的语义特征；步骤
3.3
，在获得融合的语义特征后，使用提示器为
SAM
掩码解码器生成隐式提示嵌入；步骤
3.4
，将单阶段检测器生成的显示提示与
SAM
中间层生成的隐式提示特征对齐，然后进行提示融合，提取丰富的语义信息
。
[0011]基于同一专利技术构思，本方案还设计了一种实现通用电力设备识别大模型方法的系统：包括数据获取模块，采集获取电力巡检影像数据，构建输电线路数据集；单阶段目标检测器模块，将检测到的目标边界框作为显式提示；通用电力识别模块，将大模型中图像编码器的中间层特征以形成提示器的输入，生成包含语义类别信息的隐式提示；融合显示提示和隐式提示，将融合后的语义类别信息传入大模型中，获得通用电力识别结果；其中，融合方式为，将单阶段检测器生成的显式提示与
SAM
中间层生成的隐式提示特征对齐，通过计算显式提示与隐式提示特征图的映射关系，融合两种提示的位置信息与类别信息
。
[0012]基于同一专利技术构思，本方案还设计了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现通用电力设备识别大模型方法
。
[0013]基于同一专利技术构思，本方案还设计了一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现通用电力设备识别大模型方法
。
[0014]与现有技术相比，本专利技术具有以下优点和有益效果：识别的电力设备种类及应用场景大幅度扩充，可满足多时段
、
多类型场景巡检数
据自动处理，如城市
、
农田
、
湖泊
、
森林
、
草地
、
荒地等；总体检测精度提升明显，确保较高的召回率；在实际输电线路场景中应用鲁棒性强
、
泛化能力高
。
[0015]以无人机巡检系统采集的倾斜影像为研究对象
。
针对其数据特点，采用单阶段目标检测器识别图像中目标边界框作为初始提示信息，利用图像编码器的中间层特征生成包含语义类别信息的提示
。
通过融合两种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通用电力设备识别大模型方法，其特征在于，包括以下步骤：步骤1，采集获取电力巡检影像数据，构建输电线路数据集；步骤2，训练单阶段目标检测器，将检测到影像数据目标边界框作为显式提示；步骤3，利用大模型中图像编码器处理步骤1中的影像数据，再经大模型的提示器生成包含语义类别信息的隐式提示；融合步骤2和3中两种形式的提示，将融合后的语义类别信息传入大模型中，获得通用电力识别结果；其中，融合方式为，将单阶段检测器生成的显式提示与大模型中间层生成的隐式提示特征对齐，通过计算显式提示与隐式提示特征图的映射关系，融合两种提示的位置信息与类别信息
。2.
根据权利要求1所述的通用电力设备识别大模型方法，其特征在于：所述步骤1具体实现如下：步骤
1.1
，首先将采集到的各种场景的巡检影像筛选及清洗；步骤
1.2
，使用
labelImg
标注巡检影像，其中输电线路场景包括城市
、
大棚
、
农田
、
灌木丛
、
荒地
、
湖泊等，电力设备及外部侵入物种类覆盖输电杆塔
、
绝缘子
、
均压环
、
防震锤
、
间隔棒
、
绝缘子爆片
、
飘挂物；步骤
1.3
，将处理后的倾斜影像输入到单阶段目标检测器
。3.
根据权利要求2所述的通用电力设备识别大模型方法，其特征在于：所述单阶段目标检测器采用
YOLOv8。4.
根据权利要求1所述的通用电力设备识别大模型方法，其特征在于：步骤2的具体过程如下：步骤
2.1
，对原始影像进行尺度变化和填充；步骤
2.2
，将步骤
2.1
处理后的影像经数据增强及预处理后，输入到单阶段检测器骨干网中；步骤
2.3
，对骨干网提取到的特征进行多尺度特征融合；步骤
2.4
，融合后的特征输入到单阶段目标检测器，获取图像中包含的目标类别和粗略检测框
。5.
根据权利要求4所述的通用电力设备识别大模型方法，其特征在于：步骤
2.2
中数据增强及预处理包括：水平及竖直翻转
、
对比度调整
...

【专利技术属性】
技术研发人员：杨必胜，陈驰，付晶，邵瑰玮，严正斐，邹勤，金昂，王治邺，吴少龙，孙上哲，
申请(专利权)人：武汉大学，
类型：发明
国别省市：