无人电力巡检制造技术

本发明专利技术提出了一种无人电力巡检

【技术实现步骤摘要】
无人电力巡检AI轻量大模型方法及系统


[0001]本专利技术属于计算机视觉
中无人机电力巡检可见光影像数据的应用，提出一种全新的输电走廊无人电力巡检影像实时分割的
AI
轻量大模型方法及系统
。

技术介绍

[0002]输电线路是电力系统的重要组成部分，输电线路的可靠运行对电力系统的安全
、
稳定至关重要
。
我国电网具有规模大
、
输电线路覆盖广
、
自然条件复杂等特点
。
由于输电走廊所处自然环境通常恶劣复杂，输电线路组件容易受到外力和环境侵蚀，发生缺陷等故障
。
因此，有必要对输电线路进行及时
、
高效的巡检
。
[0003]输电线路最初采用人工进行巡检，工作强度大，劳动效率低
。
现在多用直升机或无人机进行巡检
。
在智能电力巡检中，首先由无人机等智能体设备进行输电线路数据采集工作
。
然后，将采集得到的图像等数据传输到服务器，利用计算机视觉技术进行自动处理和智能检测，大大节省了人力，提高了工作效率
。
但这种模式也存在一定的不足
。
首先，集中处理巡检获得的大量图像数据会增加云计算中心的负载
。
此外，巡检图像数据需要经过云计算中心处理才能得到诊断结果，不满足实时诊断的要求
。
最后，数据传输会消耗大量的移动数据，不利于巡检的经济性
。
[0004]随着边缘计算设备技术的发展，现在已经有了
Xavier
等高性能轻重量的边缘设备
。
在无人机等智能终端上部署边缘计算设备，对智能终端采集到的图像数据进行实时分析和处理，快速识别检测视觉图像中的设备缺陷是智能电力巡检的新范式
。
然而，由于边缘设备的算力有限，传统的目标检测模型推理速度较慢，不利于实时高效的电力巡检
。

技术实现思路

[0005]针对传统电力巡检影像数据目标识别方法的欠缺和不足，本专利提出一种无人电力巡检
AI
轻量大模型方法及系统，可根据点
、
框
、
文本
、
掩码等类型的关键词实时自动提取电力巡检影像数据中的输电走廊电力部件
。
[0006]为了解决上述技术问题，本专利技术设计的一种无人电力巡检
AI
轻量大模型方法采用如下的技术方案：步骤1，采集获取电力巡检影像，并对其进行预处理和数据增广处理，构建输电线路数据集；步骤2，获取大模型所需的提示；步骤3，构建无人电力巡检
AI
轻量大模型，并采用解耦蒸馏的方式，训练该轻量大模型：所述
AI
轻量大模型包括基于
ViT
的轻量图像编码器
、
解码器和关键词解码器；对步骤1中获取的数据通过图像编码器获得图像深度学习特征，不同类型的提示通过关键词解码器进行解码获得关键词特征，关键词特征与图像特征共同作为解码器的输入，得到分割结果；
所述
AI
轻量大模型的训练过程如下：首先，电力数据集对应的影像特征编码由预训练过的
ViT
图像编码器给出；然后，以此图像编码作为监督，训练基于
ViT
的轻量图像编码器，进行知识蒸馏，而编码器及解码器采用
SAM
中的冻结参数，训练过程中采用
MSE
损失；步骤4，利用训练好的
AI
轻量大模型获得电力巡检目标的实时分割结果
。
[0007]进一步地，步骤1中对电力巡检影像进行预处理和数据增广处理具体如下：将摄影生成的原始影像数据转为
jpg
或
png
常见的图像格式，录像数据按帧输出为
jpg
或
png
常见的图像格式；对转换完成的
jpg
或
png
格式的图像进行色偏
、
曝光纠正处理，获得可视效果好的影像数据；对预处理完成的影像数据使用
Labelimg
工具进行电力巡检场景目标的标注，并进行数据增广处理
。
[0008]进一步地，步骤2中大模型所需的提示包括目标关键点提示
、
目标边界框提示以及文本提示
。
[0009]优选地，为了自动获取提示，本专利技术的目标边界框提示的具体获取过程如下：将步骤1处理后的影像经过尺度变化和填充，缩放到
640
×
640
尺度，将处理后的倾斜影像输入到单阶段目标检测器
YOLO
‑
NASS
；单阶段目标检测器
YOLO
‑
NASS
对输入的图像中给定类别的目标进行检测；通过骨干网和多尺度特征金字塔进行影像特征提取和融合，并通过检测头输出图像中包含的目标类别和粗略边界框，所为大模型的边界框提示；优选地，为了自动获取提示，本专利技术的目标关键点提示的具体获取过程如下：步骤1处理后的影像经过尺度变化和填充，缩放到
512
×
512
尺度，将处理后的倾斜影像输入到单阶段目标检测器
CenterNet
；单阶段目标检测器
Centernet
对输入的图像中给定类别的目标进行检测；通过单阶段目标检测器
Centernet
的
Resnet50
骨干网进行影像特征提取，最后使用三个卷积网络，输出待提取目标的宽高和目标的中心点坐标，其中目标的中心点坐标作为大模型的关键点提示
。
[0010]优选地，本专利技术大模型所需文本提示的获取具体如下：整理巡检影像对应的文本数据，根据无人机电力巡检业务规范和流程，巡线巡塔过程中采集获取的影像会有相关的文字记录，包含被巡检的关键元器件的名称
。
将文本数据的敏感信息去除后，作为大模型的文本提示
。
[0011]进一步地，所述基于
ViT
的轻量图像编码器的第三部分由一个
MBConv
层和四个
Transformer
层组成；
MBConv
层输入通道数为
128
，输出通道数为
256
，步长为2；
Transformer
层输入通道数为
256
，注意力头个数为5，窗口大小为
14
×
14
，
MLP
膨胀比为
4。
[0012]基于同一专利技术构思，本专利技术还设计了一种实现无人电力巡检
AI
轻量大模型方法的系统，其特殊之处在于：包括数据集获取模块
、
大模型提示自动获取模块
、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人电力巡检
AI
轻量大模型方法，其特征在于，包括以下步骤：步骤1，采集获取电力巡检影像，并对其进行预处理和数据增广处理，构建输电线路数据集；步骤2，获取大模型所需的提示；步骤3，构建无人电力巡检
AI
轻量大模型，并采用解耦蒸馏的方式，训练该轻量大模型：所述
AI
轻量大模型包括基于
ViT
的轻量图像编码器
、
解码器和关键词解码器；对步骤1中获取的数据通过图像编码器获得图像深度学习特征，不同类型的提示通过关键词解码器进行解码获得关键词特征，关键词特征与图像特征共同作为解码器的输入，得到分割结果；所述
AI
轻量大模型的训练，首先，电力数据集对应的影像特征编码由预训练过的
ViT
图像编码器给出；然后，以此图像编码作为监督，训练基于
ViT
的轻量图像编码器，进行知识蒸馏，而编码器及解码器采用
SAM
中的冻结参数，训练过程中采用
MSE
损失；步骤4，利用训练好的
AI
轻量大模型获得电力巡检目标的实时分割结果
。2.
根据权利要求1所述的无人电力巡检
AI
轻量大模型方法，其特征在于：步骤1中对电力巡检影像进行预处理和数据增广处理具体如下：将摄影生成的原始影像数据转为
jpg
或
png
常见的图像格式，录像数据按帧输出为
jpg
或
png
常见的图像格式；对转换完成的
jpg
或
png
格式的图像进行色偏
、
曝光纠正处理，获得可视效果好的影像数据；对预处理完成的影像数据使用
Labelimg
工具进行电力巡检场景目标的标注，并进行数据增广处理
。3.
根据权利要求1所述的无人电力巡检
AI
轻量大模型方法，其特征在于：步骤2中大模型所需的提示包括目标关键点提示
、
目标边界框提示以及文本提示
。4.
根据权利要求3所述的无人电力巡检
AI
轻量大模型方法，其特征在于：所述目标边界框提示的具体获取过程如下：将步骤1处理后的影像经过尺度变化和填充，缩放到
640
×
640
尺度，将处理后的倾斜影像输入到单阶段目标检测器
YOLO
‑
NASS
；单阶段目标检测器
YOLO
‑
NASS
对输入的图像中给定类别的目标进行检测；通过骨干网和多尺度特征金字塔进行影像特征提取和融合，并通过检测头输出图像中包含的目标类别和粗略边界框，所为大模型的边界框提示
。5.
根据权利要求3所述的无人电力巡检
AI
轻量大模型方法，其特征在于：所述目标关键点提示的具体获取过程如下：步骤1处理后的影像经过尺度变化和填充，缩放到
512
×
512
...

【专利技术属性】
技术研发人员：杨必胜，陈驰，金昂，严正斐，邹勤，王治邺，吴少龙，孙上哲，付晶，邵瑰玮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：