一种基于多模态融合的导线绝缘皮破损检测方法及系统技术方案

本发明专利技术涉及目标检测技术领域，特别是涉及一种基于多模态融合的导线绝缘皮破损检测方法及系统，方法包括：获取训练图像集和训练文本集；基于图像特征提取网络对训练图像集进行特征提取，得到训练图像特征集；基于文本特征提取融合网络对训练文本集进行特征提取，得到训练文本特征集；基于文本特征提取融合网络对训练图像特征集和训练文本特征集进行融合，得到训练特征集；基于训练特征集对目标检测网络进行训练，得到训练好的目标检测网络；基于图像特征提取网络、文本特征提取融合网络和训练好的目标检测网络实现导线绝缘皮破损检测。本发明专利技术通过图像特征和文本特征相融合来提高架空线路导线绝缘皮破损检测的精度。空线路导线绝缘皮破损检测的精度。空线路导线绝缘皮破损检测的精度。

【技术实现步骤摘要】
一种基于多模态融合的导线绝缘皮破损检测方法及系统


[0001]本专利技术涉及目标检测
，特别是涉及一种基于多模态融合的导线绝缘皮破损检测方法及系统。

技术介绍

[0002]10kV配电架空线路设备点多面广，设备数量巨大，能否安全供电直接关系到国民经济发展和人民生活质量，因此，做好10kV配电架空线路设备的运维检修工作尤为重要。由于10kV架空配电线路设备电压等级相对主网来讲较低、运行环境复杂、设备种类繁多且均安装在杆塔上，给带电检测技术开发和应用带来了困难。
[0003]随着计算机技术的发展和计算机视觉原理的广泛应用，计算机图像处理技术广泛应用于架空线路导线绝缘皮破损检测中，但是架空线路导线的图像中往往存在遮挡或其他因素，导致绝缘皮破损检测精度很难达到需求。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于多模态融合的导线绝缘皮破损检测方法及系统，通过图像特征和文本特征相融合来提高架空线路导线绝缘皮破损检测的精度。
[0005]为实现上述目的，本专利技术提供了如下方案：/>[0006]一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的导线绝缘皮破损检测方法，其特征在于，包括：获取训练图像集和训练文本集；基于图像特征提取网络对所述训练图像集进行特征提取，得到训练图像特征集；基于文本特征提取融合网络对所述训练文本集进行特征提取，得到训练文本特征集；基于所述文本特征提取融合网络对所述训练图像特征集和所述训练文本特征集进行融合，得到训练特征集；基于所述训练特征集对目标检测网络进行训练，得到训练好的所述目标检测网络；基于所述图像特征提取网络、所述文本特征提取融合网络和训练好的所述目标检测网络实现导线绝缘皮破损检测。2.根据权利要求1所述的基于多模态融合的导线绝缘皮破损检测方法，其特征在于，所述获取训练图像集和训练文本集，包括：获取历史图像集和历史文本集；对所述历史图像集进行加标签，得到标签图像集；对所述历史文本集进行加标签，得到标签文本集；对所述标签图像集进行抽取和切割得到所述训练图像集；对所述标签文本集进行抽取和切割得到所述训练文本集；所述训练图像集基于非关系型数据库进行存储。3.根据权利要求1所述的基于多模态融合的导线绝缘皮破损检测方法，其特征在于，所述基于图像特征提取网络对所述训练图像集进行特征提取，得到训练图像特征集，具体为：基于所述图像特征提取网络对所述训练图像集进行特征提取，得到初始训练特征向量集；基于所述图像特征提取网络对所述初始训练特征向量集进行线性变换，得到所述训练图像特征集。4.根据权利要求1所述的基于多模态融合的导线绝缘皮破损检测方法，其特征在于，所述基于所述文本特征提取融合网络对所述训练图像特征集和所述训练文本特征集进行融合，得到训练特征集，具体为：基于所述文本特征提取融合网络对所述训练图像特征集和所述训练文本特征集进行拼接，得到训练拼接特征集；对所述训练拼接特征集进行剪切，得到所述训练特征集。5.一种基于...

【专利技术属性】
技术研发人员：桂菲菲，成喆，何红太，杜学月，黄广，焦石柱，张晓军，张凯，黄志勇，陈艳霞，闻宇，李鑫明，王鹏，李菁，
申请(专利权)人：山东电工电气集团有限公司国网北京市电力公司，
类型：发明
国别省市：