一种基于电力缺陷多模态模型的微调方法、设备和介质技术

技术编号:43201311 阅读:26 留言:0更新日期:2024-11-01 20:19
本发明专利技术公开了一种基于电力缺陷多模态模型的微调方法、设备和介质,通过获取基于专家评分的微调数据集,微调数据集的类型分布动态构建训练集,构建教师‑学生模型,采用训练集对教师‑学生模型进行训练,采用KL散度对训练后的教师‑学生模型进行模型拟合,得到拟合模型,根据微调数据集和拟合模型,基于InstructBLIP基础架构建立多模态微调模型,对多模态微调模型进行训练和优化,得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集,解决了新增数据集存在的数据分布不均衡问题,从而高效率的使用新增的数据集,保证微调后的多模态模型具有高泛化能力和高稳定性。

【技术实现步骤摘要】

本专利技术涉及电力巡检缺陷领域,具体涉及一种基于电力缺陷多模态模型的微调方法、设备和介质


技术介绍

1、近年来,随着我国经济的快速发展和城市化进程的不断推进,电力需求呈现出爆发式增长的态势。电力系统作为能源传输和分配的重要环节,已经成为人民生产和生活中最不可或缺的基础设施之一。为了保证电力系统的正常运行,需要对电力工作人员在各个作业场景中的状态进行巡检,保证作业人员的高效率和作业安全。在电力巡检缺陷领域中,有着丰富的算法需求,例如:设备表计表盘模糊破损、绝缘子破裂、金属件锈蚀、螺母销钉缺失等场景,这些场景都需要使用算法进行准确的分析,提升作业规范性、安全性,降低成本等。本专利技术主要应用在电力巡检缺陷领域中的螺母销钉缺失与绝缘子破裂检测场景中。传统的判断方法通常使用视觉小模型结合人工来进行判断,该场景的判断规范细致复杂,需要对各类目标要素之间的关系进行综合逻辑分析才能判定是否违规,比如:螺母销钉是否成套搭配、绝缘子与其他相识目标的细微差异等。视觉小模型不具备逻辑思考能力,因此无法给出有效的缺陷告警,导致漏报率和误报率均较高。结合多模态大模型算法,有效的降本文档来自技高网...

【技术保护点】

1.一种基于电力缺陷多模态模型的微调方法,其特征在于,包括以下具体步骤:

2.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述对目标微调数据进行数据预处理,具体包括:

3.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述根据微调数据集的类型分布动态构建训练集,具体包括:

4.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述采用KL散度对训练后的教师-学生模型进行模型拟合,具体包括:

5.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述对多模态微调模型进行...

【技术特征摘要】

1.一种基于电力缺陷多模态模型的微调方法,其特征在于,包括以下具体步骤:

2.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述对目标微调数据进行数据预处理,具体包括:

3.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述根据微调数据集的类型分布动态构建训练集,具体包括:

4.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述采用kl散度对训练后的教师-学生模型进行模型拟合,具体包括:

5.根据权利要求1所述的基于电力缺陷多模态模型的微调方法,其特征在于,所述对多模态微调模型进行训练和优化,包括:

6.根据权利要求5所述的基于电力缺陷多模态模型的微调方法,其特征在于,...

【专利技术属性】
技术研发人员:张凌浩邝俊威向思屿滕予非常政威刘洪利李旭旭魏阳庞博刘昶毛洋杜佩珂刘松嘉李盛杰
申请(专利权)人:国网四川省电力公司电力科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1