融合视觉搜索和多模态大模型的光伏发电站火灾预警方法技术

技术编号:44362875 阅读:11 留言:0更新日期:2025-02-25 09:44
本申请公开了一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法,涉及火灾预警领域,该方法利用基于多模态大模型搭建的烟雾目标识别模型对待监测图像帧进行初步识别定位得到烟雾目标定位框、置信度以及烟雾目标搜索提示热图,在烟雾目标定位框的置信度未达到置信度阈值时,进一步利用视觉搜索策略基于烟雾目标搜索提示热图进行主动搜索,引入主动搜索机制、视觉工作记忆以及动态调整策略,通过模拟人类对烟雾目标的识别机制,能够充分利用烟雾目标识别模型的世界知识和上下文理解能力,使得该方法能够在无需训练的环境下直接进行推理,且对烟雾目标有较高的识别定位准确率,有效实现光伏发电站火灾早期预警,降低实现难度。

【技术实现步骤摘要】

本申请涉及火灾预警领域,尤其是一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法


技术介绍

1、光伏发电是新能源发电领域中非常具有前景的重要分支,受到国家的高度关注和重视。但是光伏发电站在长时间运行后,光伏组件容易出现材料老化、断栅等内部问题,另外大型的光伏发电站往往建造在野外,因此光伏组件也容易受到高温、沙尘暴等外界环境影响。光伏组件在内外影响下容易出现过热问题,导致发生火灾,威胁设备在新型电力系统中的安全稳定运行。

2、烟雾通常作为火灾早期的特征,因此对烟雾的准确识别能够辅助光伏发电站的运维人员开展设备消防安全工作,最大程度的减少火灾带来的影响并保障运维人员的生命安全。随着计算机视觉技术的发展,利用视频实现火灾烟雾预警监控的做法已经逐渐在许多光伏发电站中获得了应用。但是烟雾本身就不容易在视频中被检测到,再加上光伏发电站工作环境复杂,因此误报和漏报的现象比较严重,预警准确度不高。


技术实现思路

1、本申请针对上述问题及技术需求,提出了一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法,本文档来自技高网...

【技术保护点】

1.一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法,其特征在于,所述光伏发电站火灾预警方法包括:

2.根据权利要求1所述的光伏发电站火灾预警方法,其特征在于,利用视觉搜索策略基于烟雾目标搜索提示热图进行主动搜索包括:

3.根据权利要求1所述的光伏发电站火灾预警方法,其特征在于,所述根据达到置信度阈值的烟雾目标定位框得到烟雾目标识别结果包括:

4.根据权利要求3所述的光伏发电站火灾预警方法,其特征在于,所述基于所述目标局部图像的图像特征与火灾烟雾特征指纹库中烟雾目标的指纹特征之间的相似度得到烟雾目标识别结果包括:

5.根据权利要求4所...

【技术特征摘要】

1.一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法,其特征在于,所述光伏发电站火灾预警方法包括:

2.根据权利要求1所述的光伏发电站火灾预警方法,其特征在于,利用视觉搜索策略基于烟雾目标搜索提示热图进行主动搜索包括:

3.根据权利要求1所述的光伏发电站火灾预警方法,其特征在于,所述根据达到置信度阈值的烟雾目标定位框得到烟雾目标识别结果包括:

4.根据权利要求3所述的光伏发电站火灾预警方法,其特征在于,所述基于所述目标局部图像的图像特征与火灾烟雾特征指纹库中烟雾目标的指纹特征之间的相似度得到烟雾目标识别结果包括:

5.根据权利要求4所述的光伏发电站火灾预警方法,其特征在于,所述根据视觉分类结果和文本分类结果得到所述烟雾目标识别结果包括:

6.根据权利要求5所...

【专利技术属性】
技术研发人员:刘洋朱珉张潮海邓军谢志成周海滨
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1