一种基于多模态大模型的电网安监视频分类方法、装置、终端设备及存储介质制造方法及图纸

技术编号:46414915 阅读:7 留言:0更新日期:2025-09-16 20:03
本发明专利技术公开了一种基于多模态大模型的电网安监视频分类方法、装置、终端设备及存储介质,涉及人工智能与机器学习领域,方法包括:获取电网安监视频数据、设备运行数据以及环境数据;对数据进行预处理,提取电网安监视频数据中的关键帧;将关键帧、归一化的设备运行数据以及归一化的环境数据输入到训练好的多模态大模型中,通过多模态大模型提取出关键帧的全局特征向量、设备特征向量以及环境特征向量;将各特征向量进行融合得到多模态特征向量;通过训练好的多模态大模型的分类模块进行分类,得到电网安监视频数据的分类结果。通过实施本发明专利技术能够解决现有电网安监技术准确性差难以实现对电网安监视频精准分类的问题。

【技术实现步骤摘要】

本专利技术涉及人工智能与机器学习领域,尤其涉及一种基于多模态大模型的电网安监视频分类方法、装置、终端设备及存储介质


技术介绍

1、随着电网规模不断扩大和智能化发展,电网安全监测至关重要,传统电网安监主要依赖简单图像识别算法。简单图像识别算法局限性大,传统的简单图像识别算法通常仅基于单一视频模态,无法有效融合其他与电网安全相关的关键信息,在复杂电网环境下,单一视频模态难以全面准确识别异常,无法满足实时、精准监测需求。例如在光线条件变化、设备遮挡等复杂场景下,简单图像识别算法的准确率会大幅下降,容易出现误报或漏报的情况,难以实现对大量视频数据的实时处理,因此,现有的电网安监技术存在准确性差的问题,难以实现对电网安监视频的精准分类。


技术实现思路

1、本专利技术实施例提供了一种基于多模态大模型的电网安监视频分类方法、装置、终端设备及存储介质,本专利技术能够解决现有电网安监技术准确性差难以实现对电网安监视频精准分类的问题。

2、本专利技术一实施例提供了一种基于多模态大模型的电网安监视频分类方法,包括:<本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的电网安监视频分类方法,其特征在于,包括:

2.如权利要求1所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下方式,确定视频中的关键帧:

3.如权利要求2所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下步骤,对多模态大模型进行训练:

4.如权利要求3所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,所述交叉熵损失函数,包括:

5.如权利要求4所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下公式,对多模态大模型的当前参数进行更新:

...

【技术特征摘要】

1.一种基于多模态大模型的电网安监视频分类方法,其特征在于,包括:

2.如权利要求1所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下方式,确定视频中的关键帧:

3.如权利要求2所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下步骤,对多模态大模型进行训练:

4.如权利要求3所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,所述交叉熵损失函数,包括:

5.如权利要求4所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,通过以下公式,对多模态大模型的当前参数进行更新:

6.如权利要求5所述的一种基于多模态大模型的电网安监视频分类方法,其特征在于,在得到电网安监视频数据的分类结果之后,还包括:

7.一...

【专利技术属性】
技术研发人员:李端姣刘高王从廖如超李昌煜林俊省郭锦超谢卓君谢春冼世平
申请(专利权)人:广东电网有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1