【技术实现步骤摘要】
本专利技术涉及电网环境中的火灾预警，尤其涉及一种基于多模态ai大模型的电网监控火灾预警系统及方法。
技术介绍
1、电网是国家基础设施的重要组成部分，其安全运行对社会经济活动至关重要，由于电网环境的复杂性和易燃性材料的普遍存在，火灾风险一直是电网安全管理中的一个主要问题。传统的火灾预警系统依赖于简单的传感器和人工监控，这在处理复杂的环境和迅速变化的情况时，常常显示出反应迟缓和识别不准确的问题，此外，传统系统在分析大规模视频数据时面临着巨大的挑战，包括数据处理效率低下和误报率高等。在这种背景下，ai大模型的应用提供了明显的优势，这些模型利用先进的机器学习算法，能够从复杂的视频数据中提取关键信息，并进行高效的实时分析。
2、因此，本专利技术利用大模态ai大模型的综合能力，克服传统火灾预警系统的局限性，为电网环境提供一个更智能、更可靠的火灾预警解决方案。
技术实现思路
1、本专利技术针对现有技术的不足，研制一种基于多模态ai大模型的电网监控火灾预警系统及方法，主要目的在于实现电网环境中利用视频监控对火灾风险进行智能预警。
2、本专利技术解决技术问题的技术方案为：一方面，本专利技术提供了一种基于多模态ai大模型的电网监控火灾预警方法，其包括以下步骤：
3、s1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；
4、s2.将处理好的图像使用视觉大模型进行智
5、s3. 将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；
6、s4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。
7、上述基于多模态ai大模型的电网监控火灾预警方法优选方案，s1具体包括以下步骤：
8、s1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:
9、，
10、其中，表示抽取的帧集合，表示第个抽取的帧，表示根据采集频率和视频持续时间确定的总帧数；
11、s1.2图像质量增强：
12、（1）自适应直方图均衡化：
13、a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；
14、b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级出现的频率，计算其直方图 ：
15、，
16、其中，表示区块中第i个像素的亮度值，表示计算集合中元素数量的函数;
17、c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：
18、，
19、其中，表示亮度级及其以下的累积频次，表示亮度级为的直方图;
20、d. 应用均衡化：通过每个区块的累积分布函数对该区块内每个像素的亮度值进行调整，得到新的亮度值，计算公式为：
21、,
22、其中，l表图像中亮度级别的数量，表示该区块中最小的累积频率，表示该区块中的最大累积频率，表示取整操作；
23、e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；
24、（2）非局部均值去噪：
25、a. 定义邻域和搜索窗口：对于图像中的每个像素，定义一个围绕该像素的小区块，称为邻域,邻域通常是一个小的正方形窗口，包含中心像素及其周围的像素，然后对每个邻域,定义一个更大的围绕的搜索窗口,搜索窗口包含邻域及其周围的更多像素；
26、b. 计算权重：计算像素中邻域和搜索窗口中邻域的权重,
27、该权重反映了和之间的相似度，权重计算过程如下：
28、,
29、其中，表示和之间的欧几里得距离，表示用于调整相似性敏感度的平滑参数，q表示邻域中的像素；
30、c. 计算去噪后的像素值：搜索窗口内所有邻域的加权平均，通过权重估计每个像素的去噪值：
31、,
32、其中，表示原始图像中像素的值，表示去噪后像素的值；
33、d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；
34、s1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像封装成最终的文件格式。
35、上述基于多模态ai大模型的电网监控火灾预警方法优选方案，s2具体如下：使用视觉大模型对处理后的图像进行分析，输出描述图像内容的文字化描述，计算公式为：
36、，
37、其中，表示输入的预处理后的图像，表示用于图像理解的ai模型。
38、上述基于多模态ai大模型的电网监控火灾预警方法优选方案，s3具体如下：将视觉模型生成的文字描述作为输入，使用文本大模型进行语义分析，进行评估火灾风险，计算公式为:
39、,
40、其中，表示关于火灾风险的评估，对应火灾风险的分类,包括“高风险”、“中风险”、“低风险”、“无风险”。
41、上述基于多模态ai大模型的电网监控火灾预警方法优选方案，s4具体如下：使用文本大模型结合火灾风险的评估和文字描述生成告警内容，使用音频大模型将告警内容转换为告警语音,计算公式为：
42、,
43、,
44、其中，示由文本大模型生成的告警内容，包括火灾风险等级和图像内容的综合描述，表示火灾风险的评估和文字描述进行字符串合并。
45、另一方面，本专利技术的实施例提供了一种基于多模态ai大模型的电网监控火灾预警系统，其包括监控视频采集与处理模块、多模态ai大型智能分析模块和火灾风险预警模块；
46、监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；
47、智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；
48、火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。
49、
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案具有如下优点或有益效果：
50、本专利技术提供了一种基于多模态ai大模型的电网监控火灾预警系统及方法，通过自适应直方图均衡化和非局部均值去噪技术，实现对电网环境下可见光摄像机采集到的图像质量进行增强；利用多模态ai大本文档来自技高网...
【技术保护点】
1.一种基于多模态AI大模型的电网监控火灾预警方法，其特征是：包括以下步骤：
2.根据权利要求1所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，
3.根据权利要求2所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S2具体如下：使用视觉大模型对处理后的图像进行分析，输出描述图像内容的文字化描述，计算公式为：
4.根据权利要求3所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S3具体如下：将视觉模型生成的文字描述作为输入，使用文本大模型进行语义分析，进行火灾风险评估，计算公式为:
5.根据权利要求4所述基于多模态AI大模型的电网监控火灾预警方法，其特征是，S4具体如下：使用文本大模型结合火灾风险的评估和文字描述生成告警内容,使用音频大模型将告警内容转换为告警语音，计算公式为：，，
6.一种基于多模态AI大模型的电网监控火灾预警系统，其特征是，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；
【技术特征摘要】
1.一种基于多模态ai大模型的电网监控火灾预警方法，其特征是：包括以下步骤：
2.根据权利要求1所述基于多模态ai大模型的电网监控火灾预警方法，其特征是，
3.根据权利要求2所述基于多模态ai大模型的电网监控火灾预警方法，其特征是，s2具体如下：使用视觉大模型对处理后的图像进行分析，输出描述图像内容的文字化描述，计算公式为：
4.根据权利要求3所述基于多模态ai大模型的电网监控火灾预警方法，其特征是，s3具体如下：将视...
【专利技术属性】
技术研发人员：刘忠祖，王文强，刘艳晓，王爱民，刘天喜，李增辉，
申请(专利权)人：山东金桥保安器材有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。