本发明专利技术提出了基于大语言模型的视频安监信息查询方法和系统。所述基于大语言模型的视频安监信息查询方法包括：从前端web界面实时接收用户的输入信息，并将用户的输入信息传递至后端推理模块；对摄像头和报警信息查询的对应所需的工具进行定义，在接收到用户的输入信息之后，根据所述用户的输入信息对应的初始解析需求信息判断是否需要调用与所述初始解析需求信息对应的工具，并向后端推理模块发送调用结果；在接收到调用结果之后，根据调用结果进行推理，并将推理结果反馈至应用模块。所述系统包括与所述方法步骤对应的模块。
【技术实现步骤摘要】
本专利技术提出了基于大语言模型的视频安监信息查询方法和系统，属于视频监控查询。
技术介绍
1、现有的视频安监平台系统通常依赖于用户通过图形用户界面(gui)进行操作，以控制监控设备和查询报警信息。用户需要熟悉系统的界面、按钮和操作逻辑，才能有效地检索报警信息或发出控制指令。现有的视频安监平台系统存在以下问题：
2、1.用户使用门槛高，需要经过一定的培训才能熟练使用视频安监平台进行摄像头控制和报警信息查询
3、2.查询效率低：用户在进行摄像头控制和报警信息查询操作时通常需要在平台上进行多步操作来定位和检索信息。
4、交互方式单一：用户与平台的交互主要依赖于鼠标和键盘在平台的用户界面上点击和发出命令，缺乏自然语言交互的灵活性。
技术实现思路
1、本专利技术提供了基于大语言模型的视频安监信息查询方法和系统，用以解决现有技术中存在的上述技术问题，所采取的技术方案如下：
2、基于大语言模型的视频安监信息查询系统，所述基于大语言模型的视频安监信息查询系统包括：
3、streamlit应用模块，用于从前端web界面实时接收用户的输入信息，并将用户的输入信息传递至后端推理模块；
4、工具注册模块，用于对摄像头和报警信息查询的对应所需的工具进行定义，在接收到用户的输入信息之后，根据所述用户的输入信息对应的初始解析需求信息判断是否需要调用与所述初始解析需求信息对应的工具，并向后端推理模块发送调用结果observation；
5、后端推理模块，用于在接收到调用结果observation之后，根据调用结果observation进行推理，并将推理结果反馈至streamlit应用模块。
6、进一步地，所述streamlit应用模块包括：
7、输入信息监控模块，用于对所述前端web界面进行输入信息监控；
8、输入信息预处理模块，用于当接收到用户的输入信息之后，提取用户的输入信息，并对所述用户的输入信息进行数据清洗，获取数据清洗后的输入信息；
9、信息传递模块，用于将所述数据清洗后的数据信息传递至后端推理模块。
10、进一步地，所述工具注册模块包括：
11、定义模块，用于对摄像头和报警信息查询的对应所需的工具进行定义；
12、初始解析需求信息获取模块，用于在接收到用户的输入信息之后，初始化大语言模型(llm)agent，进行自然语言理解和解析，获取所述用户的输入信息对应的初始解析需求信息；
13、工具调用模块，用于根据所述用户的输入信息对应的初始解析需求信息判断是否需要调用与所述初始解析需求信息对应的工具；
14、调用结果生成模块，用于当判定需要调用与所述初始解析需求信息对应的工具时，根据工具注册模块的注册信息调用用户输入信息对应工具，产生调用结果observation，其中，所述调用结果包括但不限制于报警信息和算法信息等；
15、结果发送模块，用于将所述调用结果observation发送至后端推理模块。
16、进一步地，所述后端推理模块，包括：
17、需求信息提取模块，用于提取用户的输入信息及其对应的初始解析需求信息；
18、结果解析模块，用于对调用结果observation进行解析，获取所述调用结果observation对应的数据信息；例如，如果用结果observation是报警信息，调用结果observation对应的数据信息包括报警类型、时间、地点等关键信息；
19、最终解析需求信息获取模块，用于根据用户的输入信息所对应的初始解析需求信息结合调用结果observation对应的数据信息获取用户的最终解析需求信息；
20、查询结果反馈模块，用于根据所述最终解析需求信息调取查询结果，并将所述查询结果反馈至用户的前端web界面进行展示。
21、进一步地，查询结果反馈模块，包括：
22、实时监测模块，用于实时监测前端web界面展示过程中的展示参数，其中，所述展示参数包括加载时间、帧率、内容完整率和页面重绘率；
23、初级评价系数获取模块，用于利用所述加载时间和帧率获取初级评价系数；
24、其中，所述初级评价系数通过如下公式获取：
25、
26、其中，j表示初级评价系数；n表示前端web界面展示过程中所经历的页面加载次数；fri表示第i次页面加载对应的帧率；fc表示预设的帧率参考值；tzi表示第i次页面加载对应的加载时间；frb表示n次页面加载对应的帧率标准差；tzb表示n次页面加载对应的加载时间标准差；
27、初级系数比较模块，用于将所述初级评价系数与预设的初级评价系数阈值进行比较；
28、无异常判定模块，用于当所述初级评价系数低于预设的初级评价系数阈值时，则判定前端web界面展示无异常；
29、数据调取模块，用于当所述初级评价系数不低于预设的初级评价系数阈值时，则调取展示参数中所包含的内容完整率和页面重绘率；
30、综合评价系数获取模块，用于利用所述初级评价系数结合内容完整率和页面重绘率获取综合评价系数；
31、其中，所述综合评价系数通过如下公式获取：
32、
33、其中，y表示综合评价系数；n表示前端web界面展示过程中所经历的页面加载次数；pci表示第i次页面加载对应的页面重绘率；pwi表示第i次页面加载对应的内容完整率；pcb表示n次页面加载对应的页面重绘率；pwb表示第n次页面加载对应的内容完整率；ji表示第i次页面加载对应的初级评价系数；jb表示n次页面加载对应的初级评价系数；jmax和jmin表示n次页面加载对应的初级评价系数最大值和最小值；
34、评价系数比较模块，用于将所述综合评价系数与预设的综合评价系数阈值进行比较；
35、异常判定及预警模块，用于当所述综合评价系数超过预设的综合评价系数阈值时，则判定前端web界面展示存在异常，并进行异常预警。
36、基于大语言模型的视频安监信息查询方法，所述基于大语言模型的视频安监信息查询方法包括：
37、从前端web界面实时接收用户的输入信息，并将用户的输入信息传递至后端推理模块；
38、对摄像头和报警信息查询的对应所需的工具进行定义，在接收到用户的输入信息之后，根据所述用户的输入信息对应的初始解析需求信息判断是否需要调用与所述初始解析需求信息对应的工具，并向后端推理模块发送调用结果observation；
39、在接收到调用结果observation之后，根据调用结果observation进行推理，并将推理结果反馈至streamlit应用模块。
40、进一步地，所述从前端web界面实时接收用户的输入信息，并将用户的输入信息传递至后端推理模块，包括：
41、对所述前端web界面进行输入本文档来自技高网
...
【技术保护点】
1.基于大语言模型的视频安监信息查询系统，其特征在于，所述基于大语言模型的视频安监信息查询系统包括：
2.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述streamlit应用模块包括：
3.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述工具注册模块包括：
4.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述后端推理模块，包括：
5.根据权利要求4所述基于大语言模型的视频安监信息查询系统，其特征在于，查询结果反馈模块，包括：
6.基于大语言模型的视频安监信息查询方法，其特征在于，所述基于大语言模型的视频安监信息查询方法包括：
7.根据权利要求6所述基于大语言模型的视频安监信息查询方法，其特征在于，所述从前端web界面实时接收用户的输入信息，并将用户的输入信息传递至后端推理模块，包括：
8.根据权利要求6所述基于大语言模型的视频安监信息查询方法，其特征在于，所述对摄像头和报警信息查询的对应所需的工具进行定义，在接收到用户的输入信息之后，根据所述用户的输入信息对应的初始解析需求信息判断是否需要调用与所述初始解析需求信息对应的工具，并向后端推理模块发送调用结果observation，包括：
9.根据权利要求6所述基于大语言模型的视频安监信息查询方法，其特征在于，在接收到调用结果observation之后，根据调用结果observation进行推理，并将推理结果反馈至streamlit应用模块，包括：
10.根据权利要求9所述基于大语言模型的视频安监信息查询方法，其特征在于，根据所述最终解析需求信息调取查询结果，并将所述查询结果反馈至用户的前端web界面进行展示，包括：
...
【技术特征摘要】
1.基于大语言模型的视频安监信息查询系统，其特征在于，所述基于大语言模型的视频安监信息查询系统包括：
2.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述streamlit应用模块包括：
3.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述工具注册模块包括：
4.根据权利要求1所述基于大语言模型的视频安监信息查询系统，其特征在于，所述后端推理模块，包括：
5.根据权利要求4所述基于大语言模型的视频安监信息查询系统，其特征在于，查询结果反馈模块，包括：
6.基于大语言模型的视频安监信息查询方法，其特征在于，所述基于大语言模型的视频安监信息查询方法包括：
7.根据权利要求6所述基于大语言模型的视频安监信息查询方法，其特征在于，所述从前端web界面实时接收用户的...
【专利技术属性】
技术研发人员：余丹，王丹星，陈哲平，邢智涣，
申请(专利权)人：慧之安信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。