一种基于大语言模型的日志分析方法及系统技术方案

技术编号:42732341 阅读:59 留言:0更新日期:2024-09-13 12:18
本申请公开了一种基于大语言模型的日志分析方法及系统,涉及数据处理技术,包括:获取运行日志数据,提取日志数据的嵌入向量;将运行日志的嵌入向量与预设日志模版库中各日志类别的类别向量进行匹配,确定与运行日志数据相匹配的日记类别;在预设日志模版库中获取与日志类别对应的日志模版;其中,在预设日志模版库中,各日志类型的日志模版和类型向量一一对应且关联,日志模版的内容不包含变量信息;通过日志模版提示大语言模型对运行日志数据进行分析处理,提取运行日记数据的变量信息,并对运行日记数据的变量信息进行分析,得到运行日记数据的分析结果。本申请利用大语言模型的初级推理能力,实现对服务器的高效监控。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种基于大语言模型的日志分析方法及系统


技术介绍

1、现代业务信息系统是企业的重要支撑,为确保其稳定性,安全性和有效性,系统运维已经逐渐成为现代it架构的核心组成部分。系统运维主要负责监视和维护信息系统的日常运行,包括服务器的运行状态、网络的通信情况、数据的备份与恢复等,在系统运维过程中,日志解析是极其重要的一部分。日志解析是从系统产生的各种日志中提取有价值的信息,以便于后续的日志分析和管理,如错误检测,性能评估,用户行为分析等。然而,由于系统日志具有海量、来源复杂、版本可变化、格式多样化等特点,如何有效地从中提取有价值的信息,成为了一大挑战。

2、传统的日志解析方法主要包括正则表达式和模板匹配的方法。正则表达式方法通过定义特定的模式匹配规则,来提取日志中的指定信息,该方法简单有效,但面对复杂多变的日志信息时,需要大量的工作去编写和维护规则,且容易出错。此外,由于是预设的模板,虽然相对简单,但缺乏弹性,对于未知的日志格式或信息,往往无法有效处理。


技术实现思路

1、本本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的日志分析方法,其特征在于,包括:

2.如权利要求1所述的基于大语言模型的日志分析方法,其特征在于,在所述获取运行日志数据,提取所述日志数据的嵌入向量之前还包括:

3.如权利要求2所述的基于大语言模型的日志分析方法,其特征在于,提取所述待分析日志样本的嵌入向量是通过嵌入式模型实现的;

4.根据权利要求2所述的基于大语言模型的日志分析方法,其特征在于,从每个所述日志类别中选择多个待处理日志样本,通过所述大语言模型剔除所述多个待处理日志样本中的变量信息,进而提取出与所述日志类别对应的类别模版包括:

5.如权利要求4所述的基...

【技术特征摘要】

1.一种基于大语言模型的日志分析方法,其特征在于,包括:

2.如权利要求1所述的基于大语言模型的日志分析方法,其特征在于,在所述获取运行日志数据,提取所述日志数据的嵌入向量之前还包括:

3.如权利要求2所述的基于大语言模型的日志分析方法,其特征在于,提取所述待分析日志样本的嵌入向量是通过嵌入式模型实现的;

4.根据权利要求2所述的基于大语言模型的日志分析方法,其特征在于,从每个所述日志类别中选择多个待处理日志样本,通过所述大语言模型剔除所述多个待处理日志样本中的变量信息,进而提取出与所述日志类别对应的类别模版包括:

5.如权利要求4所述的基于大语言模型的日志分析方法,其特征在于,基于所述示范用例以及所选择的待处理日志样本,输入所述大语言模型包括:

6.如权利要求4所述的基于大语言模型的日志分...

【专利技术属性】
技术研发人员:陆志鹏韩光郑曦国丽郭祎萍孙自立周蒙
申请(专利权)人:中电数据产业集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1