基于大语言模型的低成本、零样本的在线日志解析方法技术

本发明专利技术公开了一种基于大语言模型的低成本、零样本的在线日志解析方法，首先，使用正则表达式提取日志消息中的日志内容；然后与数据库中的日志模板进行正则匹配；匹配成功，更新对应日志模板的日志样本；匹配失败，则与大语言模型进行对话获得新的日志模板；并进行模板纠正，防止大语言模型生成的日志模板不能正则匹配日志消息；当产生新的模板时，进行模板合并；当更新日志样本时，进行模板拆分；对于所有即将加入数据库的日志模板，首先通过后处理进行日志模板规范化，然后将日志模板保存到数据库中。本发明专利技术生成的日志模板在单词的解析准确度上要优于传统方法，在速度和花费上相比于直接使用大语言模型执行日志解析任务具有显著优势。

【技术实现步骤摘要】

本专利技术属于软件工程中日志模板提取领域，尤其是涉及一种基于大语言模型的低成本、零样本的在线日志解析方法。

技术介绍

1、随着大型软件系统变得越来越庞大和复杂，使用可观测性工具对软件系统的各个组件进行观测，以确保系统的可靠性和可维护性变得十分重要。在指标、日志信息和链路追踪等信息中，日志信息包含更多关于错误的语义信息，对于系统中异常的预测和定位发挥着至关重要的作用。

2、通常，对软件系统进行维护监控时，我们会采集各个组件的日志，并解析这些日志以获取日志模板和动态变量，日志模板通常而言就是打印日志的语句中的固定部分，而动态变量则是根据不同情况不同组件不同问题打印的不同内容。最直接的传统日志解析方法是依赖专家人为的设置一些正则表达式进行模式匹配，但是这种方法太过依赖专家知识和专家经验，而且鲁棒性差。因此出现了很多基于语法的日志解析方法，主要包括基于频繁模式挖掘的方法、基于相似度聚类的方法、基于启发式的方法。最近几年还出现了一些基于语义挖掘的方法。

3、基于频繁模式挖掘的方法，如logram、lfa、slct等方法。基于日志中静态变量出现本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤S1具体为：

3.根据权利要求2所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤S1.1中，日志头部分包含日期、时间、日至等级、线程id。

4.根据权利要求1所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤S2具体为：

5.根据权利要求1所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤S3具体为：...

【技术特征摘要】

1.一种基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤s1具体为：

3.根据权利要求2所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤s1.1中，日志头部分包含日期、时间、日至等级、线程id。

4.根据权利要求1所述的基于大语言模型的低成本、零样本的在线日志解析方法，其特征在于，步骤s2具...

【专利技术属性】
技术研发人员：智晨，程立业，刘美林，赵新奎，邓水光，尹建伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：