一种基于LLM模型的告警日志分析方法及系统技术方案

技术编号:40428396 阅读:64 留言:0更新日期:2024-02-20 22:49
本发明专利技术公开了一种基于LLM模型的告警日志分析方法及系统,利用Filebeat采集各系统原始日志数据,并输出至Kafka;利用Logstash解析过滤Kafka中存储的原始日志数据,得到过滤结果,将过滤结果存储到Elasticsearch中,所述过滤结果包括告警日志和日常日志;利用本地部署的大模型gptEngine对Elasticsearch中的告警日志进行处理,并将处理结果发送至Kibana;利用Kibana对收到的数据进行分类展示,供管理员查看处理。本发明专利技术通过结合自然语言处理和机器学习技术,实现对多系统告警日志的自动分析和问题诊断。

【技术实现步骤摘要】

本专利技术属于网络安全,具体涉及一种基于llm模型的告警日志分析方法及系统。


技术介绍

1、目前,随着信息技术的快速发展和广泛应用,各个系统和平台产生的日志数据量不断增加。对这些日志进行有效的分析和处理对于保障系统的正常运行、发现潜在安全问题以及及时采取措施至关重要。然而,传统的手动分析方法往往耗时且容易遗漏重要信息,因此需要自动化的日志分析方法。

2、在日志分析领域,已经涌现出一些相关技术和方法。其中,常见的方法包括基于规则的模式匹配、基于机器学习的日志分类和异常检测,以及基于自然语言处理的文本分析等。

3、基于规则的模式匹配方法:该方法通过预先定义的规则和正则表达式,对日志进行模式匹配和过滤,从而实现对特定类型的日志事件进行提取和分析。这种方法简单易实现,但对于复杂的日志场景和变化多样的日志格式往往效果有限。

4、基于传统机器学习的日志分类和异常检测方法:这类方法利用机器学习算法,通过对已标注的训练数据进行学习,构建分类模型或异常检测模型。这些模型可以对日志进行自动分类,将日志事件归类到不同的类别,并检测出潜在的异常本文档来自技高网...

【技术保护点】

1.一种基于LLM模型的告警日志分析方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于LLM模型的告警日志分析方法,其特征在于,所述利用Filebeat采集各系统原始日志数据,并输出至Kafka,具体包括:

3.根据权利要求2所述的一种基于LLM模型的告警日志分析方法,其特征在于,所述对Filebeat进行配置,具体为:

4.根据权利要求1所述的一种基于LLM模型的告警日志分析方法,其特征在于,所述利用Logstash解析过滤Kafka中存储的原始日志数据,得到过滤结果,将过滤结果存储到Elasticsearch中,具体包括:

<...

【技术特征摘要】

1.一种基于llm模型的告警日志分析方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于llm模型的告警日志分析方法,其特征在于,所述利用filebeat采集各系统原始日志数据,并输出至kafka,具体包括:

3.根据权利要求2所述的一种基于llm模型的告警日志分析方法,其特征在于,所述对filebeat进行配置,具体为:

4.根据权利要求1所述的一种基于llm模型的告警日志分析方法,其特征在于,所述利用logstash解析过滤kafka中存储的原始日志数据,得到过滤结果,将过滤结果存储到elasticsearch中,具体包括:

5.根据权利要求1所述的一种基于llm模型的告警日志分析方法,其特征在于,所述利用本地部署的大模型gptengine对elasticsearch中的告警日志进行处理,并将处理结果发送至kibana,具体包括:<...

【专利技术属性】
技术研发人员:朱召鹏王文庆邓楠轶王艺杰曹乃虹王厉行董夏昕介银娟崔鑫刘鹏举李凯南瑾
申请(专利权)人:西安热工研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1