一种未知日志分类决策系统技术方案

本发明专利技术提出的一种未知日志分类决策系统

【技术实现步骤摘要】
一种未知日志分类决策系统、方法、装置及可读存储介质


[0001]本专利技术涉及日志分类
，更具体的说是涉及一种未知日志分类决策系统
、
方法
、
装置及可读存储介质
。

技术介绍

[0002]在大数据时代，日志文件的处理和分类变得越来越重要
。
传统的日志分类方法通常依赖于手工编写的规则或传统机器学习分类算法，这些方法在处理大量复杂和未知类型的日志时表现不佳
。
[0003]其中，基于规则的日志分类方法是传统的日志分类方法之一，它依赖于事先定义的规则集来识别和分类日志，这种方法受限于已定义的规则，无法适应未知类型的日志或复杂的日志结构，当出现新的日志类型时，传统方法需要重新编写规则或者更新算法，这会导致处理延迟和不准确性
。
基于机器学习分类算法的方案，如决策树
、
支持向量机或神经网络，从训练数据中学习日志分类模型，通过使用已标记的训练数据自动学习日志分类规则，这种方法通常需要大量标记的数据来训练模型，且需要定期更新以适应新的日志类型；而且，由于采用的分类决策固定，不具备灵活性和自适应性，无法应对不断演化的日志数据
。
[0004]此外，这些方法在处理特殊命名实体识别中通常采用正则表达式匹配的方案，这种方案无法精准有效地处理包含命名实体的日志，这些实体对于理解日志的含义至关重要
。
[0005]由此可见，传统的日志分类方案存在规则依赖
、
适应性差
、
无法应对未知类型等缺点
。

技术实现思路

[0006]针对以上问题，本专利技术的目的在于提供一种未知日志分类决策系统
、
方法
、
装置及可读存储介质，利用大语言模型及命名实体技术，有效的提高了未知日志分类的准确性和智能性
。
[0007]本专利技术为实现上述目的，通过以下技术方案实现：一种未知日志分类决策系统，包括：大模型总结模块
、
命名实体识别模块和分类决策模块；大模型总结模块，配置用于通过大语言模型对已有的日志分类规则策略以及不同分类中的命名实体进行总结
、
归纳
、
演绎，生成基于命名实体的分类模型，并针对未知日志结合已有分类进行新增分类推荐，更新分类模型；命名实体识别模块，配置用于从未知类型的日志中提取命名实体信息；分类决策模块，配置用于利用基于命名实体的分类模型将未知类型的日志条目分类到适当的类别中，并生成未分类日志反馈给大模型总结模块
。
[0008]进一步，大模型总结模块包括：规则抽取单元，配置用于从已有的日志分类规则以及对应规则的日志中提取关键特征和模式，以捕捉不同类别日志的共性和差异；
实体分析单元，配置用于分析不同分类中出现的命名实体，以确定它们在日志分类中的重要性和关联性；分类模型生成单元，配置用于基于提取的关键特征和模式
、
不同分类中出现的命名实体，生成基于命名实体的分类模型；分类模型更新单元，配置用于结合已有的基于命名实体分类规则，针对无法分类日志进行新增分类推荐，更新基于命名实体的分类模型
。
[0009]进一步，命名实体识别模块，包括：文本预处理单元，配置用于对未知类型的日志进行文本预处理；实体识别单元，配置用于应用命名实体识别技术，自动识别日志中的命名实体；实体提取单元，配置用于将识别到的命名实体信息提取出来，并进行结构化存储
。
[0010]进一步，分类决策模块包括：实体与规则综合分析单元，配置用于利用基于命名实体的分类模型
、
存储的命名实体信息以及未知类型日志的内容，进行实体与规则的分析，确定命名实体频率和命名实体关联关系，生成综合分析结果；分类决策单元，配置用于根据综合分析的结果，确定日志条目分类的类别或子类别，生成分类决策；反馈推荐单元，配置用于根据综合分析的结果，将无法分类的子类别的日志反馈给大模型总结模块；分类结果输出单元，配置将分类决策的结果输出，以供后续的日志管理
、
监控或报警系统使用
。
[0011]相应的，本专利技术还公开了一种未知日志分类决策方法，包括：通过大语言模型对已有的日志分类规则策略以及不同分类中的命名实体进行总结
、
归纳
、
演绎，生成基于命名实体的分类模型；从未知类型的日志中提取命名实体信息；利用基于命名实体的分类模型，根据命名实体信息确定日志条目的类别；获取无法确定日志条目类别的未知类型日志，通过调整参数和实体，更新基于命名实体的分类模型
。
[0012]进一步，所述通过大语言模型对已有的日志分类规则策略以及不同分类中的命名实体进行总结
、
归纳
、
演绎，生成基于命名实体的分类模型，包括：利用大语言模型分析已有的日志分类规则及历史日志数据，自动学习和理解日志规则，抽取其中的关键特征和模式，以识别不同类别日志的共性和差异；利用大语言模型分析不同分类中出现的命名实体，以确定它们在日志分类中的重要性和关联性；基于大语言模型的学习结果
、
抽取的关键特征和模式
、
分析结果，生成基于命名实体的分类模型
。
[0013]进一步，所述从未知类型的日志中提取命名实体信息，包括：对未知类型的日志进行文本的分词
、
去噪声
、
标点符号处理；应用命名实体识别技术，自动识别日志中的命名实体；将识别到的命名实体信息提取出来，并进行结构化存储
。
[0014]进一步，所述通过调整参数和实体，更新基于命名实体的分类模型，包括：通过参数调整
、
实体更新
、
实体关系变更，更新基于命名实体的分类模型
。
[0015]相应的，本专利技术公开了一种未知日志分类决策装置，包括：存储器，用于存储未知日志分类决策程序；处理器，用于执行所述未知日志分类决策程序时实现如上文任一项所述未知日志分类决策方法的步骤
。
[0016]相应的，本专利技术公开了一种可读存储介质，所述可读存储介质上存储有未知日志分类决策程序，所述未知日志分类决策程序被处理器执行时实现如上文任一项所述未知日志分类决策方法的步骤
。
[0017]对比现有技术，本专利技术有益效果在于：
1、
本专利技术通过利用深度学习模型总结日志规则和命名实体信息，能够更准确地分类未知类型的日志，减少误分类
。
[0018]2.
本专利技术利用大型深度学习模型和命名实体识别技术，实现智能化的分类决策，能够自动适应新的日志类型和变化
。
[0019]3、
相对于传统的基于规则或启发式算法的方法，本专利技术减少了对人工规则编写和特征工程的依赖，降低了操作和管理人员的工作量
。
[0020]4、
本专利技术在面对复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种未知日志分类决策系统，其特征在于，包括：大模型总结模块
、
命名实体识别模块和分类决策模块；大模型总结模块，配置用于通过大语言模型对已有的日志分类规则策略以及不同分类中的命名实体进行总结
、
归纳
、
演绎，生成基于命名实体的分类模型，并针对未知日志结合已有分类进行新增分类推荐，更新分类模型；命名实体识别模块，配置用于从未知类型的日志中提取命名实体信息；分类决策模块，配置用于利用基于命名实体的分类模型将未知类型的日志条目分类到适当的类别中，并生成未分类日志反馈给大模型总结模块
。2.
根据权利要求1所述的未知日志分类决策系统，其特征在于，所述大模型总结模块包括：规则抽取单元，配置用于从已有的日志分类规则以及对应规则的日志中提取关键特征和模式，以捕捉不同类别日志的共性和差异；实体分析单元，配置用于分析不同分类中出现的命名实体，以确定它们在日志分类中的重要性和关联性；分类模型生成单元，配置用于基于提取的关键特征和模式
、
不同分类中出现的命名实体，生成基于命名实体的分类模型；分类模型更新单元，配置用于结合已有的基于命名实体分类规则，针对无法分类日志进行新增分类推荐，更新基于命名实体的分类模型
。3.
根据权利要求2所述的未知日志分类决策系统，其特征在于，所述命名实体识别模块，包括：文本预处理单元，配置用于对未知类型的日志进行文本预处理；实体识别单元，配置用于应用命名实体识别技术，自动识别日志中的命名实体；实体提取单元，配置用于将识别到的命名实体信息提取出来，并进行结构化存储
。4.
根据权利要求3所述的未知日志分类决策系统，其特征在于，所述分类决策模块包括：实体与规则综合分析单元，配置用于利用基于命名实体的分类模型
、
存储的命名实体信息以及未知类型日志的内容，进行实体与规则的分析，确定命名实体频率和命名实体关联关系，生成综合分析结果；分类决策单元，配置用于根据综合分析的结果，确定日志条目分类的类别或子类别，生成分类决策；反馈推荐单元，配置用于根据综合分析的结果，将无法分类的子类别的日志反馈给大模型总结模块；分类结果输出单元，配置将分类决策的结果输出，以供后续的日志管理
、
监控或报警系统使用
。5.
一种未知日志分类...

【专利技术属性】
技术研发人员：罗圣美，路冰，卢延科，
申请(专利权)人：中孚安全技术有限公司，
类型：发明
国别省市：