基于双路处理和智能归档的日志处理方法及系统技术方案

技术编号:46586007 阅读:3 留言:0更新日期:2025-10-10 21:22
本发明专利技术提供基于双路处理和智能归档的日志处理方法及系统,涉及日志处理技术领域,包括对原始日志进行语义分割和结构化解析,通过贝叶斯网络计算因果关系链识别风险传播路径,基于实时特征和历史特征融合构建知识图谱,并采用双向传播的概率图谱推理方法优化日志归档策略。本发明专利技术有效提高了日志处理效率,增强了系统安全性,降低了存储成本。

【技术实现步骤摘要】

本专利技术涉及日志处理,尤其涉及基于双路处理和智能归档的日志处理方法及系统


技术介绍

1、随着信息系统规模的不断扩大和复杂性的日益增加,日志数据作为系统运行状态的重要记录,其处理和分析已成为保障系统稳定运行的关键环节。传统的日志处理方法主要依靠关键词匹配和规则过滤等技术,在处理海量、异构的日志数据时面临着巨大挑战。当前,日志处理技术已从单纯的数据收集存储向智能化分析和预测方向发展,涉及自然语言处理、机器学习、知识图谱等多个领域的技术融合。

2、特别是在大型分布式系统中,日志数据呈现出体量大、类型多、结构复杂的特点,需要更加高效、智能的处理方法来挖掘日志中蕴含的系统状态信息和潜在风险。目前业界已经开始探索基于语义理解和因果推理的日志分析方法,通过构建日志事件间的关联关系,实现系统异常的快速定位和预测。同时,日志归档策略也从传统的时间衰减模型向基于事件重要性和关联度的智能归档方向发展。

3、现有技术难以有效处理多源异构日志数据之间的关联关系,导致在复杂系统中无法准确追踪问题根源和传播路径,特别是在高并发环境下,系统组件间的交互错综复杂本文档来自技高网...

【技术保护点】

1.基于双路处理和智能归档的日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过贝叶斯网络计算所述日志事件间的因果关系链,基于所述因果关系链识别潜在风险传播路径,基于所述潜在风险传播路径将日志事件分流至不同处理优化单元包括:

3.根据权利要求2所述的方法,其特征在于,在所述有向无环图中通过节点与父节点的计数统计比值确定节点间的条件概率,基于所述有向无环图的拓扑序列依次计算节点间的条件概率传递关系得到所述日志事件间的因果关系链包括:

4.根据权利要求1所述的方法,其特征在于,从日志事件中提取知识实体,根据知识实体之间的业务依赖...

【技术特征摘要】

1.基于双路处理和智能归档的日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过贝叶斯网络计算所述日志事件间的因果关系链,基于所述因果关系链识别潜在风险传播路径,基于所述潜在风险传播路径将日志事件分流至不同处理优化单元包括:

3.根据权利要求2所述的方法,其特征在于,在所述有向无环图中通过节点与父节点的计数统计比值确定节点间的条件概率,基于所述有向无环图的拓扑序列依次计算节点间的条件概率传递关系得到所述日志事件间的因果关系链包括:

4.根据权利要求1所述的方法,其特征在于,从日志事件中提取知识实体,根据知识实体之间的业务依赖关系以及语义相似度建立连接边,形成关系网络;基于所述关系网络的关联关系,对日志事件进行关联性分析得到事件关...

【专利技术属性】
技术研发人员:王阳李斌松原攀峰陈廷梁
申请(专利权)人:浙江数新网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1