【技术实现步骤摘要】
本专利技术涉及日志处理,尤其涉及基于双路处理和智能归档的日志处理方法及系统。
技术介绍
1、随着信息系统规模的不断扩大和复杂性的日益增加,日志数据作为系统运行状态的重要记录,其处理和分析已成为保障系统稳定运行的关键环节。传统的日志处理方法主要依靠关键词匹配和规则过滤等技术,在处理海量、异构的日志数据时面临着巨大挑战。当前,日志处理技术已从单纯的数据收集存储向智能化分析和预测方向发展,涉及自然语言处理、机器学习、知识图谱等多个领域的技术融合。
2、特别是在大型分布式系统中,日志数据呈现出体量大、类型多、结构复杂的特点,需要更加高效、智能的处理方法来挖掘日志中蕴含的系统状态信息和潜在风险。目前业界已经开始探索基于语义理解和因果推理的日志分析方法,通过构建日志事件间的关联关系,实现系统异常的快速定位和预测。同时,日志归档策略也从传统的时间衰减模型向基于事件重要性和关联度的智能归档方向发展。
3、现有技术难以有效处理多源异构日志数据之间的关联关系,导致在复杂系统中无法准确追踪问题根源和传播路径,特别是在高并发环境下,系统
...【技术保护点】
1.基于双路处理和智能归档的日志处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,通过贝叶斯网络计算所述日志事件间的因果关系链,基于所述因果关系链识别潜在风险传播路径,基于所述潜在风险传播路径将日志事件分流至不同处理优化单元包括:
3.根据权利要求2所述的方法,其特征在于,在所述有向无环图中通过节点与父节点的计数统计比值确定节点间的条件概率,基于所述有向无环图的拓扑序列依次计算节点间的条件概率传递关系得到所述日志事件间的因果关系链包括:
4.根据权利要求1所述的方法,其特征在于,从日志事件中提取知识实体,根据知
...【技术特征摘要】
1.基于双路处理和智能归档的日志处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,通过贝叶斯网络计算所述日志事件间的因果关系链,基于所述因果关系链识别潜在风险传播路径,基于所述潜在风险传播路径将日志事件分流至不同处理优化单元包括:
3.根据权利要求2所述的方法,其特征在于,在所述有向无环图中通过节点与父节点的计数统计比值确定节点间的条件概率,基于所述有向无环图的拓扑序列依次计算节点间的条件概率传递关系得到所述日志事件间的因果关系链包括:
4.根据权利要求1所述的方法,其特征在于,从日志事件中提取知识实体,根据知识实体之间的业务依赖关系以及语义相似度建立连接边,形成关系网络;基于所述关系网络的关联关系,对日志事件进行关联性分析得到事件关...
【专利技术属性】
技术研发人员:王阳,李斌松,原攀峰,陈廷梁,
申请(专利权)人:浙江数新网络有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。