【技术实现步骤摘要】
一种云原生系统的多层次的深度学习日志故障检测方法
本专利技术涉及深度神经网络模型,尤其是涉及一种云原生系统的多层次的深度学习日志故障检测方法。
技术介绍
系统运维是保证计算机系统正常运行的重要手段,而故障检测是系统运维的关键步骤。随着计算机系统复杂性的不断增加,尤其是随着云原生系统及物联网的发展,系统故障呈现复杂性、多样化的趋势,影响用户的体验和使用,甚至造成巨大的经济损失。故障检测技术旨在自动及时地检测系统故障的发生并提供相关的故障信息以帮助诊断,避免或减少服务失效。已有的故障检测方法有基于规则的方法、基于系统度量分析的方法、基于行为分析的方法和基于日志分析的方法。1)基于规则的方法根据历史故障所表现的现象来定义故障出现时可辨别的特征,而后将观察到的现象与已定义的故障特征进行匹配。当匹配成功则检测为有故障,发出警报,否则认为系统运行正常。2)基于系统度量分析的方法并不需要了解系统内部结构及请求处理流程,而只是利用操作系统提供的接口即可搜集监测数据来分析度量值的变化或建立度量间的关联模型。这类方法无需 ...
【技术保护点】
1.一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,该方法利用训练完成的异常检测模型,根据系统生成的日志进行系统故障检测,所述的异常检测模型包括第一子模型和第二子模型,该故障检测方法包括以下步骤:/nS1)系统捕获一条新的日志;/nS2)解析该日志的历史日志模式值流和该日志模式值对应的参数值向量;/nS3)第一子模型根据历史日志模式值流检测该日志模式值是否正常,若是,则执行步骤S4),若否,则判断系统出现故障,并输出对应日志故障信息;/nS4)第二子模型检测该日志模式值的参数值向量是否正常,若是,则判断系统正常,若否,则判断系统出现故障,并输出对应日志故障信息。/n
【技术特征摘要】 【专利技术属性】
1.一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,该方法利用训练完成的异常检测模型,根据系统生成的日志进行系统故障检测,所述的异常检测模型包括第一子模型和第二子模型,该故障检测方法包括以下步骤:
S1)系统捕获一条新的日志;
S2)解析该日志的历史日志模式值流和该日志模式值对应的参数值向量;
S3)第一子模型根据历史日志模式值流检测该日志模式值是否正常,若是,则执行步骤S4),若否,则判断系统出现故障,并输出对应日志故障信息;
S4)第二子模型检测该日志模式值的参数值向量是否正常,若是,则判断系统正常,若否,则判断系统出现故障,并输出对应日志故障信息。
2.根据权利要求1所述的一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,所述的第一子模型和第二子模型均为LSTM神经网络结构。
3.根据权利要求2所述的一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,所述的第一子模型为基于上下文的异常日志检测模型,其通过条件概率分布结果,来判断系统事件流是否为正常执行流的顺序。
4.根据权利要求3所述的一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,所述的第一子模型的训练步骤包括:
101)获取云原生系统运行产生的日志,并提取出正常的日志序列;
102)对正常的日志序列中每条日志对应的日志模式进行数字化处理,得到正常日志模式值流;
103)将正常日志模式值流分成与每个日志模式值对应的子流,所述的子流包括当前日志模式值和位于当前日志模式值之前的长度为l的历史日志模式值流;
104)向第一子模型依次输入每个日志模式值和该日志模式值对应的历史日志模式值流;
105)第一子模型的深度学习神经网络通过正常的日志模式值流,学习系统正常执行流的顺序。
5.根据权利要求4所述的一种云原生系统的多层次的深度学习日志故障检测方法,其特征在于,所述的步骤S3)具体包括:
S301)第一子模型根据输入的历史日志模式值流,计算得到预测日志模式值的条件概率分布结果;
技术研发人员:杜庆峰,张双俐,赵亮,殷康璘,韩永琦,徐锦程,邱娟,
申请(专利权)人:同济大学,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。