一种日志故障关联与预测方法、装置、设备及存储介质制造方法及图纸

本文公开了一种日志故障关联与预测方法、装置、设备及存储介质，属于通信技术领域，该方法包括：获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间；通过帕累托分析，将高频事件作为系统扰动舍弃，加速了数据处理与训练；通过贝叶斯运算，能够以概率的方式给出日志故障的关联关系，变人工判断为由机器给出不平衡概率分布，协助运维人员决策，降低了劳动强度，提高了工作效率。

A method, device, device and storage medium for log fault correlation and prediction

【技术实现步骤摘要】
一种日志故障关联与预测方法、装置、设备及存储介质
本文涉及通信
，尤其涉及一种日志故障关联与预测方法、装置、设备及存储介质。
技术介绍
在日常的系统运维过程中，无论是IT系统还是CT系统，遇到问题时往往需要运维人员、研发人员根据日志来定位问题，随着系统越来越复杂，往往一个问题需要多个子系统的人来定位，效率低，人力成本开销巨大，研发往往需要加班来定位、解决问题，结果造成三个不满意：客户不满意(嫌解决问题太慢)、研发不满意(嫌加班太多)、领导不满意(部门整体效率不高)。
技术实现思路
本文在于提供一种日志故障关联与预测方法、装置、设备及存储介质,通过帕累托分析，将高频事件作为系统扰动舍弃，加速了数据处理与训练；通过贝叶斯运算，能够以概率的方式给出日志故障的关联关系，变人工判断为由机器给出不平衡概率分布，协助运维人员决策，降低了劳动强度，提高了工作效率。本文解决上述技术问题所采用的技术方案如下：根据本文的一个方面，提供的一种日志故障关联与预测方法，包括：获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间。可选地，所述获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本包括：获取历史业务日志，根据业务日志的规范、特征对所述历史业务日志进行分类；对所述历史业务日志进行帕累托分析，得出每一类业务日志发生的次数，并按次数进行正序排列；根据预设的分位值，过滤高频业务日志，得到训练日志样本。可选地，所述高频业务日志为系统扰动信息。可选地，所述关联事件包括日志事件和关联故障事件。可选地，所述通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型包括：通过预设的时间窗过滤所述训练日志样本，得到关联故障事件的先验概率、关联故障事件发生前对应的时间窗内出现对应日志事件的概率，以及关联故障事件发生的概率；通过贝叶斯公式计算得到关联故障事件的后验概率，并计算日志事件到关联故障事件的间隔时间；设置置信度阈值，将所有日志事件的后验概率与所述置信度阈值作比较，筛选出后验概率大于所述置信度阈值的日志事件，将所述日志事件及对应的间隔时间存入规则库，形成关联事件的预测模型。可选地，所述时间窗的时长为5分钟、15分钟或半小时。可选地，所述根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间之后还包括：获取关联故障事件实时出现的概率及时间，并更新所述预测模型。根据本文的另一个方面，提供的一种日志故障关联与预测装置，包括：帕累托分析模块，用于获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；贝叶斯运算模块，用于通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；预测模块，用于根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间。根据本文的再一个方面，提供的一种电子设备，包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，所述应用程序被配置为用于执行以上所述的日志故障关联与预测方法。根据本文的再一个方面，提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述的日志故障关联与预测方法。本专利技术实施例的一种日志故障关联与预测方法、装置、设备及存储介质，该方法包括：获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间；通过帕累托分析，将高频事件作为系统扰动舍弃，加速了数据处理与训练；通过贝叶斯运算，能够以概率的方式给出日志故障的关联关系，变人工判断为由机器给出不平衡概率分布，协助运维人员决策，降低了劳动强度，提高了工作效率。附图说明图1为本专利技术实施例一提供的一种日志故障关联与预测方法流程图；图2为图1中步骤S10的一种方法流程图；图3为图1中步骤S20的一种方法流程图；图4为本专利技术实施例一提供的另一种日志故障关联与预测方法流程图；图5为本专利技术实施例二提供的一种日志故障关联与预测装置示范性结构框图。本文目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本文所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本文进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本文，并不用于限定本文。实施例一如图1所示，在本实施例中，一种日志故障关联与预测方法，包括：S10、获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；S20、通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；S30、根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间。在本实施例中，通过帕累托分析，将高频事件作为系统扰动舍弃，加速了数据处理与训练；通过贝叶斯运算，能够以概率的方式给出日志故障的关联关系，变人工判断为由机器给出不平衡概率分布，协助运维人员决策，降低了劳动强度，提高了工作效率。在本实施例中，帕累托分析法，也称ABC分类法(ActivityBasedClassification)，全称应为ABC分类库存控制法，又称“80对20规则”。具体到本实施例中，可以对日志样本进行帕累托分析，得出每一类日志发生的次数，并按次数进行正序排列，然后根据设定的分位，将排名后20％的日志种类舍弃，根据帕累托法则，这意味着可以少处理80％以上的日志。在本实施例中，贝叶斯推断作为人工智能领域常用的一种方法，能够通过概率的方式给出日志故障关联关系，无需专业人员分析后定义规则，只需要标注故障种类与故障发生的时间，在不确定性条件下(小数据集)具有显著优势(并非所有情况下都可以得到大数据集用于训练)。在本实施例中，考虑到各种日志事件在软件生命周期的不同阶段分布的不均衡性(软件在安装部署态和在运行态，以及在试运行和平稳运行阶段的日志事件的概率分布肯定是不一样的)，为了确保预测模型(规则库)的时效性，在步骤S10中，引入大时间窗的概念，根据配置以15天、30天、60天作为大时间窗，即训练数据集，从最近的15天、30天、60天的历史日志中获取。在本实施例中，获取历史业务日志时，首先对历史日志信息进行故障类型和故障时间标注，以便于进行贝叶斯运算。如图2所示，在本实施例中，所述步骤S10包括：S11、获取历史业务日志，根据业务日志的本文档来自技高网...

【技术保护点】
1.一种日志故障关联与预测方法，包括：/n获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；/n通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；/n根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间。/n

【技术特征摘要】
1.一种日志故障关联与预测方法，包括：
获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本；
通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型；
根据所述预测模型对实时业务日志进行处理，并预测关联故障事件出现的概率及时间。


2.根据权利要求1所述的一种日志故障关联与预测方法，其特征在于，所述获取历史业务日志，对所述历史业务日志进行帕累托分析，获得训练日志样本包括：
获取历史业务日志，根据业务日志的规范、特征对所述历史业务日志进行分类；
对所述历史业务日志进行帕累托分析，得出每一类业务日志发生的次数，并按次数进行正序排列；
根据预设的分位值，过滤高频业务日志，得到训练日志样本。


3.根据权利要求2所述的一种日志故障关联与预测方法，其特征在于，所述高频业务日志为系统扰动信息。


4.根据权利要求1所述的一种日志故障关联与预测方法，其特征在于，所述关联事件包括日志事件和关联故障事件。


5.根据权利要求4所述的一种日志故障关联与预测方法，其特征在于，所述通过预设的时间窗对所述训练日志样本进行贝叶斯运算，得到关联事件的预测模型包括：
通过预设的时间窗过滤所述训练日志样本，得到关联故障事件的先验概率、关联故障事件发生前对应的时间窗内出现对应日志事件的概率，以及关联故障事件发生的概率；
通过贝叶斯公式计算得到关联故障事件的后验概率，并计算日志事...

【专利技术属性】
技术研发人员：戴新宇，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44