基于日志的系统异常检测方法、装置、介质及电子设备制造方法及图纸

本申请实施例公开了一种基于日志的系统异常检测方法、装置、介质及电子设备。所述方法包括：获取待检测系统的当前日志，作为待分析日志；基于所述待分析日志中的时间信息，以设定时间间隔对所述待分析日志进行时间切片处理，并分别统计各所述时间切片内所述待分析日志的数量，作为所述待分析日志的日志数量特征；利用预设内容特征提取算法，提取待分析日志的日志内容特征；根据所述日志内容特征和所述日志数量特征，确定所述待检测系统的异常检测结果。执行本申请实施例，可以提高系统异常检测准确率。检测准确率。检测准确率。

【技术实现步骤摘要】
基于日志的系统异常检测方法、装置、介质及电子设备


[0001]本申请实施例涉及计算机应用
，尤其涉及一种基于日志的系统异常检测方法、装置、介质及电子设备。

技术介绍

[0002]应用系统一般由计算机硬件系统、系统软件、应用软件组成。应用系统日志是记录应用系统中硬件、软件和应用系统问题的信息。通过对应用系统日志进行分析，可以及时发现应用系统中存在的异常以及异常产生的原因。

技术实现思路

[0003]本申请实施例提供一种基于日志的系统异常检测方法、装置、介质及电子设备，通过从日志数量和日志内容两个方面的对待分析日志进行特征分析，可以达到提高系统异常检测准确率的目的。
[0004]第一方面，本申请实施例提供了一种基于日志的系统异常检测方法，所述方法包括：
[0005]获取待检测系统的当前日志，作为待分析日志；
[0006]基于所述待分析日志中的时间信息，以设定时间间隔对所述待分析日志进行时间切片处理，并分别统计各所述时间切片内所述待分析日志的数量，作为所述待分析日志的日志数量特征；
[0007]利用预设内容特征提取算法，提取待分析日志的日志内容特征；
[0008]根据所述日志内容特征和所述日志数量特征，确定所述待检测系统的异常检测结果。
[0009]第二方面，本申请实施例提供了一种基于日志的系统异常检测装置，所述装置包括：
[0010]当前日志获取模块，用于获取待检测系统的当前日志，作为待分析日志；
[0011]日志数量特征确定模块，用于基于所述待分析日志中的时间信息，以设定时间间隔对所述待分析日志进行时间切片处理，并分别统计各所述时间切片内所述待分析日志的数量，作为所述待分析日志的日志数量特征；
[0012]日志内容特征确定模块，用于利用预设内容特征提取算法，提取待分析日志的日志内容特征；
[0013]系统检测结果确定模块，用于根据所述日志内容特征和所述日志数量特征，确定所述待检测系统的异常检测结果。
[0014]第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的基于日志的系统异常检测方法。
[0015]第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实
施例所述的基于日志的系统异常检测方法。
[0016]本申请实施例所提供的技术方案，通过获取待检测系统的当前日志，作为待分析日志；基于待分析日志中的时间信息，以设定时间间隔对待分析日志进行时间切片处理，并分别统计各时间切片内待分析日志的数量，作为待分析日志的日志数量特征；利用预设内容特征提取算法，提取待分析日志的日志内容特征；根据日志内容特征和日志数量特征，确定待检测系统的异常检测结果。本申请实施例通过从日志数量和日志内容两个方面的对待分析日志进行特征分析，实现了对待检测系统的异常检测。考虑了因待检测系统异常造成日志数量异常的情况，提高了系统异常检测的准确率。
附图说明
[0017]图1是本申请实施例一提供的一种基于日志的系统异常检测方法的流程图；
[0018]图2是本申请实施例二提供的另一种基于日志的系统异常检测方法的流程图；
[0019]图3是本申请实施例三提供的又一种基于日志的系统异常检测方法的流程图；
[0020]图4是本申请实施例四提供的又一种基于日志的系统异常检测方法的流程图；
[0021]图5是本申请实施例五提供的一种基于日志的系统异常检测装置的结构示意图；
[0022]图6是本申请实施例七提供的一种电子设备的结构示意图。
具体实施方式
[0023]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0024]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0025]实施例一
[0026]图1是本申请实施例一提供的一种基于日志的系统异常检测方法的流程图，本实施例可适用于基于日志对应用系统进行异常检测的情况。该方法可以由本申请实施例所提供的基于日志的系统异常检测装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于运行此系统的电子设备中。
[0027]如图1所示，所述基于日志的系统异常检测方法包括：
[0028]S110、获取待检测系统的当前日志，作为待分析日志。
[0029]其中，待检测系统是指需要进行异常检测的应用系统。示例性的，待检测系统可以是商业银行的业务办理系统。待分析日志与待检测系统相对应，待分析日志是指待检测系统的当前日志。当前日志记录有当前时段内待检测系统硬件、软件的运行信息。当前日志是对待检测系统进行异常检测的数据基础。通过对待检测系统的当前日志进行分析，可以及时发现中待检测系统中存在的异常。
[0030]S120、基于所述待分析日志中的时间信息，以设定时间间隔对所述待分析日志进
行时间切片处理，并分别统计各所述时间切片内所述待分析日志的数量，作为所述待分析日志的日志数量特征。
[0031]一般而言，待分析日志中记录有待检测系统中发生的事件信息，具体的可以包括事件标识、事件时间以及事件类别等。日志数量特征是指待分析日志的数量特征。可以知道的是，一般情况下，待检测系统中发生的事件的数量是保持在一定数量范围内的，相应的，待检测系统中日志的数量也会在一定数量范围内保持稳定。日志数量特征一定程度上可以反映待检测系统是否存在异常。示例性的，在待检测系统发生宕机的时段，或者待检测系统发生请求积压的情况都会导致待分析日志的数量在合理数量范围之外。
[0032]以当前时刻为时间起点，根据待分析日志中的时间信息，将待分析日志按照时间由近及远的顺序或者由近及远的顺序进行排序，再以设定时间间隔对待分析日志进行时间切片处理，分别统计落入各时间切片内的待分析日志的条数。将待分析日志的数量作为待分析日志的日志数量特征。
[0033]其中，设定时间间隔在这里不作限定，具体根据实际情况确定。示例性，设定时间间隔可以是5分钟。可以知道的是，在待分析日志确定的情况下，设定时间间隔越小得到的日志数量特征越多。
[0034]S130、利用预设内容特征提取算法，提取待分析日志的日志内容特征。
[0035]其中，日志内容特征用于反应待分析日志所记载的待检测系统中所发生事件的特征。待分析日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志的系统异常检测方法，其特征在于，所述方法包括：获取待检测系统的当前日志，作为待分析日志；基于所述待分析日志中的时间信息，以设定时间间隔对所述待分析日志进行时间切片处理，并分别统计各所述时间切片内所述待分析日志的数量，作为所述待分析日志的日志数量特征；利用预设内容特征提取算法，提取待分析日志的日志内容特征；根据所述日志内容特征和所述日志数量特征，确定所述待检测系统的异常检测结果。2.根据权利要求1所述的方法，其特征在于，根据所述日志内容特征和所述日志数量特征，确定所述待检测系统的异常检测结果，包括：将所述日志内容特征输入到预先训练完成的文本分类模型，以供所述文本分类模型输出所述待分析日志的内容分类结果；将所述日志数量特征输入到预先训练完成的数量预测模型，以供所述数量预测模型输出所述待分析日志的数量置信区间；根据所述内容分类结果和所述数量置信区间，确定所述待检测系统的异常检测结果。3.根据权利要求2所述的方法，其特征在于，在将所述日志内容特征输入到预先训练完成的文本分类模型之前，所述方法还包括所述文本分类模型的训练过程：获取所述待检测系统的历史日志，作为所述文本分类模型的训练样本；对所述训练样本进行频繁项集挖掘，得到所述训练样本的频繁项集，并根据所述频繁项集，确定所述训练样本的标注数据；根据所述标注数据对所述训练样本进行采样，得到采样结果；利用所述采样结果的日志内容特征和标注数据，对所述文本分类模型进行训练。4.根据权利要求3所述的方法，其特征在于，根据所述频繁项集，确定所述训练样本的标注数据，包括：基于所述频繁项集之间的相似度对所述训练样本进行分类，并基于所述频繁项集确定各类训练样本对应的日志模板；基于运维知识库中日志模板的标注数据，确定各类日志模板的标注数据；基于各类模板的标注数据，确定所述训练样本的标注数据。5.根据权利要求2所述的方法，其特征在于，在将所述日志数量特征输入到预先训练完成的数量预测模型之前，所述方法还包括所述数量预测模型的训练过程：获取所述待检测系统的历史日志，作为所述数量预测模型的训练样本；基于所述训练...

【专利技术属性】
技术研发人员：穆琼，贾磊，耿鹏，栾勇，李旭光，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：