【技术实现步骤摘要】
本专利技术涉及计算机领域，尤其涉及一种日志异常的检测方法、设备及存储介质。
技术介绍
1、计算机软件系统的异常检测包括基于系统指标或基于系统日志的异常检测。其中，基于系统日志的异常检测能够更明确地体现系统所经历的状态，但是，通过收集案例并建立关键字规则对基于系统日志的异常检测，覆盖的应用场景有限，检测的准确率有待提高。
技术实现思路
1、本专利技术实施例提供一种日志异常的检测方法、设备及存储介质，可以覆盖多种应用场景、提高检测的准确率。
2、为实现上述目的，本专利技术实施例提供了一种日志异常的检测方法，所述方法包括以下步骤：获取待检测日志信息，并根据待检测日志信息提取待检测日志模板；将待检测日志模板与日志模板库中预设的日志模板进行匹配，得到待检测日志信息是否属于已知的正常日志信息或已知的异常日志信息的匹配结果；当匹配结果为待检测日志信息不属于已知的正常日志信息且不属于已知的异常日志信息，将待检测日志模板分别输入到若干个特征对应的若干个检测模型得到若干个预测值；根据若干个预测值进行加权组合，并根据加权组合的结果得到待检测日志信息属于正常日志信息或异常日志信息的检测结果。
3、可选地，所述根据若干个预测值进行加权组合，并根据加权组合的结果得到所述待检测日志信息属于正常日志信息或异常日志信息的检测结果，具体包括:
4、提取所述待检测日志信息的检测特征值；
5、确定检测特征值对应的权重及各检测模型对应的权值；
6、将所述检测特征值
7、根据所述加权值得到所述待检测日志信息属于正常日志信息或异常日志信息的检测结果。
8、可选地，所述检测方法还包括：
9、当所述匹配结果为所述待检测日志信息属于已知的正常日志信息或已知的异常日志信息，以所述匹配结果作为检测结果。
10、可选地，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
11、对所述待检测日志信息进行时间和日志内容提取，得到提取后的日志信息；
12、对提取后的日志信息中属于同一类日志的信息进行合并，得到合并后的日志信息；
13、对合并后的日志信息进行变量信息过滤，得到所述待检测日志模板。
14、可选地，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
15、将所述待检测日志信息中属于同一条日志的信息进行合并，得到合并后的日志信息；
16、对合并后的日志信息进行时间和日志内容提取，得到提取后的日志信息；
17、对提取后的日志信息进行变量信息过滤，得到所述待检测日志模板。
18、可选地，所述对提取后的日志信息进行变量信息过滤，得到所述待检测日志模板，具体包括：
19、对提取后的日志信息进行分词和词形还原，得到词形还原后的日志信息；
20、对词形还原后的日志信息进行可读性过滤，得到可读性过滤后的日志信息；
21、将可读性过滤后的日志信息进行相似度对比，得到所述待检测日志模板。
22、可选地，所述若干个检测模型包括序列检测模型，所述日志样本模板包括序列日志样本模板，所述序列检测模型通过以下步骤训练得到：
23、获取若干个日志样本信息，按照预设的时间窗口对每个所述日志样本信息进行分割，并对每个分割后的日志样本信息提取对应的所述序列日志样本模板；所述日志样本信息包括正常日志样本信息和异常日志样本信息；
24、选取预设数量的所述正常日志样本信息添加到第一训练集中，将所述异常日志样本信息和除第一训练集之外的所述正常日志样本信息添加到第一测试集中；
25、采用所述第一训练集和第一测试集进行模型训练和测试，得到训练好的所述序列检测模型。
26、可选地，所述若干个检测模型包括语义检测模型，所述语义检测模型通过以下步骤训练得到：
27、将日志模板库中预设的日志模板作为样本数据；
28、将所述样本数据分别添加到第二训练集和第二测试集中；
29、采用所述第二训练集和第二测试集进行模型训练和测试，得到训练好的所述语义检测模型。
30、可选地，所述检测方法还包括：
31、将所述检测结果以及对应的待检测日志模板更新到所述日志模板库。
32、为实现上述目的，本专利技术实施例还提出了一种日志异常的检测设备，所述设备包括第一模块、第二模块、第三模块和第四模块；第一模块，用于获取待检测日志信息，并根据待检测日志信息提取待检测日志模板；第二模块，用于将待检测日志模板与日志模板库中预设的日志模板进行匹配，得到待检测日志信息是否属于已知的正常日志信息或已知的异常日志信息的匹配结果；第三模块，用于当匹配结果为待检测日志信息不属于已知的正常日志信息且不属于已知的异常日志信息，将待检测日志模板分别输入到若干个特征对应的若干个检测模型得到若干个预测值；第四模块，用于根据若干个预测值进行加权组合，并根据加权组合的结果得到待检测日志信息属于正常日志信息或异常日志信息的检测结果。
33、为实现上述目的，本专利技术实施例还提出了一种日志异常的检测设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现前述方法的步骤。
34、为实现上述目的，本专利技术提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。
35、本专利技术实施例提出的日志异常的检测方法、设备及存储介质，通过对待检测日志信息提取待检测日志模板，将待检测日志模板与日志模板库中预设的日志模板进行匹配确定待检测日志信息是否属于已知的正常日志信息或异常日志信息，当通过日志模板匹配无法确定待检测日志信息是否异常，再将待检测日志模板分别输入到若干个不同类型的检测模块中进行预测得到若干个预测值，并根据若干个预测值进行加权组合以预测待检测日志信息是否异常；因此，本专利技术实施例首先通过日志模板匹配对待检测日志信息进行第一层级的检测，当通过匹配无法确定日志信息是否异常，进一步根据若干个检测模型加权组合进行第二层级的检测，从而实现对待检测日志信息的多层级检测以覆盖多种应用场景，同时通过调节加权的权重实现不同应用场景的自适应调整，提高日志异常检测的准确率。
本文档来自技高网...【技术保护点】
1.一种日志异常的检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的检测方法，其特征在于，所述根据若干个预测值进行加权组合，并根据加权组合的结果得到所述待检测日志信息属于正常日志信息或异常日志信息的检测结果，具体包括:
3.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：
4.根据权利要求1所述的检测方法，其特征在于，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
5.根据权利要求1所述的检测方法，其特征在于，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
6.根据权利要求5所述的检测方法，其特征在于，所述对提取后的日志信息进行变量信息过滤，得到所述待检测日志模板，具体包括：
7.根据权利要求1所述的检测方法，其特征在于，所述若干个检测模型包括序列检测模型，所述日志样本模板包括序列日志样本模板，所述序列检测模型通过以下步骤训练得到：
8.根据权利要求1所述的检测方法，其特征在于，所述若干个检测模型包括语义检测模型，所述语义检测模型通过以下步骤训
9.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：
10.一种日志异常的检测设备，其特征在于，所述设备包括：
11.一种日志异常的检测设备，其特征在于，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至9任一项所述的日志异常的检测方法的步骤。
12.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至9中任一项所述的日志异常的检测方法的步骤。
...【技术特征摘要】
1.一种日志异常的检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的检测方法，其特征在于，所述根据若干个预测值进行加权组合，并根据加权组合的结果得到所述待检测日志信息属于正常日志信息或异常日志信息的检测结果，具体包括:
3.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：
4.根据权利要求1所述的检测方法，其特征在于，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
5.根据权利要求1所述的检测方法，其特征在于，所述根据所述待检测日志信息提取待检测日志模板，具体包括：
6.根据权利要求5所述的检测方法，其特征在于，所述对提取后的日志信息进行变量信息过滤，得到所述待检测日志模板，具体包括：
7.根据权利要求1所述的检测方法，其特征在于，所述若干个检测模型包括序列检测模型，所述日志样本模板包括序列日...
【专利技术属性】
技术研发人员：韩静，张百胜，龚子璨，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。